« Raspberry Pi 5用電源購入 | トップページ | iPhone用ヘッドセットを構築してみた »

2024年4月21日 (日)

簡単にローカル版大規模言語モデル(LLM)を導入できる「Ollama」

導入してとりあえず動かしてみるだけなら、確かに簡単でした。

このOllamaを使って、つい2日前(日本時間の4月19日)にリリースされたばかりのオープンソースAIであるLlama3を動かしてみました。
参考にしたのは、以下のサイト。

いちばんやさしいローカル LLM|ぬこぬこ

まずは、Windows版のOllamaをダウンロード、インストールします。
やり方は簡単で、下記サイトにアクセスし、

Download Ollama on Windows

20240421-150649

「Download for Windows (Preview)」をクリックして、Windows用のインストーラーをダウンロードします。

20240421-150753

こんな感じの可愛いアイコンが出てくるので、これをダブルクリック。

20240421-150807

Installをクリックします。

インストール完了後、Windows PowerShellかコマンドプロンプトを開き、

> ollama run llama3

と入力しエンターキー。

20240421-152220

5GBほどダウンロードが始まりますが、しばらくすると「Send a message」って出てきます。

ちなみに、デフォルトでは8Bモデルが入る模様。

まあせっかくなので、「お勧めの名古屋飯」でも聞いてみようと思いましたが、日本語だとうまく認識してくれませんでした。てことで、Google翻訳辺りを使ってぶち込んでみた。

【質問】

Please tell me your recommendations for food in Nagoya.
(おすすめの名古屋飯を教えてください)

【回答】

1. **Hitsumaboshi**: A classic Nagoya dish, Hitsumaboshi is a type of eel sushi made from grilled Japanese eel
(unagi). You can find it at many restaurants throughout the city.
2. **Tebasaki**: These are crispy fried chicken wings that are super popular in Nagoya. Try them at a street food
stall or a local eatery like Takayama Shokudo.
3. **Kakigori**: A traditional Japanese shaved ice dessert, Kakigori is flavored with syrups like strawberry,
green tea, and yuzu. Enjoy it on a hot day!
4. **Soba noodles**: Nagoya is famous for its soba (buckwheat) noodles, which are often served in a hot broth or
with dipping sauce. Try them at Soba no Hana or Nishinokyo Ichinojo.
5. **Miso katsu**: A variation of tonkatsu (breaded and fried pork cutlet), Miso katsu is a Nagoya specialty that
combines the crispy exterior with a rich miso sauce. Enjoy it at restaurants like Miso Katsu Shinji or Tonkatsu
Maisen Aoyama Honten.
6. **Tofu**: As a city known for its tofu production, Nagoya has many delicious tofu dishes to offer. Try the
grilled tofu (yuba) at Tofuya Fujita or the soft and silky tofu hot pot at Akabane Tofu.
7. **Katsu curry**: Another popular dish in Nagoya, Katsu Curry is a breaded and fried cutlet served with a
flavorful Indian-inspired curry sauce. Enjoy it at restaurants like Curry Katsu Ichinojo or Katsu Curry Shinji.
8. **Goyan**: A type of Japanese rice ball, Goyan is often filled with ingredients like seafood, vegetables, and
meat. Try it at a local bakery or convenience store.

Some recommended eateries and districts to explore:

* Nakamuraza: A historic district known for its traditional restaurants and shops.
* Nishinokyo Ichinojo: A small alleyway filled with local eateries and food stalls.
* Osu Shopping Street: A bustling shopping street lined with restaurants, cafes, and snack stands.
* Hisaya-odori: A popular shopping district with many food options, including the famous Hitsumaboshi eel sushi.

Remember to also try some of the local specialties like sesame tofu, Nagoya-style ramen, or Japanese sweets
(wagashi) at traditional tea shops. Enjoy your culinary adventure in Nagoya!

うちの環境(Ryzen 5 4600H、64GBメモリー、GTX1650Ti)だと、応答はじめまで10秒、書き上げるのに1分程度でした。
思いの外、回答が長くて驚愕。

さて、この言語モデルが「おすすめの名古屋飯」に対してあげたのは、1.ひつまぶし、2.手羽先、3.かき氷、4.ざるそば、5.味噌カツ、6.豆腐、7.カツカレー でした。
が、最後の8.Goyan だけが何のことだか分からず。後ろの説明文(英文)を読むと、おにぎりの一種で、シーフードや野菜、肉を挟んだものらしい。天むすじゃないな、どちらかと言うと韓国海苔巻きの「キンパ」の方が近いか?

その下にある食事処の紹介も、1つ目が「中村座」、2つ目が「西ノ京 いちのじょう」と、名古屋にあるとは思えない名前の場所。3つ目は「大須商店街」、4つ目「久屋大通」は分かるんですけどね。

まあ、それでもこれだけ軽いモデルで、これだけの回答が得られたことに驚きです。しかも、こんな日本のへき地?の情報までそれなりに持っているとは。

なお、終わる時は「/bye」と入力します。

上の参照元のサイトでは、ブラウザからChatGPT感覚で入力できるUIの起動や、量子化による軽量化のやり方も紹介されてます。私は面倒だったので、動いたところで終わりました。

ともかく、出たばかりのLlama3がこれほどあっさりと試せるということに驚きです。Pytorchの最新版とかいちいち入れてませんし。
さすがにCUDAの設定までは必要でしょうが、Pythonすらインストール不要で動かせるっぽいのはなかなかです。
このLlama3ベースの日本語特化モデルが出てきたら、これで動かせるといいなぁ。


ChatGPTなどの生成AIを実現した LLM(大規模言語モデル)超入門!: AI時代を理解するために知っておきたい 大規模言語モデル 初心者向け解説書 超入門! シリーズ

« Raspberry Pi 5用電源購入 | トップページ | iPhone用ヘッドセットを構築してみた »

数値解析系」カテゴリの記事

コメント

コメントを書く

(ウェブ上には掲載しません)

« Raspberry Pi 5用電源購入 | トップページ | iPhone用ヘッドセットを構築してみた »

当ブログ内検索

スポンサード リンク

ブログ村

無料ブログはココログ