ローカルLLM「Llama-3-ELYZA-JP-8B」にいろいろ聞いてみた

「ElyzaのLlama3ベースの言語モデル「Llama-3-ELYZA-JP-8B」のRAGが予想以上に賢かった件: EeePCの軌跡」の記事で、いきなりRAGから入ってみましたけど、そもそも「Llama-3-ELYZA-JP-8B」自体の実力はいかほどか？を試してませんでした。
ということで、素のLlama-3-ELYZA-JP-8Bの実力を試してみます。

で、そのコードはこちら。

import sys
from llama_cpp import Llama
llm = Llama(model_path="models/Llama-3-ELYZA-JP-8B-q4_k_m.gguf",
            n_gpu_layers=-1,
            verbose=False,
            )
output = llm("<user>\n" + sys.argv[1] + "\n<assistant>\n", max_tokens=512)
print(output['choices'][0]["text"] + "...")

これを「elyza_ggufllm3.py」という名前で保存しました。
RAGを使わないと、こんなに短くて済むんですね。
なお、環境設定は前記事を参照、量子化したモデルについても前記事同様、以下の「Files and versions」からダウンロードします。

elyza/Llama-3-ELYZA-JP-8B-GGUF · Hugging Face

使い方ですが、実行プログラムの後ろに質問文をつけるスタイルです。例えば、

> python elyza_ggufllm3.py お勧めの名古屋飯を教えてください。

という具合です。ちなみに、回答はうちのメインPCの場合、だいたい30秒ほどで返ってきました。

名古屋飯と言えば、独特の文化や歴史が育んできた食事スタイルです。名古屋で長く愛されている代表的な名古屋飯をいくつかご紹介します。

1. 名古屋コーチン親子丼:名古屋の地鶏「名古屋コーチン」は、卵を産むメスと雄を分けることで、脂肪が少なく肉質がきめ細かい特徴があります。親子丼は、タレに漬け込んだ親鳥と新生卵の黄身をどんぶりで提供します。
2. 手羽先天むすび:名古屋コーチンや地元の鶏肉を使った手羽先を、てんむす（手毬寿司）風に握っています。サクッと揚がった手羽先の食感と味わいは、名古屋のソウルフード。
3. 小倉トースト:小倉という名前に反して小豆は使われず、カステラやバターを使用したトーストです。愛知県民は長年この甘くて香ばしいトーストを朝食に食べることが多くあります。
4. 味噌カツサンド:味噌を付けることで名古屋風のアレンジがされた、名物の豚カツです。味噌とパンは意外にも合う組み合わせで、地元では人気の軽食。
5. 瀬戸焼きそば:瀬戸市に本社があるイタリアンレストラン「モリ・パニーニ」が創業したお店です。麺を焼くスタイルは新しい名古屋飯として若い人々からも支持されています。

これらの名古屋飯は、地元の人々の生活や文化に根付いた食事スタイルを表現しています。名古屋に訪れた際には、是非とも味わってみてください！

これが、回答文。なんかすごくないですか？たかが5GB未満のモデルですよ、これ。ただし、最後のやつがちょっと微妙。瀬戸焼そばが名古屋飯？うーん、惜しい。

調子に乗って、こんなことも聞いてみます。

Q : 月島の名物と言えばなんでしょうか？

「江戸前エルフ」にハマってたので、つい聞いてみました。

月島は、東京都中央区にありますが、「もんじゃ焼き」が有名です。月島は「もんじゃ焼き発祥の地」としても知られていて、多くのもんじゃ焼き店があります。もんじや焼きと呼ばれる小麦粉を用いた生地を鉄板で焼き、各種具材をトッピングして作るこの料理は月島が発祥であり、現在でも観光客や地元の人の人気を集めています。

東京というメジャーどころなためか、こちらはかなり正確な模様です。

さて、職場の活性化にお悩みなマネージャーっぽいことも聞いてみます。

Q ： 部下のやる気を上げるための施策を5つ教えてください。

人間ならば答えにくい質問です。どんな回答が返ってくるか？

部下のやる気を上げるための施策は、以下の5つです。

1. 目標設定とフィードバック:
* 個人やチームに明確な目標を設定し、達成に向けてのプロセスを共有する。
* 定期的に進捗状況や結果に対してフィードバックを与え、改善点や成功要因を分析する。
2. 自主性と裁量権:
* 部下にできる限り任せて、自主性と裁量権を与えることで、モチベーションが向上し、主体的に仕事に取り組むことができる。
* 支援やサポートは必要に応じて提供する。
3. 成長機会の提供:
* 新しいスキルや知識の習得の機会を与えることで、部下の成長意欲を高める。
*外部研修やトレーニングプログラムなどを活用し、能力向上を目指す。
4.報酬とインセンティブ:
* 部下が仕事に取り組む動機付けとして、報酬やインセンティブを与えることが有効。
* 報酬の内容や方法は個人のタイプや好みに応じて選択する。
5.職場環境とコミュニケーション:
* 職場環境を整備し、部下が快適に仕事できるようにする。
*定期的に1on1ミーティングやチーム会議を開催して、コミュニケーションを促進し、部下の意見や要望を聞く。

これらの施策は、部下のやる気を上げるために有効ですが、個人のタイプや組織文化に応じて調整する必要があります。

わりと正論が返ってきました。1on1ミーティングが出てくるあたり、今どきの知識です。
でも、これができる上司ならば、最初から悩むことはないんじゃないか？という声も聞こえてきそうで・・・

ところで、このような生成AIをどう活用すればよいか悩まれている方も大勢います。直接、彼自身に聞いてみましょうか。

Q ： 今後、生成AIを活用する方法として、どのようなものが ありますか？

で、そんなAI自身が答えたソリューションは以下。

生成AIは、多くの分野で応用が期待されており、以下にいくつかの例を示します。

1. **Chatbotsと自動化】: 生成AIの能力を使用して、チャットボットや会話型のアプリケーションを作成し、顧客サポートや問い合 わせに答えることができます。
2. **コンテンツ作成支援」:** 記事執筆、ソフトウェアドキュメントの自動生成、翻訳など、生成AIが人間の創造性を補助すること ができます。
3. **データ分析と可視化」:** 生成AIを使用して、複雑なデータセットから新しいインサイトやパターンを見つけることができたり 、可視化された結果を提供することができます。
4.「デザインの自動化」:** 設計、イラストレーション、ビジュアルエフェクトなどで生成AIを使用して、デザイナーの創造性を補助したり、自動化することができます。
5.「プログラミングとコード生成」:** 生成AIが自動的にコードを生成し、開発プロセスを高速化や生産性の向上などを実現することができます。
6.「アートとエンターテイメント」:** 様々な形式で生成した作品は、人々に新しい体験を提供する可能性があります。例えば、音楽や小説、映像などでの使用が想定されます。

上記は一例です。生成AIの能力は多岐にわたるため、将来的には、多くの分野で活用されることが期待されています。

3つ目以降は、ちょっとこのモデルでは無理なものも含まれてますね。ですがまあ、いいとこついているんじゃないでしょうか？

ローカルPC上で動く、モデルサイズが5GBにも満たない生成AIからの回答と思うと、なかなかすごいんじゃないですか。

つい1年前には、以下の記事にあるようなレベルだったんですが。

りんなチャットAI「rinna japanese-gpt-neox-3.6b」と楽しく？？会話してみたら……: EeePCの軌跡

わりと的外れな会話で、当時はそれでも感動してましたけど、たった1年でこの進化です。

さらに1年後には、どれくらい発達しているんでしょうかね？

ご当地グルメコミックエッセイ　まんぷく名古屋