個人的にはELYZA-JPがLLMとして結構お気に入りとなってますが、あちらはMeta社のLlama3をベースに作られたものでした。
これに対し、こ子で紹介するTanuki-8B(さらに大規模版のTanuki-8X8B)はゼロから新たな別プロセスで作られたLLM(大規模言語モデル)とのことです。
ということで、以下を参照して、さっそく試してみます。
weblab-GENIAC/Tanuki-8B-dpo-v1.0 · Hugging Face
で、実行するコードは以下。
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model = AutoModelForCausalLM.from_pretrained("weblab-GENIAC/Tanuki-8B-dpo-v1.0", device_map="auto", torch_dtype="auto")
tokenizer = AutoTokenizer.from_pretrained("weblab-GENIAC/Tanuki-8B-dpo-v1.0")
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
messages = [
{"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
{"role": "user", "content": "おすすめの名古屋飯を5つ教えてください。"}
]
input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
output_ids = model.generate(input_ids,max_new_tokens=1024,temperature=0.5,streamer=streamer)
必要なライブラリですが、Pytorch(GPU版)、Transformers、acceralate辺りは最低必要かと。バージョンに関しては特に指定がなさそうなので、そこそこ最新版ならいいのではと思います。
これを「tanuki-8b.py」として保存。
なお、質問分は上の「"user", "content": 」の後の" "区切り部分に書き込みます。で、あとはプロンプトを開き、このコードを保存したフォルダにcdコマンドで移動し、
> python tanuki-8b.py
と入力してやれば実行されます。
なお、上のモデルは量子化されていないモデルのため、結構重いです。が、その分、精度は高め。
ちなみにgguf版も落として試してみたんですが、8ビット量子化したものでもなんか支離滅裂な動きだったので、今回はこちらのみを試します。
なお、動作の感じですが、以下のように文字を小出しにしてくる感じの動きをします。
最後にドバッと出されるより、動いてる感はありますね。
では早速、質問を投げかけてみます。
ELYZA-JPの時と、ほぼ同じような質問を投げてみました。
(ELYZA-JPの場合は、ローカルLLM「Llama-3-ELYZA-JP-8B」にいろいろ聞いてみた: EeePCの軌跡を参照)
Q:
おすすめの名古屋飯を5つ教えてください。
A:
名古屋飯は独特で美味しいものがたくさんありますので、いくつかおすすめをご紹介します。まず一つ目は「ひつまぶし」です。これはうなぎの蒲焼を細かく刻み、ご飯に乗せて食べる料理で、特製のだしや薬味と一緒に楽しむことができます。次に、「味噌カツ」も外せません。甘辛い味噌ダレがたっぷりかかったカツで、ご飯やキャベツと一緒に食べると絶品です。
三つ目に「きしめん」を挙げます。平たい麺が特徴で、つゆに浸して食べることで、つるつるとした食感が楽しめます。特に寒い季節には温かいつゆが体を温めてくれます。四つ目は「天むす」です。エビや野菜を酢飯と一緒におにぎり状に握ったもので、手軽に食べられる一品です。最後に「味噌煮込みうどん」もおすすめです。濃厚な味噌スープと太麺が絶妙にマッチし、寒い季節にぴったりの一品です。
これらの名古屋飯は、それぞれ独自の魅力があり、一度試してみる価値があります。名古屋を訪れる際には、ぜひ地元の味を楽しんでみてください。
加工なしで、この回答です。割と正確な情報を返してきました。ELYZAの時は瀬戸焼きそばとか出てきましたから。
なお、この時のタスクマネージャーは以下の通りでした。
(GPUメモリーは6.5GBほど使ってました)
これだけの回答を出すのに、4、50秒といったところでしょうか。
これを実行したのはRTX4060搭載の新ゲーミングノートですが、さすがに量子化されていないモデルは重い。
では、次の質問。
Q:
月島の名物と言えばなんでしょうか?
A:
月島の名物として特に有名なのは「月島もんじゃ」です。月島は東京都中央区に位置し、もんじゃ焼きの発祥地として知られています。このエリアには多くの専門店があり、新鮮な海産物を使ったもんじゃ焼きを楽しむことができます。特に「月島もんじゃストリート」と呼ばれる通りには、多くの老舗や新しい店が軒を連ねており、観光客にも地元の人々にも愛されています。また、月島には他にも寿司や天ぷらなどの和食も豊富で、グルメスポットとしても魅力的です。
特に「東京」とは書いてませんが、東京の月島だと認識してくれました。
Q:
部下のやる気を上げるための施策を5つ教えてください。
A:
部下のやる気を引き出すためには、いくつかの戦略を組み合わせることが効果的です。まず第一に、明確な目標設定とフィードバックの提供が重要です。部下が自分の役割や期待される成果を理解できるようにし、定期的に進捗を確認し、具体的なフィードバックを行うことで、成長の実感を持たせることができます。
次に、キャリア開発の機会を提供することも大切です。スキルアップのための研修やセミナーへの参加、メンター制度の導入などを通じて、部下が自己成長を実感できる環境を整えます。これにより、長期的なモチベーションが向上します。
また、適切な報酬と認識も欠かせません。金銭的なボーナスだけでなく、表彰や感謝の言葉、特別な休暇など、多様な形で努力を認めることで、部下は自分が組織にとって重要な存在であると感じるようになります。
さらに、職場環境の改善も重要です。オープンなコミュニケーションを促進し、チームワークを強化するためのミーティングやブレインストーミングセッションを定期的に開催することで、部下が意見を出しやすい雰囲気を作ります。また、柔軟な働き方やワークライフバランスを尊重することも、ストレスを軽減し、仕事に対する意欲を高める要因となります。
最後に、部下の意見やアイデアを積極的に取り入れる姿勢を示すことが大切です。上司として、部下の声に耳を傾け、彼らの意見が実際の業務改善や新しいプロジェクトに反映されるようにすることで、自分が尊重されていると感じさせることができます。これにより、部下は自分の意見が組織に影響を与える力を持っていると感じ、さらなる努力を惜しまなくなるでしょう。
これらの施策を組み合わせることで、部下のやる気を効果的に引き出すことができます。
割と一般論的な答えが返ってきますが、ELYZA-JPでは方策名が主(1on1をやる、など)なのに対し、こちらは一つ一つが具体的で長いですね。
Q:
今後、生成AIを活用する方法として、どのようなものが ありますか?
A:
今後、生成AIを活用する方法は多岐にわたります。まず、コンテンツ作成の分野では、ブログ記事、ニュース記事、マーケティング資料、クリエイティブなデザインなど、さまざまな形式のテキストやビジュアルコンテンツを自動生成することが可能です。これにより、時間と労力を大幅に節約し、高品質なコンテンツを迅速に提供できます。
また、カスタマーサポートにおいても生成AIは非常に有用です。チャットボットやバーチャルアシスタントが顧客の問い合わせに対して自然な対話を行い、24時間対応が可能になります。これにより、顧客満足度が向上し、サポートコストも削減されます。
さらに、教育分野でも生成AIは大きな変革をもたらします。個別学習プランの作成や、学生の理解度に応じたカスタマイズ教材の提供が可能となり、教育の質と効率が向上します。また、教師の負担を軽減し、よりクリエイティブな授業準備に時間を割くことができます。
医療分野でも生成AIは重要な役割を果たします。診断支援システムや治療計画の立案、患者データの解析など、多岐にわたる応用が期待されています。これにより、医療従事者の業務負担が軽減され、より質の高い医療サービスが提供できるようになります。
エンターテインメント業界でも、生成AIは新しいコンテンツの生成や既存コンテンツの改良に利用されます。映画や音楽のプロット作成、キャラクターのデザイン、ゲームシナリオの自動生成など、創造的なプロセスをサポートします。
最後に、ビジネスインテリジェンスやデータ分析においても生成AIは強力なツールです。大量のデータから洞察を抽出し、予測モデルを構築することで、ビジネス戦略の立案や意思決定をサポートします。これにより、競争力を維持・向上ため、全体的な効率が向上します。
このように、生成AIはさまざまな分野で革新的な変化をもたらし、私たちの生活や業務をより便利で効率的にする可能性を秘めています。
ELYZA-JPでもさほど悪い答えではなかったですが、こちらは文章が長めで具体的ですね。
こんな具合に、普通に使う分にはそん色のないモデルだと分かります。全体的に言えることは、一文が長くて、分かりやすく具体的な説明を試みている辺りでしょうか。そこは、好感持てます。
が、これを本格的に使うには、やはりRAGができないと、ですね。
そのやり方は、gguf版だったらすぐにできたんですが、あちらがあまりにも挙動不審だったので、もっと安定したものが出てきたら考えます。
最近のコメント