Tanuki-8Bの4ビット量子化ggufモデルでRAGをやってみました

なんかRAGネタ増えてますが、まあ、お付き合いください。
それくらい、最近のローカルLLMの進化が激しいってことです。

前回の記事(純日本産なローカルLLM「Tanuki-8B」を試してみた: EeePCの軌跡)でgguf版を落としたけど支離滅裂な挙動だったと書きましたが、あれは嘘だ。

というか、ちゃんとした（？）gguf版を下記から落としたら、ちゃんと使えました。

team-hatakeyama-phase2/Tanuki-8B-dpo-v1.0-GGUF at main

で、落としたのは「Tanuki-8B-dpo-v1.0-Q4_K_M.gguf」という４ビット化されたもの。

前回の記事(純日本産なローカルLLM「Tanuki-8B」を試してみた: EeePCの軌跡)のモデルを「Tanuki-8B-dpo-v1.0-Q4_K_M.gguf」に置き換えてみましたが。

Q

おすすめの名古屋飯を5つ教えてください。

A
名古屋市（なごやし）は、愛知県に位置する都市で、美味しいご当地グルメが豊富です。以下に、名古屋市でおすすめのおすめしを5つご紹介します。

1. 名古屋コーチンのひつまぶし:
名古屋コーチンは地元産の鶏肉で、その旨味と柔らかさが特徴です。特に「ひつまぶし」として提供されることが多く、まずはそ のまま食べてから、薬味や出汁をかけて楽しむことができます。
2. みそカツ:
味噌ダレをたっぷりかけたトンカツで、サクサクとした衣と濃厚な味噌の風味が絶品です。ご飯と一緒に食べることで、さらに満 足感が増します。
3. 名古屋カレーうどん:
カレーライスのようにルーがかかったうどんで、名古屋特有の甘辛いカレールーが特徴です。寒い季節には体を温める一品として おすすめです。
4. ひつまぶし風のうなぎ丼:
うなぎ（鰻）は名古屋市の名物で、特に「ひつまぶし」スタイルで提供されることが多いです。蒲焼にしたうなぎとご飯を一緒に 食べることで、贅沢な味わいが楽しめます。
5. 名古屋おでん:
愛知県では「名古屋おでん」として知られる独自のおでんがあります。薄口醤油ベースの出汁に、こんにゃくやちくわ、卵などが 入り、具材も多種多様です。寒い季節には特におすすめです。

これらの名古屋飯は、それぞれ異なる魅力があり、名古屋を訪れる際にはぜひ試してみてください。...

名古屋おでんなんてあったかな？とは思いましたが(しかも味噌が使われていないし)、思ったよりはいい回答でした。

てことで、こいつのRAG版をやってみました。

なお、環境構築もコードもデータも、以下の記事のものをそのまま使ってます。

大規模言語モデル「ELYZA-7b」と自作小説「計算士と空中戦艦」で「RAG」をしてみた: EeePCの軌跡

その中で「model_path = 」の後ろを「models/Tanuki-8B-dpo-v1.0-Q4_K_M.gguf」に変えただけです。

で、質問に関しては以前の記事「ElyzaのLlama3ベースの言語モデル「Llama-3-ELYZA-JP-8B」のRAGが予想以上に賢かった件: EeePCの軌跡」と同じものを使い検証します。

では、いきなり結果を列挙します。

Q
カルヒネン曹長の恩師の名前は？

A
カルヒネン曹長の恩師の名前についてですが、文脈から判断すると、その恩師はラハナスト先生である可能性が高いです。ラリヴァ ーラ少佐やエクロース准将との会話の中で、ラハナスト先生が計算術を教えた人物として言及されています。したがって、カルヒネン曹長の恩師の名前はラハナスト先生であると推測されます。

Q
イーサルミ王国はなぜオレンブルク連合皇国と戦争をすることになったのですか？

A
イーサルミ王国がオレンブルク連合皇国と戦争を始めた理由は、主に以下のような背景があります。まず、現皇帝の即位後に圧政が 敷かれ、高い税負担や言論統制、駐留軍による暴挙などが行われたことが挙げられます。これにより、イーサルミ王国内で不満が高まり、独立を求める動きが強まりました。

さらに、オレンブルク連合皇国は富国強兵策の一環として軍事力を増強しており、その影響でイーサルミ王国に対する圧力が増しました。特に、ヘリウムという重要な資源を独占していたことが、オレンブルク軍にとって大きな負担となっていました。このヘリウム不足が連合皇国側にも影響を及ぼし、最終的には水素への転換を余儀なくされました。

また、オレンブルク連合皇国は広大な湿地帯と山脈に囲まれており、陸路での侵攻が困難でした。そのため、イーサルミ王国に対する直接的な攻撃が難しくなり、結果として奇襲や海上封鎖などの手段を取ることになりました。

これらの背

Q
イーサルミとオレンブルクの戦いは、この先どうなると思いますか？

A
イーサルミとオレンブルクの戦いについて、今後の展開を予測するためには、いくつかの要素を考慮する必要があります。以下にス テップバイステップで回答します。

### 1. 現在の状況分析
- オレンブルク軍の圧政: 現在、オレンブルク皇国は圧政を敷き、ヘリウム採取井戸を独占しています。これが連合皇国にとって大きな経済的負担となっています。
- イーサルミ王国の反撃: イーサルミ王国は独立を宣言し、オレンブルクに対して反攻を開始しました。特にヘリウム採取井戸の確保が重要です。
- 戦闘の激化: 両軍ともに激しい戦闘を続けており、塹壕戦や機関銃による射撃が続いています。

### 2. 国際情勢と外交
- フロマージュ共和国の仲介: 連合皇国とイーサルミ王国の間で和平交渉が進んでいることが示されています。これは重要な転機となり得ます。
- 他国の影響: 他の列強諸国や国際機関がこの戦争にどのよう

ご覧いただくと、それほど回答精度は悪くありません。
が、気になる点はたった一つ。
それは「回答が途切れてしまう」問題です。
これは、ELYZA-JPのggufでも同じでした。ある一定以上の文字数を吐き出してはくれないんですよね。
パラメータをいじったり、それ用のものがないか探したりしたんですが、文字数については増やしようがありませんでした。

このために8ビット版も試したんですが、あまり精度向上も文字数アップも見られず。

特にこのTanuki-8Bというモデルは、長文の回答を返したがります。にもかかわらず、文字数が解けない。

量子化モデルでは、ダメなんですかねぇ。

ちょっとした回答をさせる分には悪くないモデルです。それどころか、最後の質問なんて結構いいとこ突いてます。この先が、知りたかった。

これの回答文字数を増やす手段がわかれば、多分、最強のローカルLLMによるRAGが構築できそうです。

LLMのファインチューニングとRAG ?チャットボット開発による実践?