「Anything LLM」＋「ollama」を使ってRAGを構築してみた

社内の文書を、最新の生成AIで検索させつつ回頭させたい。
そういう需要をお持ちの方、多いかと思います。
で、昨今は「RAG」というやつが流行ってて、生成AI(ChatGPTやGeminiなど)と社内情報とを組み合わせてチャットボット的に使うやり方が流行ってますね。

が、それって社内文書をクラウドに渡すことになり、本当に大丈夫か？という不安が付きまとうのはごく自然の話。

で、以前、ローカルLLMを使ったRAGの構築というやつをやってみましたが。

大規模言語モデル「ELYZA-7b」と自作小説「計算士と空中戦艦」で「RAG」をしてみた: EeePCの軌跡

ところがこの2年ほどの内に、もっと楽にRAG環境が構築できるツールが登場してます。それが、今回使用する「Anything LLM」と「ollama」の組み合わせです。
びっくりするほど簡単ですが、それでもこの両者をインストールしなきゃいけないという点では、ちょっと面倒なところはあります。が、最初さえ乗り越えれば、あとは何とかなる模様。

ということで、まずはollamaをインストールですが、そちらは以下の記事を参照。

簡単にローカル版大規模言語モデル(LLM)を導入できる「Ollama」: EeePCの軌跡

インストールしてあるけど、かなり前だなぁ・・・という人は、最新版を入れなおした方がいいと思います。
(でないと、今回しようするgemma4:12bのモデルが使えないかもしれません)

で、続いて「Anything LLM」の導入ですが、こちらはまず、公式サイトのダウンロードページから入手します。

Download | AnythingLLM

うちはWindowsのx64でダウンロード。最近、Snapdragon搭載のWindowsもあるので、そちらをご使用の方はARM版を選択してください。

ダウンロードすると「AnythingLLMDesktop.exe」が入手できるので、これをダブルクリック。

こんな感じで、インストールが始まります。時折、別窓が開きます。
なお、最後の方で以下のようなメッセージウインドウが出て、ミーティングを記録する的なやつのインストールを求められる場合もありますが、

そちらは「いいえ」を押しました。

ところで、ollamaの方にgemma4:12bを入れてなかったので、「ターミナル」を開いて、

＞ ollama run gemma4:12b

と実行し、モデルをダウンロードしておきます。

ここまで下準備を整えたら、Anything LLMを起動します。

最初の方になんかいろいろと聞かれますが、スルーしつつ起動すると、こんな画面に。
最適なモデルが、個人的には最悪のモデルだったので、赤枠の辺りにうっすらある「手動設定」をクリックします。

一覧が出てくるので、そこで「ollama」を選択しておきます。

無事起動すると、こんな感じの画面が出てくるはずです。
とりあえずここでは、「検索」の横にある「＋」ボタンを押して「新しいワークスペース」を作っておきます。

ここでは「RAG用ワークスペース」としました。
で、その横にある上矢印のアイコンをクリックします。

すると、こんな感じの画面が出てきます。
とりあえず、手持ちの適当なテキストファイルを入れました。ちなみに、以下の小説のテキスト版で、およそ20万文字の文書です。

ブラック企業の底辺営業社員、異星へ放り込まれる

これをいれて、左右矢印をクリックします。
ちなみに、テキストだけでなくPDFでも行ける模様です。

すると右側の枠に文書が追加されました。これで、準備完了。

では早速、この文書内にしかない質問をしてみました。

字が小さいですが、要するに主人公ととある登場人物が出会ったきっかけを聞いてみました。が、見事に答えてますね。さすがです。
意外とgemma4:12b、侮れません。

その時のメモリー使用料は以下。無論、GPUメモリー(RTX4060 8GB)は目一杯でしたけど、回答までに2、30秒ほどだったかな。
思ったより簡単で軽くて、びっくりです。

ちなみに、以下の動画を参考にWeb検索も構築しようとしたんですが。

そちらはなぜか、上手くいかず。
でもまあ、ローカル検索ができるようになっただけマシですね。

てことで、昨今は思いのほか、簡単にローカルLLM＋RAGが構築できることが分かりました。

当然ですが、クラウド版生成AIにはさすがにかないません。
が、社内の秘匿文書を扱いたい場合などには、使えそうな技です。

Gemma 4 Gemmaのガチ使い方: ローカル／オンプレでオープンウェイトLLMを動かし切るエンジニアのために