Calm2-7B-Chatを完全オフラインで使う

自宅では気づかないのですが、会社だと気になることがあります。
それは、以下の記事で紹介した生成AI「Calm2-7B-Chat」

Calm2-7B-ChatのGPTQ版をうちの低メモリーGPU環境で動かしてみた: EeePCの軌跡

を使う度に、都度、huggin faceのサイトにモデルを参照しているということ。
会社ではプロキシの関係で、ちょっと接続の際にはややこしいことをしなきゃいけないので、これが結構煩わしい。

ということで、このCalm2-7B-Chatのモデルをダウンロードし、完全にオフラインな状態でも使えるようにしたいと思いまして、ちょっと調べてみました。
で、生成AIのモデルをダウンロードするコードを以下のように作成。

from huggingface_hub import snapshot_download
snapshot_download(
    repo_id="mmnga/cyberagent-calm2-7b-chat-GPTQ-calib-ja-1k",
    revision="main", repo_type="model", local_dir="./model",
    local_dir_use_symlinks=False,)

これを実行すると、このコードと同じ場所に「model」というフォルダが作られて、その中に4GBほどのファイルが収まってるはずです。

その後、

from auto_gptq import AutoGPTQForCausalLM
from transformers import AutoTokenizer, TextStreamer
model_name_or_path = "./model"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)
model = AutoGPTQForCausalLM.from_quantized(model_name_or_path, use_safetensors=True, device="cuda:0")
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
output = ""
i = 1
while True:
    user_input = input("ユーザー入力" + str(i) + ":")
    if user_input=="":
        break
    prompt = output + "USER: " + user_input + "\nASSISTANT: "
    output = tokenizer.decode(model.generate(**tokenizer(prompt, return_tensors="pt").to(model.device),
                                             max_length=1000,
                                             streamer=streamer)[0]).replace("<|endoftext|>","") + "\n"
    i +=1

を実行すると、前回の記事と同様のチャットモードになります。
モデルの名前が「./model」となっているのがミソ。つまり、このフォルダ内にあるモデルを読み込んで実行しているということを意味します。
で、一度ダウンロードした後、Wi-Fiを切った状態でも動きました。つまり、完全にオフライン動作していることに。

もっとも、モデルがマイナーアップデートされた際などは反映されなくなるので注意。その際は、再び一つ目のコードを実行するのみですが。

社内で〇秘のデータを扱いたい場合などは安心ですね。

生成ＡＩ時代の「超」仕事術大全