« ChatGPTを使う上でやってはいけないこと3つ | トップページ | AI版「ポートピア連続殺人事件」が24日にSteamにてリリース »

2023年4月20日 (木)

Stable Diffusionを作ったStability AI社が商用利用も可能で無料の文章生成AI「StableLM」を公開したので使ってみた

2週続けて商用利用可能な無料のLLMが公開されているので、こりゃあ今週もまた出てくるんじゃないのかと冗談で話していたんですが。

まさかまさかの、本当に出てきました。

しかも今度は、あのStable Diffusionを作ったStability AI社による言語モデル「StableLM」です。

Stability AI 言語モデル「StableLM Suite」の第一弾をリリース - (英語Stability AI

今のところ、後悔されているのは30億、70億パラメータのモデル(3B、7B)のみのようですが、いずれ650億パラメータのモデルなんかも出てくる模様。

てことで、早速Githubからこいつのコードを入手して実験。

GitHub - Stability-AI/StableLM: StableLM: Stability AI Language Models

と、行きたかったのですが、ここのコード(Jupyter notebook形式)そのままでは、GPUメモリーが不足してますエラーが出て、まるで動きません。

で、すったもんだした挙句、以下のようなコードを作成。

「stableLM_7B.py」


from transformers import pipeline
import torch
import os

os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "garbage_collection_threshold:0.6, max_split_size_mb:128"

model = "stabilityai/stablelm-tuned-alpha-7b"

text = "How can AI be used effectively?"

pipe = pipeline(model=model,torch_dtype=torch.bfloat16,
                trust_remote_code=True,device_map="auto")
generated_text = pipe(text, max_length=128, do_sample=False, no_repeat_ngram_size=2)[0]
print(generated_text['generated_text'])

一つ工夫しているところがあって、「os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "garbage_collection_threshold:0.6, max_split_size_mb:128"」という行で、GPUメモリーが不足するのを防いでます。

20230420-205302

なお、実行中のタスクマネージャーはこんな感じ。

70億パラメータですから、メモリー的には余裕があります。GPUを除いて。

これでなんとなく動くのですが、毎度の質問文「How can AI be used effectively?」に対しては、以下のような回答が返ってきます。

You can start by defining what AI is. Is it a machine that follows instructions? Is a human mind? How can it be both? What is the difference between a computer program and a general AI? These are some of the questions that need to be answered before we can begin to explore how AI can be useful.

One of AI's biggest challenges is that it is difficult to define what makes an AI "good" or "bad". It is a very subjective question. What makes something "artificial intelligence" is also subjective. Some people consider AI to have no value, while others

(Google翻訳)

AI とは何かを定義することから始めることができます。 指示に従う機械ですか? 人間の心ですか? どうすれば両方になることができますか? コンピュータプログラムと一般的な AI の違いは何ですか? これらは、AI がどのように役立つかを探求し始める前に、答える必要があるいくつかの質問です。

AI の最大の課題の 1 つは、何が AI を「良い」か「悪い」かを定義するのが難しいことです。 これは非常に主観的な質問です。 何かを「人工知能」にするのも主観的なものです。 AIに価値がないと考える人もいれば、

悪くない内容です。が、よく見ていただくと分かりますが、文が途中で終わってます。

おそらく、コード中の「max_length=128」を大きくすれば行けるかもしれませんが、この数値を大きくすると、GPUメモリー不足のエラーで落ちます。

残念ながら、我が家の環境ではこれ以上の数値を受け付けそうにありません。

が、70億パラメータ程度でこの文章。なかなか侮れない結果です。

画像生成AIの方(Stable Diffusion)はもはや画像生成AIの標準とまでなりつつある状況ですが、このStableLMも流行るんでしょうか?

ファインチューニングによる独自のモデルを作れるならば、これも流行りそうです。


週刊東洋経済 2023/4/22号(ChatGPT 仕事術革命)

« ChatGPTを使う上でやってはいけないこと3つ | トップページ | AI版「ポートピア連続殺人事件」が24日にSteamにてリリース »

数値解析系」カテゴリの記事

コメント

コメントを書く

(ウェブ上には掲載しません)

« ChatGPTを使う上でやってはいけないこと3つ | トップページ | AI版「ポートピア連続殺人事件」が24日にSteamにてリリース »

無料ブログはココログ

スポンサード リンク

ブログ村