システム部の大類と申します。
今回は、オープンソースのLLMをローカル環境で動作検証したことを記事にしたいと思います。

目次

1.オープンソースのLLMをローカル環境下で動作検証した理由
2.検証のポイント
3.検証方法
　3.1.Ollamaでの検証
　3.2.ymlファイルの作成
　3.3.コンテナの作成、起動
　3.4.コンテナへの接続、Llama2の起動
4.検証
　4.1.応答速度
　4.2.簡単な質問にどの程度回答できるか
　4.3.簡単なSQL作成の依頼にどの程度応えられるか
　4.4.記述回答式のアンケート設問に対しての回答チェック（対応のチェック）
　4.5.記述回答式のアンケート設問に対してのチェック（肯定的な回答かのチェック）
5.評価

オープンソースのLLMをローカル環境下で動作検証した理由

ローカルでオープンソースのLLMを試してみたかった理由は、オープンソースが好きだからです。

検証のポイント

検証のポイントとして、以下を設定したいと思います。

①　GPUのないノートPC環境でどの程度の応答速度が出せるか。
②　簡単な質問にどの程度回答できるか。
③　簡単なSQL作成の依頼にどの程度応えられるか。
④　記述回答式のアンケート設問に対して、不適切な回答を見つけられるか、また、肯定的な回答か否定的な回答かの判別ができるか。

上記①から③は、簡単な性能の調査です。
④は、弊社が市場調査におけるリサーチプラットフォームをサービスとして提供している会社であることから、自社サービスに利用できないかを調べるために追加しました。

Ollamaでの検証

ローカルPCで生成AIを動作させる一番の問題は、グラフィックボードがないことです。ただ、グラフィックボードがない環境でも、CPUでこれに代わって動作させる方法があるようなので、これを利用します。方法としては、簡単にローカル環境下で使用でき、MITライセンスで「Llama2」などが使えるOllamaを使って検証することにしました。

（私物の古いPCで「LM Studio」上で日本語の追加学習をした「ELYZA」の動作も試しました。しかし、PCの性能が低すぎ、レスポンスがあまりに遅かったため、今回は、上記のみを記事にしました。）

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

続きはこちらのテックブログからご覧ください。

【https://gmor-sys.com/2024/02/02/llm-in-local-environment/】