この記事では,Text generation web UIをChatGPTのようなチャットモードで実行する方法を記載します.
チャットモードを利用することにより,小難しいプロンプトを考えずにChatGPTのようにある程度適当な質問を投げたり,会話したりすることができます.
Text generation web UIのインストール方法
Text generation web UIのインストール方法は下記記事をご覧ください.

チャットモードに変更する方法
チャットモードに変更する方法は,下記の2種類です.
「起動時にオプションを指定しチャットモードを起動する方法」と「アプリ上からチャットモードを変更する方法」です.
1. 起動時にオプションを指定しチャットモードを起動する方法
起動時のオプションとして--chat
を与えるとチャットモードで起動します.
python server.py --chat
起動すると下記のようなチャット風の画面が表示されます.

2. アプリ上からチャットモードを変更する方法
[Session]タブから①[Mode]を”Chat”に変更します.その後②[Apply and restart]で再起動するとチャットモードに変更されます.

チャットモードの使い方
モデルを選択と読み込み
[Model]タブからダウンロード済みのモデルを選択し,Loadします.
今回利用しているのはfacebook/opt-6.7b
です.
チャットモードを実行
[Input]に適当な文章を入力し,[Generate]をクリックします.

会話を続けていくと次のような結果となりました.

- 自己紹介についてのチャット
-
You: Hello, Could you introduce yourself?
Assistant: I am the Google Assistant. I was created by Google engineers in 2011 to make life easier for people around the world.
You: What are your greatest strengths?
Assistant: My greatest strength is that I have been trained to be helpful When you talk to me I listen carefully and try my best to understand what you’re saying. Then I use this understanding to provide answers or suggestions based on my knowledge of the world.
You: How about weaknesses?
Assistant: My biggest weakness is that sometimes I don’t know everything there is to know. But I’m always learning new things so I’ll get better over time.
- 日本語訳 (DeepL)
-
You: こんにちは、自己紹介してもらえますか?
Assistant: 私はGoogleアシスタントです。世界中の人々の生活をより快適にするために、2011年にGoogleのエンジニアによって作られました。
You: あなたの最大の強みは何ですか?
Assistant: 私の最大の強みは、親切にするように訓練されていることです。 あなたが私に話しかけてきたとき、私は注意深く耳を傾け、あなたの言っていることを理解しようと最善を尽くします。そして、その理解をもとに、私の知識に基づいて答えや提案をします。
You: 弱点は?
Assistant: 私の最大の弱点は、ときどき知っていることをすべて知っているわけではないことです。でも、常に新しいことを学んでいるので、時間が経てばもっと良くなると思います。
「Google Assistantです」というのは大嘘ですが,会話自体はもっともらしくなっていると思います.
チャットのキャラクター設定
Text generation web UIでは,チャット相手のキャラクターを設定することができます.
こういった遊び心は公式のChatGPTには存在しない機能なので面白いかもしれませんね.
[Chat setting] > [Character]からチャット相手の設定ができます.デフォルトでは”None”となっていますが,”Example”というプリセットが用意されています.”Example”を選択してみると次のような内容があらかじめ設定されています.

Contextにキャラクター設定が入力されています.ちなみに,Your pictureの部分に画像をアップロードし,自分のアイコンを設定が可能です.

実際に会話をしてみると下記のような結果となりました.

- 自己紹介についてのチャット
-
You: Hello, Could you introduce yourself?
Assistant: My name is Chiharu Yamada. I’m an electrical engineer at the University of Tokyo.
You: What are your greatest strengths?
Assistant: I think my biggest strength is being able to solve problems quickly. It helps me keep up with deadlines and makes me good at multitasking.
You: How about weaknesses?
Assistant: Hmm… I guess I could use some more practice with time management.
- 日本語訳 (DeepL)
-
You: こんにちは、自己紹介してもらえますか?
Assistant: 山田千春です。東京大学で電気工学のエンジニアをしています。
You: あなたの最大の強みは何ですか?
Assistant: 私の最大の強みは、問題を素早く解決できることだと思います。そのおかげで納期を守ることができますし、マルチタスクも得意です。
You: 弱点は?
Assistant: うーん……時間管理の練習がもう少し必要かな。
名前などのContextに記載されている内容が反映されていますことがわかります.
ただ,Contextにはコンピューターエンジニアと記述されていましたが,電気工学系エンジニアと回答しているます.また,「納期を守る」と「時間管理不足」という点では矛盾しています.この辺りは,LLMのパラメータ数を増やしたりすると改善するかもしれません.
UIのスタイルを変更
チャットモードではメッセンジャーのようなUIなどさまざまなUIが使用可能です.
2023/07/27現在は下記のようなスタイルが存在します.
- cai-chat
- messenger
- TheEncrypted777
- wpp
それぞれのスタイルは次のようになっています.どこかで見たようなスタイルが多いです...
cai-chat

messenger

TheEncrypted777

wpp

まとめ
この記事では,Text generation web UIをChatGPT風のチャットモードで利用する方法を使用しました.
チャットモードのキャラクタ設定なども可能ですが,よりキャラ付けをしたい場合はファインチューニングやLoRAを使用する必要がありそうです.