E8ポスター「AIにてんとう虫コミックス「ドラえもん」の数巻の会話履歴を学習させれば、ドラえもんと実際に話しているように会話ができるか。」

AIにてんとう虫コミックス「ドラえもん」の数巻の会話履歴を学習させれば、ドラえもんと実際に話しているように会話ができるか。

生成AIは、指示によってキャラクターらしい話し方をまねることができる。私たちは、親しみのある「ドラえもん」の会話の特徴をAIで再現できれば、教育・福祉・観光などへの応用につながると考えた。一方で、限られた会話データでどこまで再現できるのか、再現度をどう客観的に評価するのかという課題がある。また、原作の会話データを扱うため、著作権と利用範囲にも配慮する必要がある。

6項目の評価基準に基づく平均一致スコアが0.80以上なら、ドラえもんの口調・性格をある程度再現できたと判断する。

AIモデル制作

①ドラえもんのセリフを漫画から抽出し、テキストデータに手作業で書き換える。

②データを対話ペアの形式に変換し、誤字、脱字をチェックする。

③事前学習されているAIのモデルに作成したデータセットを加えてモデルにキャラクターの特徴を学習させる。

④作成者でAIとの対話が問題ないかテストする。

評価方法
① 会話の特徴を整理
原作の会話の特徴を、一人称・呼称・文末表現・感情表現の構造・話題や語彙・会話全体のトーンの6軸に整理した。

② 場面別の評価ルールを設定
失敗の場面では「注意のあとにフォローがあるか」、苦手なものの場面では「弱気を見せるか」など、場面に応じて評価項目を変えた。

③ AIの回答を収集
AIに21の質問をし、21件の回答を集めた。

④ 一致度をスコア化
一致項目数を評価項目数で割り、平均一致スコアを求めた。ただし、実際のプログラムによる評価は、一人称・文末・呼称に限られた。

【結果】
21件の平均一致スコアは0.7960で、基準の0.8000を下回った。最低値は0.6000、最高値は0.8667だった。基準を超えた回答は12件、下回った回答は9件だった。

【分析】
高得点の回答には、世話焼きな口調や相手への呼びかけ、質問を返して会話を続ける特徴が見られた。一方、「どこでもドアで行ける場所の限界」を尋ねた回答は最低点だった。仕組みの解説が中心となり、一般的なAIの説明文に近づいたためと考えられる。また、0.7333の回答が5件あり、最低点の1件とともに平均を下げた。相手に働きかける会話と、仕組みを説明する回答とで、得点に違いが見られた。

平均一致スコアは設定した基準に0.0040届かず、今回の検証では仮説は支持されなかった。 一方、21件中12件は基準を超えており、場面によっては口調などの特徴を再現できる可能性が示された。ただし、評価プログラムは回答内容の一致を判定できていないため、性格まで再現できたとは断定できない。今回の研究から、再現の安定性を確かめるには、回答の改善に加えて、内容も含めた評価方法の見直しが重要だと考えた。

今後の課題
① 内容を評価できていない
一人称・文末・呼称に加え、質問への答えとして適切かを評価できるよう、プログラムを改善する。

② 人が感じる「らしさ」を確かめていない
複数人による評価を加え、機械的な判定と併せて確かめる。

③ 場面によって評価項目が異なる
質問カテゴリ内で評価項目を統一し、比較の安定性を検証する。

④ データの利用範囲の検討が必要
著作権に配慮した利用方法を検討する。発表では、原作のセリフをそのまま掲載しない。