本記事で分かること

・生成AIを活用した大量フリーコメント分析方法の一例

・上記方法における工夫点

ポイント①　分析をステップに分解して処理を実行

→1つのプロンプトでカテゴリ生成・カテゴリ分類など複数の分析処理を同時に指示すると精度が大きく下がるため

ポイント②　STEP2では「分類確度」も出力し、確度が低いものを優先的に目視で確認

→カテゴリ分類において生成AIが判断を迷うケースが一定数あるため

ポイント③　フリコメ1件ごとに分析処理を実行

→大量のフリコメを同時に分析しようとすると精度が大きく下がるため

使用ツール：ChatGPT Enterprise

使用モデル：GPT-4o

インプットデータ：複数のフリコメを羅列しているCSVデータ

#命令書:

社内サービスの現状をアンケートで分析するため、アンケート回答を分析する必要があります。

#制約条件と#背景情報を踏まえ、#入力に対して回答を分類するためのカテゴリを#出力形式で出力してください。

カテゴリの名前および説明以外は出力しないでください。

#入力は一行ごとに一つの回答です。

#制約条件:

・回答をグルーピングして、カテゴリとして適切な名前とその説明を出力結果として返す

・カテゴリは回答を網羅的にグルーピングして作成する

・カテゴリはなるべく重複しないように作成する

・「その他」というカテゴリを作成する

・該当する回答が全体の1割未満になるカテゴリは無理に作成せず、そのカテゴリに分類する想定だった回答は「その他」に分類する

#背景情報:

サービスは「XXX」という名称で、YYYをしたり、ZZZができる

#入力:

添付したCSVファイル

1.パフォーマンス問題

動作が遅い、落ちる、フリーズする等の問題に関する回答。

2.機能性の問題

特定の機能が使えない、機能にバグがある、検索性が悪い等の回答。

3.利便性と使い勝手

ユーザインターフェース、ユーザーエクスペリエンス、比較的に使いづらい、操作が煩雑等の回答。

4.外部連携と統合問題

他のツールとの連携が困難、複数の通信手段があることによる問題点等の回答。

5.安全性とプライバシー問題

セキュアな環境での利用制限、データ保護に関する懸念等の回答。

6.その他

上記のカテゴリに当てはまらない、特殊または一回性の問題に関する回答。

・「網羅的に」「重複しないように」といった制約条件を生成AIに対して指示すると想定に近いカテゴリが出力できる

・フリコメ全体件数のうち1割未満のフリコメに分類されるカテゴリは「その他」に集約するように指示すると、過不足ないカテゴリが出力できる

→マイナーな回答も無理に分類しようと過剰にカテゴリを作成してしまう傾向があるため

・社内独自のシステムでWeb上の情報が少ない場合は、背景情報としてプロンプトにシステム概要等を記載することで出力の品質を向上させることができる

使用ツール：PythonでOpenAI APIを利用

使用モデル：GPT-4o

インプットデータ：複数のフリコメを羅列しているCSVデータ

#命令書:

社内サービスの現状をアンケートで分析するため、アンケート回答を分析する必要があります。

#入力を#カテゴリごとに[0:該当しない、1:該当可能性あり、2:確実に該当]のいずれかに分類してください。

分類が難しい場合は「その他」カテゴリに分類してください。

#出力形式以外の要素は含めないでください。

分類結果は0,1,2のいずれかで出力してください。

入力は一行で一つの回答です。

#出力形式:

{入力},{カテゴリ1の分類結果},{カテゴリ2の分類結果},{カテゴリ3の分類結果},{カテゴリ4の分類結果},{カテゴリ5の分類結果}

#出力例:

機能不足で困っている,3,0,0,0,0

#カテゴリ:

（STEP1で出力されたカテゴリ名およびその説明をコードで呼び出し）

#入力:

（分析したいフリコメをコードで呼び出し）

回答

パフォーマンス問題

機能性の問題

利便性と使い勝手

外部連携と統合問題

安全性とプライバシー問題

その他

動作が遅い点

2

0

0

0

0

0

突然落ちる時がある

2

0

0

0

0

0

過去のメッセージが検索できない

0

2

0

0

0

0

よく接続不良になる

1

0

0

2

0

0

アップデートが多く、知らない間に変更になっている。動作が導入初期と比べて重たくなっている

2

1

0

0

0

0

BGM再生しながら画面投影する際の設定が勝手に変わったりしてトラブルになりがち

0

2

1

0

0

0

iPadで画面投影すると音声が相手に聞こえなくなることがある。

1

1

0

2

0

0

・1件ずつカテゴリ分類を指示することで、精度低下を防ぐことができる

→生成AIに一度にインプットするデータ量が多くなるほど精度が低くなるため

・カテゴリの分類確度（どの程度自信を持って分類したか）を出力指示することで、生成AIが「分類確度が低い」と識別した分類を目視確認/必要に応じ正しい分類へ修正することで、コスト少なく分類精度を向上させることができる

→手作業でもカテゴリ分類を誤りやすいようなフリコメについては、同様に生成AIでもカテゴリ分類を誤ることが多いため

・生成AIプロンプトの手法の一つである「One-shot/Few-shot Learning」（＝入力例とそれに対応する出力例を1個／もしくは複数個記載する）ことで、分類精度を向上させることができる

ポイント①　分析をステップに分解して処理を実行

→1つのプロンプトでカテゴリ生成・カテゴリ分類など複数の分析処理を同時に指示すると精度が大きく下がるため

ポイント②　STEP2では「分類確度」も出力し、確度が低いものを優先的に目視で確認

→カテゴリ分類において生成AIが判断を迷うケースが一定数あるため

ポイント③　フリコメ1件ごとに分析処理を実行

→大量のフリコメを同時に分析しようとすると精度が大きく下がるため