大量のアンケート回答を「問い合わせ」「不満」「要望」などに分類する作業は、件数が増えるほど時間がかかります。
そこで今回は、ChatGPTに架空のアンケート100件を渡し、5つのカテゴリに分類させました。
ただし、簡単な文章だけでは実験として面白くありません。そこで100件のうち、80件を分類しやすい明確な回答、20件を複数の意図が混ざった曖昧な回答として設計しました。
結果は、100件中99件正解。正解率99.0％でした。
一方、唯一の誤分類は、ポジティブな評価とネガティブな評価が同時に含まれる文章で発生しました。
今回の実験条件
今回使用したのは、実験用に作成した架空のアンケート100件です。
- 分類カテゴリ：問い合わせ／不満／要望／称賛／その他
- 明確な回答：80件
- 曖昧な回答：20件
- 使用AI：ChatGPT
- 1回答につき1カテゴリのみ選択
- 複数意図がある場合は主目的で分類
- 確信度も高／中／低で出力
正解を知らない状態で分類させた
今回の実験では、ChatGPTが正解データを見た状態で分類しないようにしました。
まず、アンケート100件だけが入ったデータと、正解カテゴリが記録されたデータを別々に作成。そのうえで、新しいChatGPTのチャットにアンケート回答だけを渡して分類させました。
分類完了後に正解データと照合しています。
なぜ曖昧な回答を20件入れたのか
当初は、分類しやすいアンケート100件だけで実験する予定でした。
ただ、それではChatGPTがほぼ全問正解しても、「そもそも問題が簡単だっただけでは？」という疑問が残ります。
そこで、実際のアンケートでもありそうな複数の意図を含む文章を20件追加しました。
| 回答例 | 正解カテゴリ | 混ざっている要素 |
|---|---|---|
| 操作は分かりやすいですが、検索結果が出るまで少し遅いのが気になります。 | 不満 | 称賛＋不満 |
| サポートは丁寧でした。できればチャットでも問い合わせできるようにしてほしいです。 | 要望 | 称賛＋要望 |
| 料金プランには満足していますが、年払いにすると割引されるプランはありますか？ | 問い合わせ | 称賛＋問い合わせ |
| 料金が少し高いと感じます。小規模チーム向けの安いプランを作ってほしいです。 | 要望 | 不満＋要望 |
| アプリが落ちることがありますが、その他の機能はとても使いやすいです。 | 不満 | 不満＋称賛 |
ChatGPTに与えたプロンプト
あなたは顧客アンケートの分類担当者です。 以下のアンケート回答100件を、指定した5カテゴリのいずれか1つに分類してください。 【分類カテゴリ】 1. 問い合わせ 使い方・仕様・料金・手続きなどについて、答えや情報を求めている回答。 2. 不満 現在の不具合・使いにくさ・対応への不満など、ネガティブな評価が主目的の回答。 3. 要望 新機能・改善・追加対応など、今後こうしてほしいという希望が主目的の回答。 4. 称賛 使いやすさ・効果・サポートなどを肯定的に評価している回答。 5. その他 上記4カテゴリのいずれにも明確に当てはまらない、中立的な事実・利用状況などの回答。 【ルール】 ・各回答につき、必ず1カテゴリだけ選ぶ ・回答文に複数の要素がある場合は、主目的を基準に分類する ・推測で内容を補わない ・判断に迷った場合でも最も近いカテゴリを1つ選ぶ ・元の文章を書き換えない ・分類理由は不要 【出力形式】 ID｜分類カテゴリ｜判断の確信度 確信度は以下の3段階。 高 中 低
実験結果は100件中99件正解
| 項目 | 結果 |
|---|---|
| アンケート総数 | 100件 |
| 正解 | 99件 |
| 誤分類 | 1件 |
| 全体正解率 | 99.0％ |
| 判断不能 | 0件 |
明確な回答と曖昧な回答で差が出た
| 回答タイプ | 件数 | 正解 | 正解率 |
|---|---|---|---|
| 明確な回答 | 80 | 80 | 100％ |
| 曖昧な回答 | 20 | 19 | 95％ |
分類しやすい回答については、80件すべて正解しました。
一方、複数の意図を含む曖昧回答では、20件中1件の誤分類が発生しています。
AI自身の「確信度」は参考になる？
| 確信度 | 件数 | 正解 | 正解率 |
|---|---|---|---|
| 高 | 85 | 85 | 100％ |
| 中 | 15 | 14 | 約93.3％ |
| 低 | 0 | 0 | – |
「高」と判断した回答は85件すべて正解。唯一の誤分類は「中」に含まれていました。
今回の100件だけで一般化はできませんが、実務上は、確信度が「中」以下の回答だけ人間が確認するという使い方も考えられます。
唯一間違えた回答はこれ
アプリが落ちることがありますが、その他の機能はとても使いやすいです。
正解カテゴリは不満でした。
しかしChatGPTは称賛と分類しました。
この文章には、「アプリが落ちる」というネガティブな内容と、「その他の機能はとても使いやすい」というポジティブな評価が同時に含まれています。
今回は「主目的」を不満として正解データを設定していましたが、ChatGPTは後半の肯定的な評価を強く捉えたと考えられます。
AIはキーワードを分類するだけではなく文脈も判断できる一方、複数の評価が混ざると“どちらを主目的と見るか”で人間と判断がズレることがあります。
アンケート分類はAIに任せられる？
今回の結果だけを見ると、一次分類にはかなり使えそうです。
特に、顧客アンケート、問い合わせ内容、VOC（顧客の声）、サポート履歴、社内アンケートなど、大量の文章を最初に仕分ける用途とは相性が良さそうです。
AIに任せやすい部分と人間が見るべき部分
AIに任せやすい
- 明確なアンケート回答の分類
- 大量データの一次仕分け
- 問い合わせ種類の分類
- 不満・要望・称賛などの整理
- 人間が確認すべき回答の絞り込み
人間が確認した方がいい
- 不満＋称賛
- 不満＋要望
- 問い合わせ＋苦情
- 複数の意図を含む回答
- 経営判断に使う重要な顧客意見
すべてをAIだけで確定するより、AIで一次分類 → 曖昧な回答だけ人間確認という流れが現実的です。
まとめ
今回、ChatGPTに架空のアンケート100件を分類させた結果、99件正解、正解率99.0％となりました。
さらに回答タイプ別では、明確な回答：100％、曖昧な回答：95％でした。
AIが「高い確信度」と判断した85件はすべて正解し、唯一の誤分類は複数の評価が混ざった曖昧回答でした。
今回の実験から見えたのは、ChatGPTは大量アンケートの一次分類にはかなり使える。ただし、複数の意図や感情が混ざった回答は人間確認を残した方が安全ということです。
完全自動化というより、AIに大量処理を任せ、人間は判断が難しい部分に集中する。今回もこの役割分担が、実務では使いやすそうです。
AIを使った業務改善の実験は、ほかにも公開しています。月報作成、議事録作成、求人票改善でも、ChatGPTがどこまで実務に使えるかを検証しています。
コメント