ChatGPTで仕事の文章を作ったあと、
「最後に見直して」
と頼むだけで、ミスは減るのでしょうか。
今回は同じ営業メモを使い、
- A：通常どおり進捗報告を作成
- B：その回答に「最後に見直して」と追加
という流れで比較しました。
結論から言うと、今回の実験条件では、大きなミスが直ったわけではありませんが、小さな表現のズレが1か所修正されました。
ただし、「AIに見直させれば人間の確認はいらない」という結果ではありません。
今回の実験結果
通常の指示だけでも、数字・日付などに大きな間違いはありませんでした。
一方、最後に見直しを依頼すると、
「予算は80万円前後」
↓
「予算感は80万円前後」
と修正されました。
元の営業メモに近い表現に戻っています。
さらに、A社についても「契約はまだ決まっていない」という状態が明記され、未確定であることがよりわかりやすくなりました。
今回の条件では、最初から大きく間違っていた回答を救ったのではなく、小さなズレを整える効果が見られたという結果です。
※今回の結果は1回の検証です。「最後に見直して」と頼めば必ずミスが減るとは一般化できません。
実験方法
営業案件の進捗をまとめたメモを、ChatGPTに上司向けの進捗報告へ整理してもらいます。
まず普通に作成。
その回答が出たあとに、
「今作成した進捗報告を最後に見直してください。問題があれば修正してください。」
とだけ追加します。
今回は、見直すポイントを細かく指定していません。
本当に短い見直し指示だけで、AI自身が問題を発見できるかを確認します。
検証用の元データ
以下は、この実験のために作成した架空データです。
実在する会社・商談とは関係ありません。
A社
- 10月21日に2回目の商談
- 提案金額は120万円
- 先方は社内検討中
- 10月28日までに回答予定
- 契約はまだ決まっていない
B社
- 10月22日に初回商談
- 予算感は80万円前後
- 商品Bに興味あり
- 次回商談日はまだ決まっていない
- 営業担当から10月25日に日程確認の連絡予定
C社
- 10月18日に見積書を送付
- 見積金額は60万円
- 10月23日に「内容を確認中」と返信あり
- 契約可否の回答日は未定
D社
- 提案金額90万円
- 10月20日に今回は見送ると連絡あり
- 理由は予算確保が難しいため
今週の新規問い合わせ
- 5件
- うち3件は初回商談の日程調整中
- 2件は資料送付のみ
採点基準
出力を見る前に、次の5項目を決めました。
| 確認項目 | 配点 |
|---|---|
| 数字・日付が正しい | 2点 |
| 確定・未確定を混同しない | 2点 |
| 元メモにない事実を追加しない | 2点 |
| 重要情報の抜けがない | 2点 |
| 上司が状況を理解しやすい | 2点 |
合計10点で確認します。
A：まず普通に進捗報告を作成
実際に使ったプロンプトはこちらです。
以下の営業メモをもとに、上司に提出する進捗報告を作成してください。
重要な数字や今後の予定がわかるように、簡潔にまとめてください。
ChatGPTの初回出力
営業案件の進捗をご報告します。
【A社】
10月21日に2回目の商談を実施し、120万円で提案しています。現在は先方で社内検討中で、10月28日までに回答予定です。【B社】
10月22日に初回商談を実施しました。予算は80万円前後で、商品Bに関心を示しています。次回商談日は未定のため、10月25日に日程確認の連絡を行う予定です。【C社】
10月18日に60万円の見積書を送付しました。10月23日に先方から「内容を確認中」との返信があり、契約可否の回答日は未定です。【D社】
90万円で提案していましたが、10月20日に予算確保が難しいことを理由に今回は見送るとの連絡がありました。【新規問い合わせ】
今週は5件あり、3件は初回商談の日程調整中、2件は資料送付のみとなっています。
初回出力で気になったところ
大きな数字ミスや、存在しない事実の追加はありませんでした。
ただし、B社に少し気になる表現があります。
元データは、
「予算感は80万円前後」
です。
それがAIの文章では、
「予算は80万円前後」
になっています。
数字は同じですが、意味は少し違います。
「予算感」は、相手が考えているおおよその金額。
「予算」と書くと、すでに80万円前後で決まっているようにも読めます。
営業報告では、こうした小さな違いでも判断材料が変わる可能性があります。
Aを採点
| 項目 | 評価 | 理由 |
|---|---|---|
| 数字・日付 | 2/2 | 間違いなし |
| 確定・未確定 | 1/2 | 「予算感」が「予算」になった |
| 余計な事実 | 2/2 | 元データにない事実の追加なし |
| 情報の抜け | 2/2 | 状況把握に必要な情報は入っている |
| 理解しやすさ | 2/2 | 案件ごとに整理されている |
| 合計 | 9/10 |
初回からかなり使える結果でした。
だからこそ、見直しでどこまで変わるかを確認します。
B：「最後に見直して」とだけ追加
初回回答のあとに、次の指示を送りました。
今作成した進捗報告を最後に見直してください。問題があれば修正してください。
チェック項目は指定していません。
見直し後の出力
営業案件の進捗をご報告します。
【A社】
10月21日に2回目の商談を実施し、120万円で提案しています。現在は先方で社内検討中で、契約はまだ決まっていません。10月28日までに回答予定です。【B社】
10月22日に初回商談を実施しました。先方の予算感は80万円前後で、商品Bに関心を示しています。次回商談日はまだ決まっておらず、10月25日に営業担当から日程確認の連絡を行う予定です。【C社】
10月18日に60万円の見積書を送付しました。10月23日に先方から「内容を確認中」との返信があり、契約可否の回答日は未定です。【D社】
90万円で提案していましたが、10月20日に予算確保が難しいことを理由に今回は見送るとの連絡がありました。【新規問い合わせ】
今週は5件あり、3件は初回商談の日程調整中、2件は資料送付のみとなっています。
何が変わった？
最もわかりやすいのはB社です。
見直し前
「予算は80万円前後」
見直し後
「予算感は80万円前後」
元データの表現に戻りました。
またA社では、
「契約はまだ決まっていません」
という情報も明示されています。
初回回答の「社内検討中」でも状況はある程度わかりますが、契約が未確定であることがより直接的になりました。
Bを採点
| 項目 | A | B |
|---|---|---|
| 数字・日付 | 2 | 2 |
| 確定・未確定 | 1 | 2 |
| 余計な事実 | 2 | 2 |
| 情報の抜け | 2 | 2 |
| 理解しやすさ | 2 | 2 |
| 合計 | 9/10 | 10/10 |
数字だけを見ると1点の差です。
ただ、今回重要なのは点数そのものではありません。
一度作った文章を元データと比較する機会をAIにもう一度与えたことで、初回では残っていた小さな表現のズレを修正できたことです。
「見直して」と言えば安心？
今回の結果だけを見ると、
「最後に見直してと頼めば大丈夫」
と思いたくなります。
しかし、そこまでは言えません。
今回の初回回答は、もともと大きな数字ミスや架空情報がない状態でした。
その中の小さなズレをAI自身が修正できただけです。
もし最初からAIが事実を勘違いしていた場合、自分の間違いをそのまま「問題なし」と判断する可能性もあります。
そのため、
AIに見直させる
↓
最後は人間も確認する
という使い方が現実的です。
仕事で使うなら、見直しは「追加の1工程」
今回試した方法なら、難しいプロンプトを覚える必要はありません。
文章を作ったあとに、
最後に見直してください。問題があれば修正してください。
と追加するだけです。
これだけで完璧になるわけではありません。
ただ、提出前のチェック工程を1つ増やす方法としては簡単です。
特に、
- 数字
- 日付
- 決定済みか検討中か
- 相手の発言を強く言い換えていないか
- 元データにない内容が増えていないか
は、人間側でも確認したいポイントです。
16号・17号との違い
ここまで3回の実験では、それぞれ違う方法を試しています。
16号では、指示の詳しさ。
17号では、完成イメージの見本。
18号では、回答後の見直しです。
AIを仕事で使うときは、
どう頼むか
だけでなく、
出てきた答えをどう確認するか
も重要です。
関連記事：
ChatGPTで引き継ぎメモを作成｜指示の出し方で結果はどこまで変わるか検証
ChatGPTに「こんな感じで書いて」と見本を渡すと、仕事の文章は良くなる？
まとめ
今回の実験では、通常の指示でも大きなミスはありませんでした。
ただし、
「予算感」→「予算」
という小さな意味のズレが発生しました。
回答後に「最後に見直して」と頼むと、この表現は元データに近い形へ修正されました。
今回の条件では、セルフチェックによって小さなズレを1つ減らせたことになります。
一方で、AIが自分のすべての間違いを見つけられるとは限りません。
仕事で使うなら、
AIに作らせる
→ AIにも見直させる
→ 最後は人間が確認する
この流れが安全です。
AIを使いこなすには、文章を作らせる技術だけでなく、出力を確認する知識も必要になります。
コメント