シゴトAI実験室の実験方法

シゴトAI実験室では、ChatGPTやClaudeなどの生成AIを実際の業務で使用し、「どれくらい時間を短縮できるのか」「どの程度正確に使えるのか」を検証しています。

単にAIを使ってみた感想を紹介するのではなく、できるだけ条件を揃え、作業時間・精度・修正量などを記録することを基本方針としています。

実験で確認する主な項目

各実験では、主に以下の項目を確認します。

• 人間が作業した場合の時間、または比較用ベンチマーク
• AIを使用した場合の実測時間
• 作業時間の短縮量
• 時間削減率
• 数値ミス
• 存在しない事実の生成
• 根拠のない推測や因果関係
• 情報の抜け漏れ
• 人間による修正箇所
• 実務でそのまま使用できるか

実験内容によっては、すべての項目を使用しない場合があります。

作業時間の計測方法

AIを使用する場合は、原則として「AIが回答を生成した時間」だけではなく、

データ確認 → AIへの入力 → 生成 → 内容確認 → 修正 → 実務で使用できる状態

までを作業時間として計測します。

これにより、「AIが数秒で回答した」という表面的な速度ではなく、実際の業務でどの程度時間を短縮できるかを見ることを目的としています。

人間側の作業時間について

可能な場合は、人間が実際に同じ作業を行った時間を計測します。

一方、作業経験や使用ソフトの習熟度などの理由により実測が適切でない場合は、作業工程を分解したうえで比較用ベンチマークを設定することがあります。

その場合は、

実測値なのか、想定ベンチマークなのか

を記事内で明記します。

たとえば月報作成の実験では、人間側の36分は実測値ではなく、各作業工程から設定した比較用ベンチマークです。

AI側の3分10秒は実際に計測した時間です。

精度の確認方法

AIが作成した内容については、可能な限り元データと照合します。

特に、

数値の不一致、存在しない事実、根拠のない因果関係、推測、抜け漏れ

を確認します。

AIが正しい数字を使用していても、報告書として必要な情報が抜けている場合や、行動内容が曖昧な場合は、人間による修正として記録します。

AIの失敗も公開します

シゴトAI実験室では、AIがうまくできた部分だけを紹介することを目的としていません。

間違い、抜け漏れ、分かりにくい表現、人間による修正が必要だった部分も可能な限り公開します。

AIを実務で利用する際に、

「何を任せられて、何を人間が確認する必要があるのか」

を判断する材料にしてもらうためです。

時間削減率について

時間削減率は原則として、

（人間側の時間 − AI使用時の時間）÷ 人間側の時間 × 100

で計算します。

ただし、人間側が想定ベンチマークの場合、その削減率は同条件での比較結果であり、すべての人や企業で同じ結果になることを意味するものではありません。

作業環境、経験、使用するAI、データ量、指示内容などによって結果は変わります。

使用するAI・条件について

AIサービスはアップデートによって性能や機能が変化します。

そのため、各記事では可能な範囲で、

使用したAI、実験内容、条件、使用したプロンプト

を公開します。

過去の記事と現在のAIでは結果が異なる可能性があります。

当サイトの目的

シゴトAI実験室の目的は、

AIの性能を過度に良く見せることでも、AIを否定することでもありません。

実際の仕事で使ったときに、

どこまで任せられるのか
どれくらい時間が減るのか
どんな確認が必要なのか

を実験し、具体的なデータとして残すことを目指しています。

「AIはすごいらしい」ではなく、

「実際に試したらこうだった」

を積み重ねていきます。