AIに任せた報告書が、もっともらしく間違っていた話

2026年9月26日

毎月お客様に出す報告書は、AIが下書きを作る仕組みにしています。以前は半日かかっていた作業が、いまは数分で下書きになります。

その報告書で、お客様に出す前に、誤りがいくつも見つかったことがあります。

「SNSからの流入が大きく伸びました」

きっかけは、ある数字への違和感でした。

下書きには、SNSからの流入が前の年より大きく伸びた、と書いてありました。数字としてはきれいで、報告書に書けば喜ばれそうな内容です。

ただ、その月にSNSで特別なことをした覚えはありませんでした。

調べてみると、伸びた分の大半は広告から来た人でした。広告経由の訪問が、SNSからの訪問として数えられていたのです。自然に増えた分だけを取り出すと、伸びはずっと小さくなりました。

そのまま出していたら、広告の成果を、SNSの成果としてお客様に伝えるところでした。お客様はその数字を見て、次にどこへ力を入れるかを決めます。

そこで、報告書の数字をすべて、元のデータから引き直して突き合わせました。

ほかにも、似た種類の誤りが出てきました。前の年と比べる数字の基準が揃っていなかったり、項目の名前が実際のデータと違っていたり。どれも、計算そのものが間違っているわけではありません。数字の「意味」が少しずつずれていました。

共通していたのは、どれももっともらしかったことです。桁が大きく外れているわけでも、明らかにおかしな数字でもありません。目で見て確かめるだけでは、通ってしまう種類の誤りでした。

以前の記事で、報告書づくりのうち、数字の最終チェックだけは自分に残した、と書きました。お客様に出る前に、自分の目で確かめる、という線引きです。

この線引き自体は、いまも変えていません。変えたのは、確かめ方です。

目で見て「おかしくないか」を探すチェックは、おかしく見える誤りしか見つけられません。AIが作る誤りは、たいていおかしく見えません。文章も数字も整っていて、それらしい説明までついています。

そこで、下書きができたあと、主要な数字を元のデータから引き直して、報告書の数字と一致するかを照合する工程を、仕組みの中に入れました。「見る」ではなく「もう一度出して、突き合わせる」です。

あわせて、一度出した誤りは記録に残し、次の月に同じ間違いをしないようにしています。

AIに任せるかどうかを考えるとき、「どこまで任せるか」に目が行きがちです。私もそうでした。

ただ、実際に事故になりかけたのは、任せた範囲の広さではなく、確かめ方が甘かったところでした。任せる範囲が同じでも、確かめ方を変えるだけで、安心して外に出せるものになります。

もしAIに作らせた資料をそのまま外に出しているなら、一度だけ、中の数字を元のデータと突き合わせてみてください。何も出てこなければ安心できますし、何か出てきたら、それが確かめ方を仕組みに入れるきっかけになると思います。