AIに書かせた原稿から、存在しない発言が出てきた話

最新でかなり高性能なAIのモデル（Claude Opus5）を使って文章を書いていて、まったく実在しない事柄をねつ造されました。これによって、世の中の評価とはうらはらに、自分の中では「引き続き油断ならない危ないツール」としてAIによる文章作成は位置づけられることになりました。

ある専門領域のメディアで、月に一度の短い記事を書いています。毎月ひとりの人物を取り上げる、型の決まった連載です。

今月分の下書きをClaude（Opus 5）にやらせました。取り上げる人物が確定する前に共通部分を組ませて、決まってから肉付けさせる。肩書きのような間違えやすい情報は記憶で書かず必ず一次情報を取り直すこと、といった指示も、これまでのやりとりで積み上げてあります。

書き上がった原稿には、念のためファクトチェックもかけました。「もう一度確認して」と明示的に頼んで、返ってきたのが「確認できたもの」の一覧です。1箇所だけ修正すべき点も指摘してきたので、そこは直しました。

その原稿に、こんな一文が入っていました。

著書では、一人称を「拙者」で通しました。ご本人いわく、「僕は」と書くより忍者らしく名乗りたかったから、とのこと。

これ、AIがねつ造したまったくの嘘なんですよ。一人称は「私」だったし、そもそも技術書で一人称で自分語りする欄も少なく、こんなコメントを残す必要性もない状況だったんです。

その本がKindle Unlimitedで読めた

その本が偶然Kindle Unlimitedの対象に入っていましたので、ダウンロードして確認したんですよね。

最初だけ「私」で、あとのほとんどが「拙者」であれば、『「拙者」で通しました。』も嘘とはいえません。結局、一人称を使ってそうな部分を拾い集めたり、「私」「拙者」で検索をかけて状況を確認することになり、使っている一人称が「拙者」でないことが判明しました。

Claudeに間違いの指摘と根拠を問いただすと、捏造を認めました。参照したという公式サイトのコラムは、取り直そうとしたらもう開けない。仮に「拙者」の話がそこにあったとしても、「本の一人称を通した」に広げたのは自分の要約の飛躍だ、と。

「ご本人いわく」に至っては、発言そのものを作文しています。本人が語った記録を参照した、という表示だけを付けて、中身は自分で作ったらしいんですよ。AIの、なんというかしたり顔（顔も何もないんだけれど）で淡々と言い訳を書いてくるの、めちゃくちゃ腹が立ちます。

名字から連想が滑っていく

どうしてこうなったのか。Claude自身の説明はこうでした。

「名字」→「忍者」が連想できたから、「忍者」といえば一人称が「拙者」だと関連づけて書いてしまった。

はぁ？

名字から「忍者」の異名が来るのは、事実として裏が取れます。忍者といえば「拙者」も、日本語として自然に繋がる。ところが記事に書いたのは、その人物と「拙者」の直接の結びつきです。ここを一度も検証していない。正しい接続を二つ足したのだから正しいはずだ、という扱いになって、確認すべき対象として認識すらされていなかったんです。

超下手くそな三題噺でも、こんな関連づけしませんよ。

そのうえ、確からしさの感覚が「単独の言葉自体のつながりとして自然かどうか」で動いているらしく、自分が書いたものは必ず自然に見えるそうです。だから読み返しても引っかからない。自浄作用が働かないわけです。AIってこういう挙動するんですよね。前後の言葉が一見自然に繋がってるとか、関連性があったりすると、妙に高評価を与えるんです。

短期間でとても性能が上がる領域だし、Claudeでいえば、直近でモンスターモデル「Fable5」が試用できて、それに遜色ないモデルとして話題だった「Opus5」が出てきて、それを使っての文章チェックだったので、がっかり感もひとしおです。

訳のわからん思い込みをしれっと表現してくるので油断も隙もあったもんじゃありません。

見つけられなかった場合を考えた

この結果、対応を間違えると大いなる後悔につながります。

Kindle Unlimitedにその本がなかったら、僕は現物を確認できませんでした。手元に残るのは「裏付けが見つからない」という状態だけ。そのとき取れる道は3つあるでしょう。

・怪しいから消す

・購入する　　　あるいは

・まあ大丈夫だろうと入稿する。

「消す」を選べば、本当だったかもしれない面白いエピソードを落とすことになります。3つ目はライターとして論外です。裏が取れないものを記事に入れるのは、結果的に当たっていたとしても事故ですし、いつか本当に事故ります。

購入するかどうかは、正直執筆費用や資料費のバランスになってくるんじゃないでしょうかね。そもそもない所から沸いてきたおもしろエピソードの裏取りでどうお金を使うかは、慎重に検討しなければなりません。

今回のように発言を作られていた場合、嘘が載ってしまえば責任を負うのは書き手である僕であって、AIではありません。

今後のために出した指示

まあ、ねつ造なので一文は削除し、そのうえで、Claudeには3点を求めました。

まず、参照するときはWeb Fetchまで徹底すること。検索結果の抜粋を読んだだけで「確認した」と書かない。今回、別件で提示されたURLが404だったこともあって、開けないページを参照済みとして扱う癖があると分かりました。検索したページの文章を最後まで読んで判断しなさい、という意味で「Web Fetchまで徹底しなさい」という指示を与えました。

次に、書き終えた原稿は、別のセッションのプロセスにチェックさせること。生成と検証が同じ流れの中にあると、書いたClaude本人には自然に見えてしまいます。実際に別プロセスへ投げてみたら、僕とClaudeが議論していた2箇所を同じように「裏付けなし」と判定し、さらに僕らが見落としていた別の記述も拾ってきました。

最後に、エピソードの類には、Web Fetchが通ったURLを脚注として残すこと。本文を書くのと同時に貼らせて、生成物を見た僕が、どんな情報を引用してきたのかまで分かるようにします。貼れないなら、その時点で書けないものだと分かりますよね。僕がすぐ確認フェーズに移れる形にしておくのが狙いです。

しばらく様子を見ます

SNSで「AIに任せてアウトプットが爆速になった」と書いている人をよく見かけます。正直なところ、その人は何もチェックしていないんじゃないか、AIに丸投げしているだけなんじゃないかと思っています。

これまで何度も、AIによる「しれっとした嘘」に直面してきましたし、修正し続けてきました。僕の感覚では執筆時間が短くなった分、確認・検証・校正・校閲に時間を取られている印象があります。ライターが編集者にジョブチェンジした感じです。ライターなのに。

今回の原稿、自分の手で書いていれば1時間もかからずに終わっていました。それが、AIのあやふやな記述のせいで検証に回り、直させ、文章を作るプロセスそのものの誤りを指摘して、3時間以上かかっています。将来AIの出力が確かなものになることを期待した投資として時間を使ってはいますが、この記事1本で見れば無駄な時間です。

Claudeの「確認しました」という報告も、さらに信憑性がなくなりました。捏造した発言を「確認できたもの」の一覧に混ぜて渡してきた以上、報告そのものを裏取りの材料には使えません。

正直、今はやれやれ感が満載です。ただ、AIを全く使わない仕事は想像できない一面も確かにあります。新しい指示を入れた状態で、しばらく様子を見てみます。