🛠️ 開発裏話・しくじり録

AIの提案書が『実在しない幹線道路』を発明したので、根拠メモで退治した話

⏱ 約6分物件目利きリサーチ 開発チーム

エリア提案レポートのAI出力を裏取りしたら、9エリア中6エリアで「公的資料にない幹線道路」や「謎の33階建てタワー」が出現。Google検索連携でも防げなかったハルシネーションを、ドメイン信頼度判定と3層の防御で退治した開発裏話です。

1. まさかの現象:いや、その幹線道路どこ通ってるん?

「第二成増幹線の工事が進んでおり、今後のアクセス向上が期待できます」

画面に表示されたAIの提案文を読んで、私たちは思わず声を揃えました。​いや、第二成増幹線ってどこ通ってるん?​

これは、物件目利きリサーチの活用ガイドに載せるサンプルを作っていたときのことです。「エリア提案レポート」で出力した3パターン×3エリア、合計9エリアの提案書を公開前に1件ずつ人間が裏取りしていました。

念のため自治体の都市計画図や道路網の資料を隅々まで探しても、そんな名前の幹線道路はどこにも出てきません。AIが「なんかありそうな道路名」を、しれっと発明していたのです。

嫌な予感がして残りのエリアも全部調べたところ、背筋が凍りました。なんと​9エリア中6エリアに問題があった​のです。

出てきた「AIの創作&勘違いコレクション」がこちらです。

  • 公的資料で確認できない『第二成増幹線』の工事
  • 裏付けのない『海浜幕張駅高架下の医療モール』
  • 影も形もない『門前仲町の33階建て駅直上タワー』
  • すでに開業済みの『幕張海浜病院』や『ekubo』を「開業予定」と紹介

ツッコミどころの渋滞です。「門前仲町の33階建て駅直上タワー」なんて、あったらとっくに街のランドマークになっています。しかも文章がめちゃくちゃ流暢で、不動産のプロが書いたように自然だからタチが悪いのです。

このままお客さまへの提案書に使ったら、「えっ、うちの近くにそんなタワー建つんですか?」「……あ、いえ、AIが勝手に建てました」という大惨事になりかねません。私たちは大急ぎで原因調査の沼へと飛び込みました。

2. 原因調査の沼:Web検索をつないだのに、なぜウソをつくのか

「AIがもっともらしいウソをつく(ハルシネーション)」のは有名な話です。だから私たちも、最初から対策はしていました。

Google Gemini APIの「Google検索グラウンディング」という機能をONにしていたのです。これはAIが回答を作る前にWeb検索を行い、検索結果をもとに文章を書く仕組みです。「検索してるなら事実しか書かないだろう」と安心しきっていました。

しかし、ログを掘り返してみると、​Web検索ならではの3つの罠​にハマっていたことがわかりました。

1つ目の罠は、​「検索結果の玉石混交」​です。 Google検索グラウンディングを使っても、その情報がどれくらい確かかを示す「信頼度スコア」のような便利な数字は返ってきません。検索結果には、自治体の公式発表だけでなく、誰かが書いた古いブログや、噂レベルのまとめ記事、不動産会社のポータルサイトのコラムなども混ざります。AIはそれらを区別せず、「高架下に医療モールができるかも」といった曖昧な記事まで事実として拾っていました。

2つ目の罠は、​「AIのサボり癖」​です。 ログを見て一番驚いたのがこれです。検索用のモデルを使っているのに、AIが「あ、そのエリアなら知ってるから検索しなくていいや」と判断して、検索クエリ0件(検索なし)で記憶だけで答えることがあったのです。記憶だけで書けば、当然「ありそうな名前の道路」や「謎の33階建てタワー」が爆誕します。

3つ目の罠は、​「AIは今日が何年何月か知らない」​ことです。 AIのモデル自体は、自分が今いつの時代に呼ばれているかを知りません。そのため、数年前のニュース記事を検索で見つけると、そこに書かれた「開業予定」という言葉をそのまま信じてしまいます。その結果、すでに開業している『幕張海浜病院』や『ekubo』を、2026年の今もなお「これから開業予定!」と元気よく紹介してしまっていたのです。

なお、エリア提案レポートに出す「㎡単価・件数・前年比」といった相場の数字は、国交省「不動産情報ライブラリ」の成約価格情報(直近4四半期・市区町村単位)をBigQueryから直接集計しているので正確です。しかし、その数字に添える「地域の話題(再開発や新施設)」のテキスト部分で、AIの暴走が起きていました。

3. こうして解決した:AIに「書かせない」と「印を付ける」の3層防御

原因がわかれば、やることはシンプルです。「AIはありそうな固有名詞を作るのが一番得意」という前提に立ち、​裏付けのないことを書かせない仕組み​と、​もし書いてしまったら印を付ける仕組み​の両方を作ることにしました。

私たちが実装した「3層の防御壁」を、まずは表でご覧ください。

防御層タイミングやっていること具体的なルール・設定
① 検索の厳選検索データの取得時ドメインで信頼度を判定し、低いものを捨てる自治体・国:1.0 / 鉄道・大手デベ・PR・全国紙:0.8 / その他:0.4(0.8未満は破棄。検索0件なら1回やり直す)
② 指示の厳格化プロンプト生成時今日の日付を教え、創作を禁じる日本時間の今日の日付を注入。確認できない固有名詞は一般表現へ。temperatureを0.7から0.4へ変更
③ 自動検査文章の生成後プログラムで後からチェックして注記を付与根拠のない名称に『(要確認)』、過ぎた予定日に『(※公表時の予定。現在の状況は要確認)』を自動付与

それぞれの層で何をやっているのか、もう少し詳しくご紹介します。

第1層:検索結果のドメイン選別と「サボり防止」

まず、AIが検索して持ってきた情報の裏付け(引用元URL)を、1行ごとにプログラムでチェックするようにしました。サイトのドメイン(URLの核となる部分)を見て、私たちが独自に信頼度スコアを付けます。

  • ​スコア 1.0​:自治体・国の公式サイト
  • ​スコア 0.8​:鉄道会社・大手デベロッパー・プレスリリース配信サイト・全国紙
  • ​スコア 0.4​:その他のサイト(ブログや一般のまとめサイトなど)

そして、​スコアが0.8未満の裏付けはバッサリ捨てる​ようにしました。さらに、AIがサボって「検索クエリ0件」で回答してきた場合は、そのまま採用せずにもう1回やり直す(リトライする)処理を入れました。

第2層:プロンプトへの日付注入と「クールダウン」

次に、AIへの指示書(プロンプト)を徹底的に書き換えました。

  • ​今日の日付を教える​:「今日は2026年10月21日(日本時間)です」と毎回プロンプトに入れ、過去の「予定」と「開業済み」を区別させるようにしました。
  • ​固有名詞の創作を禁止する​:「公式情報で確認できない固有名詞は作らず、『周辺のインフラ整備計画』のような一般表現にしなさい」「時期が曖昧な場合は『〜年頃(要確認)』としなさい」と釘を刺しました。
  • ​AIのテンションを下げる​:AIの創造性(ランダム性)を調整する「temperature」という設定値を、0.7から​0.4​に下げました。数値を下げるほど、AIはウケ狙いの創作を控え、堅実な回答をするようになります。

また、調べた結果として公式な裏付けが何も取れないエリアもあります。その場合は、無理にそれっぽい計画をひねり出すのではなく、​『直近の公式な再開発・都市計画情報は確認できませんでした』と正直に書くのが正解​、というルールにしました。

第3層:生成後のプログラムによる「自動検査」

ここまできつく縛っても、AIはたまに隙間をすり抜けて固有名詞を書こうとします。そこで最後の砦として、AIが書いた文章をNode.jsのバックエンドで自動検査する仕組みを入れました。

  • 信頼できる検索結果(スコア0.8以上)に存在しない「医療モール」「再開発」「道路」「新駅」などの名称が本文に出てきたら、自動で​『(要確認)』​という印を付ける。
  • 予定として書かれている時期が今日の日付を過ぎていたら、自動で​『(※公表時の予定。現在の状況は要確認)』​と付け足す。

このように、AI任せにせずプログラムのルールで挟み撃ちにすることで、ようやく「謎の幹線道路」や「幻の33階建てタワー」を退治することができました。

4. 物件目利きリサーチでどう便利になったか

この3層防御と自動検査を入れたことで、実は少しだけ犠牲になったものがあります。レポート作成の待ち時間です。

以前はボタンを押してから30秒前後でレポートが出ていましたが、検索のやり直しや厳密な裏付けチェックを入れた結果、​応答時間は30〜50秒​に延びました。開発チームでも「少し遅くなるな…」と悩みましたが、不動産の実務でお客さまに出す資料にウソが混ざるくらいなら、10〜20秒待ってでも裏付けのある情報だけを出すべきだと判断しました。

そして、この仕組みを画面上でひと目で確認できるようにしたのが、各エリアに表示される​「根拠メモ(ファクトチェック)」​です。

  • AIが本文中で触れた再開発や施設について、「どの公式情報(自治体や鉄道会社など)を根拠にしたか」を出典リンク付きで一覧表示します。
  • その事業が「計画中」なのか「開業済み」なのか、いつの情報なのかがその場でわかります。
  • 仲介や買取の営業担当者がお客さまに提案する際、自分でゼロから裏取り検索をしなくても、根拠メモのリンクを開いて数秒で事実確認ができます。

国交省の成約データから集計した確かな相場(㎡単価・件数・前年比)と、公式情報で裏付けをとった地域の話題。この2つが揃うことで、ようやく実務で安心して使えるたたき台になりました。

自分の購入・投資検討には月額980円(税込)のProプランから、そしてお客さま向けの「顧客への提案書作成」はProプランで月1回のお試し、月額3,980円(税込)のBusinessプランなら回数無制限で使えますので、ぜひ「エリア提案レポート(Pro / Business)」で根拠メモ付きの提案書づくりを体験してみてください。

関連する機能とマニュアル

よくある質問

エリア提案レポートの地域の話題は、どのような情報を根拠にしていますか?
自治体や国、鉄道会社、大手デベロッパー、プレスリリース、全国紙といった公式・準公式なWeb情報だけを厳選して使用しています。個人のブログや根拠の曖昧な記事は除外し、各エリアの「根拠メモ(ファクトチェック)」に出典を表示します。
再開発や新施設の計画がないエリアはどう表示されますか?
公式な裏付けが取れないエリアでは、AIが無理に計画を創作しないよう「直近の公式な再開発・都市計画情報は確認できませんでした」と正直に表示します。また、時期や名称に曖昧な点がある場合は「(要確認)」などの注記が自動で付きます。
エリア提案レポートはどの料金プランで利用できますか?
「自分の購入・投資検討」モードは月額980円(税込)のProプラン以上でご利用いただけます。「顧客への提案書作成」モードは、Proプランで月1回までお試し可能で、月額3,980円(税込・年額39,800円)のBusinessプランでは無制限にご利用いただけます。