北海道から茨城まで9道県が静かに消えていた ― 国交省データの『先頭ゼロ消失』と町名の表記ゆれ
全国の成約データをBigQueryに取り込むバッチで、エラー0件なのに北海道から茨城まで9道県が消えていた失敗談。国交省APIの先頭ゼロ消失と、e-Statの町丁目境界とつなぐための町名正規化の工夫を解説します。
1. まさかの現象:エラー0件なのに、北海道から茨城まで9道県が消えていた
「バッチ処理、エラー0件で完了しました!」
エンジニアにとって、これほど心地よい言葉はありません。私たち開発チームは、国交省の「不動産情報ライブラリ」から全国の成約データを取得し、データベースのBigQuery(大量のデータを高速に集計できるGoogleのクラウドデータベース)に取り込むバッチ処理を回していました。最終的に約659万件、47都道府県・1,889市区町村ファイルにのぼるデータを四半期ごとに集め、市区町村ごとの静的ファイルにして配信する仕組みです。
ログには赤い文字(エラー)が1つも出ていません。「よし、全国のデータがきれいに揃ったぞ」と安心しきっていました。
ところが、都道府県ごとにデータの件数を数えてみたとき、背筋が凍りました。北海道、青森、岩手、宮城、秋田、山形、福島、茨城、栃木……と並ぶはずのリストで、北海道から茨城までの9道県がまるごと消えていたのです。
いや、北日本どこ行った。日本地図の右上半分がごっそり神隠しにあっています。エラーは0件だったのに、なぜ9道県ものデータが静かに消えてしまったのでしょうか。
2. 原因調査の沼:ログに出ない「先頭ゼロ消失」と、町丁目コードが合わない二重苦
慌てて原因を調べると、犯人は国交省の成約価格情報API(XIT001)が返す「市区町村コード」の仕様にありました。
日本の市区町村コードは、先頭2桁が都道府県(北海道は01、青森は02……茨城は08、栃木は09)、続く3桁が市区町村を表す合計5桁の数字です。たとえば札幌市中央区なら「01101」になります。
ところが、国交省APIが返すデータでは、都道府県コードが01〜09の地域、つまり北海道から茨城までの市区町村コードで先頭の「0」が落ちていたのです。「01101」ではなく「1101」という4桁で返ってきていました。Excelに電話番号を入れると先頭の0が勝手に消える、あの現象と同じです。さらに、町丁目などを表す8桁の「地区コード」でも、地区が不明なデータには「0」という1桁の数字だけが入っていました。
なぜエラーにならなかったのか。理由はシンプルで、プログラムが「1101」をエラーではなく「そういう別の市区町村コードなんだな」と素直に受け取っていたからです。そして、後続の処理で正しい5桁の市区町村マスタ(「01101」など)と突き合わせたときに、「一致する市区町村がないデータ」として静かに捨てられていました。システムにとっては正常な動作なので、ログには何も出ません。件数を都道府県ごとに数えて初めて気づいた、というわけです。
しかし、沼はこれだけでは終わりませんでした。
次に私たちが挑んだのは、「価格ヒートマップ」機能のために、国交省データの「地区(町丁目)」と、政府統計の総合窓口である e-Stat(国勢調査)の町丁目境界データ をつなぐ作業でした。地図上に町丁目の枠線を引き、そこに成約価格の㎡単価を色分けして塗るためです。
「両方とも国のデータだし、地区コードでピタッとつながるだろう」と思っていました。ええ、甘かったです。調べてみると、国交省の地区コードとe-Statの町丁目コードは、コード体系がまったくの別物でした。いや、同じ政府のデータなのにコードが違うんかい、と思わず画面にツッコミを入れました。
コードでつなげないなら、「市区町村コード+町名」の文字で突き合わせるしかありません。しかし、ここでも不動産データ特有の「表記ゆれ」が立ちはだかります。国交省側とe-Stat側で、漢数字と算用数字の違い、全角と半角の違い、「大字(おおあざ)」の有無などがバラバラだったのです。
3. こうして解決した:5桁ゼロ埋めと「町名正規化」の割り切りルール
この2つの沼から抜け出すため、私たちはNode.js(サーバー側で動くJavaScript環境)のデータ取り込み処理に、明確なクレンジング(データの整形)ルールを組み込みました。
まず、市区町村コードと地区コードの「ゼロ問題」は、次のルールで統一しました。
- 市区町村コードは
normalizeMunicipalityCodeという関数を通し、4桁で来ても5桁に0埋め(ゼロパディング)する - 地区コードは8桁を基本とし、「0」が入っている場合は「欠損(地区不明)」として扱う
- バッチでの取り込み後は、エラー件数だけでなく都道府県ごとの件数でデータの網羅を確認する
そして、もうひとつの難関である「国交省の地区名」と「e-Statの町名」の突き合わせには、町名を一定のルールで揃える「正規化(表記ゆれを統一する処理)」を導入しました。両方とも同じ形に整形してから、市区町村コード+正規化した町名で結合するアプローチです。
具体的な処理と結果をまとめると、次の表のようになります。
| 課題・対象 | 起きていた現象 | 解決ルール(正規化・処理) | 変換イメージ・結果 |
|---|---|---|---|
| 市区町村コード | 北海道〜茨城(01〜09)で先頭の0が落ちる | normalizeMunicipalityCode で5桁に0埋め | 1101 → 01101 |
| 地区コード | 8桁のはずが、地区不明データに 0 が入る | 0 は有効なコードではなく「欠損」として扱う | 0 → null(欠損) |
| 数字・文字幅のゆれ | 全角数字や漢数字が混在して一致しない | 全角→半角、漢数字→算用数字に変換 | 北一条西一丁目 と 北1条西 を同じ形に揃える |
| 町名の前後のゆれ | 丁目や大字・字などの付き方が片方だけ違う | 先頭の 大字 字 と、末尾の ◯丁目 (番地) 学区 を外す | 北一条西一丁目 → 北1条西 |
| 全国の突き合わせ | コード体系が別物でつながらない | 市区町村コード+正規化した町名で結合 | 全国の一致率は約94%(岩手・高知・宮崎は約80%) |
たとえば札幌市の「北一条西一丁目」と「北1条西」のような違いは、全角を半角にし、漢数字を算用数字に変換し、さらに末尾の「◯丁目」を外すことで、どちらも「北1条西」という同じ文字列に揃います。同様に、末尾の「(番地)」や「学区」、先頭の「大字」「字」も取り除いてから突き合わせるようにしました。
この正規化によって、全国で約94%の地区がe-Statの町丁目境界とつながりました。
一方で、岩手・高知・宮崎の3県だけは、一致率が約80%にとどまりました。調べたところ、これらの地域ではe-Stat側のデータがさらに細かい「字(あざ)」単位に分かれており、国交省側の地区名と粒度が合わないケースが多かったためです。
ここで「100%になるまで推測で無理やりつなごう」とすると、今度は別の町丁目に間違った価格を塗ってしまう危険があります。不動産の実務で、隣の違う地区の単価が混ざるのは致命的です。そのため、残りの一致しないデータは無理に合わせないという設計判断をしました。
今回のしくじりから得た最大の教訓は、「エラー0件」は「成功」ではないということです。オープンデータは整備されていて本当にありがたい存在ですが、「数えて確かめるまでは信用しない」をチームの合言葉にしました。
4. 物件目利きリサーチでどう便利になったか
こうして5桁のゼロ埋めと町名の正規化を乗り越えたことで、北海道から沖縄まで全47都道府県のデータが正しく揃い、町丁目単位での分析機能が安定して動くようになりました。
仲介や買取、大家さんの実務では、「〇〇区や〇〇市全体の平均」だけでは粗すぎて判断できない場面が多々あります。同じ市区町村の中でも、駅前の商業地と少し離れた住宅街、あるいは大通りを1本挟んだ隣の町丁目で、相場がガラッと変わるからです。
物件目利きリサーチでは、今回整備した町丁目と境界の突き合わせデータを、次の2つの機能で活用しています。
1つ目は「徒歩時間フィルタ(Pro)」です。取引があった地区(町丁目)の代表地点から最寄り駅までの距離を測り、徒歩分数の目安(直線距離×1.3÷80m/分)で成約事例を絞り込めます。全47都道府県に対応しているため、地方や郊外でも「駅徒歩10分圏内だけ」といった実務的な条件で相場を調べられます。
2つ目は「価格ヒートマップ(Pro)」です。地図上の町丁目ごとに、直近4四半期の㎡単価(中央値)と前年比を色分けして表示します。「どの丁目が高くて、どの丁目が割安か」「前年に比べて上がっているエリアはどこか」が、地図を見るだけで直感的にわかります。売主様への査定説明や、投資・仕入れエリアの当たりづけをするときも、数字の羅列ではなく地図の色で示すことで、納得感のある会話がしやすくなります。
9道県消滅の危機を乗り越えて全国につながった町丁目別の㎡単価は、月額980円(税込)のProプランで使える「価格ヒートマップ」から、ぜひ実際の地図でお確かめください。
関連する機能とマニュアル
よくある質問
- 価格ヒートマップではどのようなデータが見られますか?
- 町丁目ごとの㎡単価(直近4四半期の中央値)と前年比を地図上で確認できます。この機能は月額980円(税込)のProプラン、および月額3,980円(税込・年額39,800円)のBusinessプランでご利用いただけます。
- 無料のFreeプランでも地区ごとの相場は調べられますか?
- はい、トップページの相場調査では、物件種別や地区名の絞り込みを全プランでご利用いただけます。Freeプランは無料で、相場調査の回数上限はログインユーザーが1日3回、未ログインの場合は1日1回です。
- 北海道や東北などの地方でも徒歩時間での絞り込みは使えますか?
- はい、徒歩時間フィルタ(Pro)は全47都道府県に対応しています。取引の地区(町丁目)の代表地点から最寄り駅までの目安(直線距離×1.3÷80m/分)を計算し、指定した徒歩分数で絞り込むことができます。
