「競売物件研究所」にピンポイント人口動態を追加

※以前別の場所で書いた文章を備忘的に書き記しておきます。

【投稿年月日】2013-07-30 【ジャンル】PHP/MySQL | 提供サービス

 「競売物件研究所」に人口動態情報を追加しました。
人口動態情報

 競売物件付近の人口動態(人口ピラミッド・持家比率・戸建比率・就業比率など)を、町・丁目レベルというピンポイントで可視化しました。不動産という大きな買い物をする前に、地域の将来像をある程度予測することができます。
 町・丁目レベルの地域数は32万件以上。市区町村が2,000件前後なので、けた違いに膨大なデータです。ただし、市町村合併等の影響により、必ずしも緯度経度情報の取得がうまくできてないので、表示されない場合や表示がおかしい場合があります。改善すべき今後の課題です。

 ピンポイント人口動態の有用さについては、近接する地域の物件を比較することで理解できると思います。一例として、横浜市都筑区仲町台の2つの地域について「人口ピラミッドの推移(総数)」を見てみます。

横浜市都筑区仲町台三丁目の物件 ※人口が急増、若年層が多い地域。
bit.tisoku.net/item/3121110...
横浜市都筑区仲町台三丁目

横浜市都筑区仲町台五丁目の物件 ※老年層が緩やかに増加する地域。
bit.tisoku.net/item/3121110...
横浜市都筑区仲町台五丁目

 地方についても見てみます。

松江市和多見町の物件 ※急激に老齢化が進む地域。
bit.tisoku.net/item/3551110...
松江市和多見町

伊達郡川俣町の物件 ※老齢化が進む地域。
bit.tisoku.net/item/3721110...
伊達郡川俣町

 近隣の公示地価の騰落率も可視化していますので、ピンポイント人口動態と組み合わせて分析することで、競売物件の将来性がある程度は見通せるのではないかと思います。

 ピンポイント人口動態で可視化されるデータは以下の通りです。
  1. 人口ピラミッドの推移(総数)
  2. 人口ピラミッドの推移(男)
  3. 人口ピラミッドの推移(女)
  4. 男女別人口総数及び世帯総数(男女比)
  5. 世帯人員別一般世帯数 (世帯人員)
  6. 住宅の種類・所有の関係別一般世帯数、延べ面積(持家比率)
  7. 住宅の建て方別世帯数(戸建比率)
  8. 世帯の経済構成別一般世帯数(就業比率)

 なお、人口動態データは「総務省:次世代統計利用システム」を、緯度経度情報は「東京大学空間情報科学研究センター:CSVアドレスマッチングサービス」を利用しました。この場をお借りして御礼申し上げます。

総務省:次世代統計利用システム
statdb.nstac.go.jp/
東京大学空間情報科学研究センター:CSVアドレスマッチングサービス
newspat.csis.u-tokyo.ac.jp/...

 以下、技術的なことを少々。
 データ取得が大変でした。何しろ膨大な量なので、API利用時に何度もタイムアウトに泣かされました。今になって思えば、XMLではなくjsonで取得すればタイムアウトは回避できたのかもしれませんが…

 最終的に7,700万件以上のデータを取得・格納しました(下図の黄色)。ちなみに下図の赤色で囲まれた32万件は、町・丁目レベルの地域数です。
7700万件以上のデータ

 データをWeb上にアップロードするのも一苦労でした。何せ7,700万件以上、5.4GBもあるデータです。

 まずは7,700万件以上のデータをCSVファイルに書きだします。これがなかなか終わらない。
 次に書きだしたCSVファイルをアップロードします。普段はVPNを利用する関係でADSLを使っていますが、いつ終わるか分からないので、この時ばかりは光回線を使いました。それでも3時間以上かかりました。
 最後に「mysqlimport」を使ってCSVからデータをMySQLに一気に流し込むのですが、これも非常に時間がかかりました。しかも、その間、運営するサイトに影響が出まくり。繋がりにくくなったり、MySQLが応答しなかったり。専有のマネージドサーバというのが唯一の救いです。。。

 7,700万件以上のデータの中から呼び出す必要があるので、データベース設計は慎重に行ないました。何せインデックスを使わないと、10秒以上応答がないのが当たり前の状態です。少し考えた後、新たにテーブルを2つ作成することでクリアしました。

 また、予想以上に苦労したのが、古いIEへの対応。具体的には、IE7とIE8です(さすがにIE6は…)。canvasを使って円グラフを描画するのですが、これがなかなかうまくいかない。最終的には何とか表示できるようになりましたが、かなり消耗しました。このような不毛な作業はいつまで続くのでしょうか。
canvasを使った円グラフ

 このピンポイント人口動態は、様々な応用がききそうなので、今後の展開が楽しみです。

競売物件研究所
bit.tisoku.net/

EDIUNET | PHP/MySQL | 独り言 | 提供サービス | JavaScript