無限壁破り駆動開発 <colspan=∞>

テーマは北海道, オープンデータ, Web技術, HTML5, d3.js, カメラ, 韓国語, Javascript, Ruby, Python

九州地方の大雨を可視化しました

2017年7月5日に発生した九州地方の大雨による水位変動を可視化しました。 Github pagesにて公開しています。

過去に類を見ないほどの甚大な被害に見舞われている方々のご無事を祈ります。 危険な場所へは決して近づかず、逃げてください。

github.com

f:id:colspan:20170705231200p:plain

対象期間

2017/07/01 01:00 ~ 2017/07/05 22:00

情報源

License

CC BY-SA 2.0 JP 三好邦彦

db analytics showcase sapporo 2017で講演をしました

2017/6/30~7/1に開催されたdb analytics showcase sapporo 2017に講演者として参加いたしました。

www.slideshare.net

f:id:colspan:20170630094637j:plain

また、同時開催のFOSS4G 2017 Hokkaidoにも飛び入り参加し、数学、DB、機械学習、地理情報等、分野を越えて深い交流ができました。 今回招待をしてくださったインサイトテクノロジー株式会社様には、イベント運営や講演準備の協力など、多大な協力をいただけました。大変感謝をしております。本当にありがとうございました。

f:id:colspan:20170630192406j:plain

また、6/30の講演終了後にインサイトテクノロジーのオフィスで開催されたPyData Sapporo決起大会では、突然のAI談義が始まり、PFNである自分が超大手の皆さんに混じってパネラーに巻き込まれることに…。札幌という非日常な場所で皆さんスリル満点ギリギリのトークで盛り上がりました。

FOSS4G 2017 Hokkaidoのセッションにも両日ハシゴしながら参加し、質疑応答や懇親会等でたくさんの意見交換ができました。 地理情報処理、データ解析、可視化、シビックテック、機械学習という、切っても切り離せない技術要素を股にかける機会を得た自分にとって、今回の2イベント併催は楽園そのものでした。今後も分野を超えてブリッジできるエンジニアとして精進します。

それにしても、両日の2次会は、すごかったなぁ(笑)

db tech showcase Sapporo 2017にて講演します

唐突な報告ですが、2017年4月から株式会社Preferred Networksにてエンジニアとして働いています。 前職と比較にならないほどの強い刺激を得ながらも、自分のペースでのびのびと仕事ができる素晴らしい環境に囲まれています。

さて、インサイトテクノロジー様のご厚意により、2017/6/30~7/1に札幌で開催されるdb tech showcase Sapporo 2017にて講演する機会をいただけることになりました。 講演内容は「A12:オープンデータ解析 地理統計オープンデータをまぜまぜHackしよう」です。

www.db-tech-showcase.com

これまでにオープンデータと戯れてきた過程で積み上げてきた解析レシピの一部を共有したいと思います。 Quadkeyを使ったオープンデータの符号化やLuigiを使った構成管理・並列化の事例など、FOSS4Gの枠を超えたとても泥臭い話を共有したいと思います。 間に合えばPFNらしくディープラーニングも混ぜたいけれど…。

当日のハッシュタグ#dbts2017 です。

私にとっては昨年のFOSS4G Sapporo 2016以来の札幌滞在になります。また札幌に帰れてとても嬉しいです!

他のセッションも盛り沢山で、聞きたいセッションがいっぱい。 そして、FOSS4G Hokkaido 2017も同時開催という、超贅沢な2日間です!

foss4g.hokkaido.jp

国土地理院の戦前の航空写真を着色する

モノクロで撮影された時代の国土地理院タイル画像ディープラーニングベースの着色技法(Automatic Colorization of Grayscale Images)を用いて着色しました。

実働デモをGithubで公開中です。

開発着手前には、着色エンジンのモデルを航空写真データで再学習しなければならないと予想していましたが、論文の公式モデルをそのまま流用するだけでもかなり体感的に良い着色ができました。 ニューラルネットワーク恐るべし。

今後は違う年代の写真も着色してみたいと思います。

着色前(元画像)

f:id:colspan:20170504230028p:plain

着色結果

f:id:colspan:20170504230047p:plain

License

Seseki全国版公開

この度、http://urbandata-challenge.jp/2015/2015-archivesアーバンデータチャレンジ2015 アプリケーション部門において金賞を受賞したSesekiの全国版を公開しました。 オープンソース(CC BY SA NC 4.0)として公開しています。(商用利用はご相談ください)

動作ページ

Seseki

ソースコード

github.com

動作風景

f:id:colspan:20161103113953p:plain f:id:colspan:20161103114006p:plain f:id:colspan:20161103114015p:plain f:id:colspan:20161103114032p:plain

地方創生の戦略建てに是非ご活用ください

今月よりRESAS APIが公開されるなど、オープンデータの活用の敷居がますます低くなりつつあります。 しかし、データの入手が容易になっても、データの内容を把握するための簡便な閲覧手段がありませんでした。

Sesekiは、そのような課題を解決するために作ったWebアプリケーションです。 市町村単位で集計されたCSVデータを用意するExcelのスキルさえあれば、簡便にヒートマップとランキングを作成することができます。CartoやQGISよりも易しく、RESASよりも軽快にデータを閲覧できます。 人口比率や面積比率など、各市町村が公開するオープンデータとRESASからダウンロードしたデータを自分で組み合わせた独自のメトリクスによる可視化を試すことができます。

年初においては北海道版しかありませんでしたが、アーバンデータチャレンジやFOSS4G北海道を始めとした様々な方のご支援を頂いた結果、全国版にまで展開することができました。 アーバンデータチャレンジ2016を始めとした各地の地方創生のための取り組みにぜひご活用ください。また、機能拡張の要望などはお気軽にお声がけをいただければ幸いです。

本アプリケーションに対する言及等

internet.watch.impress.co.jp

www.mdn.co.jp

www.mdn.co.jp

urbandata-challenge.jp

デル株式会社

データビジュアライゼーション 毎月もくもく会 vol. 9に参加しました

先日、データビジュアライゼーション 毎月もくもく会 vol. 9に参加しました。

eventdots.jp

初参加だったにも関わらず、LTの枠を頂戴して下記資料を発表しました。

www.slideshare.net

このもくもく会でみなさんと情報交換をする中で、私の中に一つ重要な気づきがありました。 私がこの1年取り組んできたデータを軸にした地域課題の明確化は、どうやら下記3つが絶妙なバランスで交わる世界であったと。

  • 地理情報
  • オープンデータ
  • 可視化

これらの境界は明確ではありません。 いずれも複合的に関連し合っています。 どれか1つできればよいのではなく、どれもまんべんなくできていなければ目的は達成されません。 各分野それぞれの専門家の方と濃い議論を交わす機会を得られていることにとても幸せを感じています。

2015年度のデータを追加 : 北海道観光客統計データ閲覧くん

北海道観光客統計データ閲覧くんに2015年度の北海道観光入込客数調査報告書 のデータを追加しました。

f:id:colspan:20160910111258p:plain

このアプリケーションは昨年北海道オープンデータハッカソンにてクリプトン賞を受賞し、北海道オープンデータカタログに掲載されています。

北海道における2014年→2015年の観光客の傾向変化

全道の傾向変化

観光客の述べ数がリーマン・ショックの直前である2007年の水準に戻りました。しかし、道外観光客の割合減少が止まらず、その減少分を海外の増加が埋める状況が2015年も見られます。(全道の観光客数推移)

f:id:colspan:20160910111408p:plain

海外観光客の増加

海外観光客の加速的な増加は今年も止まらず、全道の延べ数の3%を占めるまでになりました(全道の観光客数推移)。

特に札幌の伸び率が大きく、延べ数に占める割合として9.4%(126万人)から13.2%(179万人)に増加しています。

f:id:colspan:20160910111738p:plain f:id:colspan:20160910111747p:plain

その他

市町村間の相対的な特徴に大きな変化はなさそうですが、赤井川村の夏の集計値に昨年までと大きな乖離があるなど、集計方法が変わった市町村があるようです。よってデータの妥当性を都度評価する必要があります。前年との比較だけでなく、10年単位での変化を見る必要がありますのでご注意ください。

f:id:colspan:20160910112007p:plain