PostGISを1.5から2.3環境に移行してみた
こんにちは、イノベーションオフィスの吉田です。
8月に入っても暑いですね。
今日は PostGIS のお話をさせていただこうと思います。
皆さんは PostGIS をご存知でしょうか?
簡単に言うと PostgreSQL で地理情報系のデータを扱うためのエクステンションの事です。
詳しくは以下も参照ください。
で、先日 PostGIS の 1.5 が入っている環境から 2.3 の入っている環境にデータを移行したのでそこら辺をまとめてみました。
0.前提
移行前後の環境は以下の通りです。
<旧環境>
自前サーバ
PostgreSQL 8.4
PostGIS 1.5
<新環境>
RDS 上の PostgreSQL 9.6
PostGIS 2.3
1.データのダンプ
ダンプはいつも通り、以下の感じのコマンドで大丈夫です。
2.移行先サーバでデータベースの作成
続いては以降先サーバでデータベースを作成していきます。
※今回は RDS での手順になります。
psql でログインして以下のコマンドを実行していきます。
昔に比べたら PostGIS の組み込みもだいぶ簡単になりましたね・・・
3.ダンプデータのリストア
それではリストアしてみましょう。
まずは pg_restore します。
※Warning エラー等が出ますがいったん無視しましょう。
その後 psql でログインして以下のコマンドを実行していきます。
これで作業完了です。
最後の DROP FUNCTION をしないと以下のようなエラーが出てしまいます。
これはリストアした際に古いバージョンの関数が残ってしまっているからです。
必ず DROP FUNCTION を実行してください。
と言うわけで PostGIS のお話でした。
それでは!
書いた人:イノベーションオフィス 室長 吉田
EC2にマウントしたS3にssh+rsyncしたら遅かったのでAWS CLIを試してみようとしたらCentOS6だったのでちょっと面倒だった件
こんにちは、イノベーションオフィスの吉田です。
タイトルが長いですが、要約するとそんな感じです。
発端は2週間ほど前に書いた以下の記事に遡ります。
無事 EC2 に S3 がマウント出来たので、別のサーバからデータを転送してみました。
そしたら思ったよりもスピードが出なかったので AWS CLI を試すことにしました。
ところがサーバの OS が CentOS6 で Python が古く awscli がインストール出来ない・・・
じゃあアップデートしようとしたら pyenv で BUILD FAILED とか出る始末・・・
と言うわけで順番に解決してみました。
1.curl のアップデート
pyenv で出るエラーは「SSL Connection Error」でした。
これは以下を参考にしました。
nss を更新しないといけないんですね。
というわけで以下で解決しました。
2.Python のアップデート
pyenv が動作するようになったら Python のアップデートを行います。
以下のサイトの「CentOS6」のとこが参考になるかと思います。
3.AWS CLI のインストールと設定
ここまで出来たらいよいよ AWS CLI のインストールです。
先ほどのサイトを引き続き参考にします。
最後は認証情報の設定です。
設定時はプロファイル名を設定するのがオススメです。
これで準備が出来ました!
4.ファイルの転送
というわけで一括転送してみます。
一括転送の場合は sync がオススメです。
詳しくは以下のドキュメントを参照してください。
sync — AWS CLI 1.15.66 Command Reference
いかがでしたでしょうか?
ちなみに、これでサクサク転送できる!と思ったら現サーバ側の帯域の問題でスピードはほとんど変わりませんでした・・・
そうなったら tar.gz とかにして転送するしかないかもです。
それでは!
書いた人:イノベーションオフィス 室長 吉田
日比谷オクトーバーフェスト2018
こんにちは!
ドイツビール大好き、吉田です。
最近とてつもなく暑いですが皆様いかがお過ごしでしょうか?
暑い時にはビールですよね!
と言うわけで日比谷オクトーバーフェストに行ってきました(笑)
今年は以下のお台場に続いて2回目となります!
今回の1杯目は前回のお台場に引き続きプランクにしてみました。
ヘフェ・ヴァイツェン!
やっぱり小麦のビールは飲みやすいですね!
ちなみに今回は噴水のすぐ脇に陣取ってみました。
が、日よけが無いと暑くてダメですね・・・
まあお陰でビールはすすみましたが(笑)
もちろん今回もライヴがありました。
相変わらずの盛り上がり、皆さん流石です!
といった感じで今回も楽しんできました。
次回は再びお台場ですが・・・多分参戦すると思いますのでまたレポートしたいと思います!
ドイツビール最高!
書いた人:イノベーションオフィス 室長 吉田
餃子チャレンジッ!アゲイン!
こんにちは、イノベーションオフィスの吉田です。
今年の初めに弊社社員の秋田が以下のような記事を投稿していたのをご存知でしょうか?
こちらのお店が目黒に有るらしく、総務の大食い担当(と、その他冷やかし)とチャレンジしてきました!
このチャレンジの詳細は上記の記事をご覧いただければと思いますが、簡単に以下のような感じです。
-
1人で食べること
-
味わって食べること
-
制限時間は60分
餃子100個、重量1.5kgとのことですが、1個が小さいので結構イケるんじゃね?みたいに思っていました。
というわけでこんな感じです。
店員さんが派手なアナウンスをしてくれていざ挑戦スタート!
まず最初の敵は熱さです。
とにかく熱い!
小皿に取り分けて冷ましつつ食べ進めていきます。
最初は余裕なんですよね・・・
次の敵は油です。
20分くらいで半分以上食べたのですが、その頃から油がきつくなってきます。
そこはお酢やゆず胡椒などで食べ進めていきます。
そして最後は胃袋の容量です。
最後の方は1つ食べるたびに何かが出そうになっていました。
結果・・・
成功!?
・・・いや、2人とも残り10個を切った辺りで箸が止まりそのままタイムアップでした。
すいません、正直なめてました。
というわけで挑戦は失敗しましたが、実は1つ実験も兼ねていました。
食前食後でどれだけ体重が変わるか?
皆さんも興味ないですか?
わざわざ体重計を持ち込み、店員さんに「体重計持ってきた人初めてですよ~」なんて言われつつ計ってみました。
その結果をご覧に入れつつ、今日はお別れです。
<挑戦前>
<挑戦後>
+1.2kg!
餃子(ほぼ)1.5kgと酎ハイ2杯で1.2kgということはそれ以外の質量はどこへいったのでしょうか・・・?
それではこのへんで。
書いた人:イノベーションオフィス 室長 吉田
AWSでS3をEC2にマウントしてみたお話
こんにちは、イノベーションオフィスの吉田です。
最近AWSを使っていて色々あったのでメモも兼ねて記事にしたいと思います。
皆さんはS3を使ったことはあるでしょうか?
容量制限も無く耐久性も高いクラウドストレージということで有名かと思います。
で、今回はEC2から簡単に使いたいということでファイルシステム上にマウントしてみました。
マウントには goofys を使用しており、手順は以下が参考になるかと思います。
で、マウントしてちょっと触ってみたところ色々気になるところが有りました。
普通のファイルシステムとして使おうとすると結構厳しいですね・・・
こちらに関連する内容は goofys の README に色々書いてありました。
「Current Status」と書いてあるので今後アップデートで解決する可能性が有るかもしれませんね!
ちなみに、最初マウントしたときは root からしか書き込みが出来ず焦りました。
が、以下の様に dir-mode を追加することで他のユーザからでも読み書きできるようになりました。
あとはオーナーを Apache ユーザにしたかったので uid, gid は 48 を指定しています。
(でも変更できないので root でも良かったような気はします・・・)
というわけで、普通に使おうとすると色々有りますが、特性を理解した上でならかなりアリかと思います。
機能的には s3fs という選択肢もあるようですが、速度がだいぶ遅いようなので今回は試しませんでした。
そちらも試す機会が有ったら記事にしたいと思います。
それでは!
書いた人:イノベーションオフィス 室長 吉田
JDLA合格者の会に行ってみた
どうもです、InnoPMの関口です。
先日、JDLA(日本ディープラーニング協会)のG検定(ジェネラリスト)を受験してきました。
資格の詳細については、以前、吉田が書いている記事をご覧ください!
これを取得すると「ディープラーニングの基礎知識を有し、適切な活用方針を決定して事業応用する能力を持つ人材」と認められるのですが、この度、弊社で新たに2人合格者が出ました!(わーい!)
受かった人① たかの
受かった人② せきぐち
で、先日その検定の合格者の会が開催されたので、潜入してきました!
アジェンダ的なの
メシとお酒がだいぶ豪華でした!!
乾杯の瞬間
合格者はSlackのコミュニティに入れるそうです。
最近っぽくていいですね~!
最年少の合格者の方は表彰されてました
21歳だそうです、めちゃ若い!!
成績優秀者たちの写真撮影
合格者の年代別の統計です
30代が一番多いんですねー!
20代と40代が同じくらいでした。
今度は職種別です
圧倒的IT系が多いのは置いておいて、マーケや営業系の方も結構いらっしゃったみたいですね!
人事も結構いるのが驚きでした!
そして受験動機です。
AIへの興味よりもキャリアアップしたいという回答が多かったのが印象的でした。
みんな現実的ですねw
そして最後に次回検定の情報だそうです!
E資格:2018/09/29(土)
G検定:2018/11/24(土)
以上がJDLA合格者の会レポートでした!
日本ディープラーニング協会は、日本の産業競争力の向上を目指すために設立されたようです。
正直、AIの領域では日本は出遅れていると思うので、技術力の向上のために頑張っていただきたいところですね!(他人任せ)
最後の最後に、、、宣伝です
G検定を受験される方は、Qiitaに課題図書をまとめたので、こちらもぜひ見てみてください!
書いた人:なんちゃってエンジニア 関口
打倒ブラジル?ランチシュラスコ食べ放題に行ってきました!
こんにちは、イノベーションオフィスの吉田です。
先日、五反田でランチにお肉を食べられる店を探していたところ、去年オープンした ALEGRIA というお店を見つけました。
しかもこちら、メニューをよく見てみるとランチでシュラスコ食べ放題(2時間)なるものが有るじゃないですか!
これは行かねばということで、私含めて男女5人で体験してきましたのでそのレポートをしたいと思います。
お店は五反田駅近く、国道1号沿いのビルの地下1階に有りました。
お店の入り口はオシャレな感じです。
早速中に入り、席に案内してもらいます。
お皿の右上の方にプラスチックの丸いプレートが置いてありました。
シュラスコを食べたこと有る方はご存知かと思いますが、裏側は緑になっており緑の時だけお肉を持ってきてくれる仕組みになっています。
さて、では早速食べましょう!
食べ放題のメニューは以下となります。
星が付いているものだけかと思いきやそれ以外のお肉も出てきました。
後でわかったのですが、星が付いているものは好きなだけ食べられるとの事でした。
スープ、サラダ、パンなども運ばれてきつつ、お肉が次々にやってきます(笑)
全部紹介すると大変なので特に美味しかったお肉をご紹介します。
こちらはリングイッサ(ソーセージ)です。
とてもジューシーで味付けも美味しく、ビールが欲しくなってしまいました(笑)
こちらはピッカーニャ(イチボ)になります。
シュラスコといえばコレ!って感じらしいです。
結構脂身が付いていますが、美味しくてペロリといけちゃいます。
さらにこちらはアルカトラ(ランプ)です。
脂身は控えめ、中はレア気味で噛むたびにおいしい肉汁が出てくる感じでした。
こちらはアパカシ(パイナップル!)です。
肉の猛攻を全力で受け続けて少し疲れた胃に、温めることで甘みを増したパイナップルが優しくアプローチしてくれます(笑)
この他に肉はもちろんカレーやデザートまで出てきて大満足(というか苦しくて動けないぐらい)でした!
料金は一人2500円とランチにしてはお高めですが、満足度も高いのでオススメです!
普通のランチメニューも有りますので、皆様も五反田にいらした際は是非行ってみてください。
それでは!
書いた人:イノベーションオフィス 室長 吉田
Xcodeで無駄に汗をかいた話
こんにちは、イノベーションオフィスの吉田です。
昨晩はワールドカップを見ていたのでちょっと眠いです。
日本が負けたのは残念ですが、ベルギー相手に素晴らしい試合を見せてくれてましたね!
それでは本題ですが、先日久々に Xcode を触ったらしょうもない罠にひっかかりまして無駄に汗をかきました。
もしかしたら同じ罠にはまる方もいらっしゃるかもしれないので情報共有も兼ねてエントリを書いてみました。
以下は Xcode のプロジェクトの設定画面になります。
Xcode を触ったことが有る方には見慣れた画面ですね。
それが、ちょっと作業してたら以下のようになってしまいました。
何故か PROJECT と TARGETS が空になり、何も表示されなくなりました・・・
恐怖ですね。
まずは心を整えつつ、Project の Clean をしたり Xcode の再起動をしたり Mac の再起動をしたりしてみます。
ところが表示は変わりません。
さすがにリアルに汗が出てきたところで、いったん気分転換してから画面を見てみると怪しい部分を発見!
そうです、フィルタリングしてました。
しかも Tab 文字で・・・
今回 Mac Mini に Windows で使用していたキーボードを差し替えて作業していました。
で、画面を切り替えるために Windows の癖で Alt+Tab を何度か押していたのですがそれがまずかったようです。
以下のような感じですね。
と言うわけでわかってみれば非常に単純な問題でした。
ググってみても全然情報が出てこなかったのでどなたかの参考になれば幸いです。
それでは!
書いた人:イノベーションオフィス 室長 吉田
Podcast & Twitter に関してのお知らせ
こんにちは、イノベーションオフィスの吉田です。
今日も暑いですね!
梅雨はどこに?と思ったら関東地方は今日梅雨明けしたそうです。
さて、最近お知らせが多いような気もしますが本日もお知らせです。
ラジオ番組のPodcast
先日、東京FM局のラジオ番組『ピートのふしぎなガレージ』に取締役の石原が出演いたしましたが、その放送がPodcastになったそうです!
聴き逃したという方は是非ご聴取いただければと思います。
Twitter始めました
先月、インターンの福徳からブロックチェーン専門メディア blockchain.denen.com をご紹介させていただいたかと思います。
こちらに連動して私のTwitterアカウントを開設いたしましたので、是非フォローいただけると嬉しいです!
以上、お知らせでした!
書いた人:イノベーションオフィス 室長 吉田
ディベートで人間に勝ったAIは言葉を理解しているのか?
こんにちは、テレコム第2チーム サクマです。
大げさなタイトルをつけてしまいましたが内容はただの感想記事です。
期待をされた方は本当に申し訳ありませんが専門的なお話は一切なくて、ポエムのようなものです。
それでもよいという方、ありがとうございます。続きをどうぞ。
先日社内のSNSで紹介された以下の記事を読んでとてもびっくりしました。
IBMのAI「Project Debater」、ディベートチャンピオンを打ち負かす - ITmedia NEWS
人間の意見に反論できる、ということは人間の言っていることが理解できているということではないか?と考えたからです。
AIで言語を利用するシーンというのは自動変換、自動翻訳、チャットボット などなど色々とありますが、あくまでAIはルールに従って言葉を切り貼りしているだけであって内容が理解できているわけではない、というのが私の理解です。
「おなかがすいた」という言葉を聞いてAIが近くにあるレストランを検索して答えを返してくれるのは「おなかがすいたと言ってるからきっと何か食べたいんだな」と理解してくれているわけではなく、「おなかがすいた」というキーワードでそうするように設定されているからだ、ということです。
実際に私たちが理解するように文章の内容を理解したり、文と文のつながりを捉えたりするには、それはもうたくさんのハードルを越えなくてはならないと理解をしていました。
ではディベートAIはどうなんでしょう?私達の話す言葉を理解しているんでしょうか?
結論としては、どうやら理解できているわけではなさそうです。
ディベートに勝つための立論のテクニックや文章のフォーマットがあるので、言葉の意味はわかっていなくてもディベートに勝つための文章を作成できるようになった、ということなのだと思います。
http://www.research.ibm.com/artificial-intelligence/project-debater/research.html
ディベートとは、一つのテーマについて賛成、反対に分かれて決められた時間で立論をして、その説得力を競う競技です。
※詳しいルール(http://nade.jp/material/beginners/howto)
ディベートをするために、AIがやっていることは例えば以下のようなことです。(本当はもっとたくさんのことを処理しています)
- テーマについて賛成/反対している文章を探す。
- 根拠となる文章を探す。数値や専門家の意見や実話などを出すと説得力がある。
- テーマについて反論の準備をする。
- 文章と文章を組み合わせて時間内に収まる長さの文章を作る。
それぞれのところでやっていることはこんな感じみたいです。
- テーマについて賛成/反対している文章を探す。
→いわゆる検索です。 - 根拠となる文章を探す。数値や専門家の意見や実話などを出すと説得力がある。
→数値は数字が入っている。専門家なら職業名、実話なら固有名詞が入っている。 - テーマについて反論する。
→テーマの反対をやればよい。反論用のフォーマットも意識して文章を作る。 - 文章と文章を組み合わせて新しい説得力のある文章を作る。
→なんとなく、と言っては失礼ですが、意味がわからなくてもこういう組み合わせを作ると高確率でそれらしい文章が作れる、という方法があるらしい。
とりあえず、AIが文章の意味を理解できるようになったわけではないようです。私の知らない間に未来が来ていたわけではなかった。ホッ。
タイトルについては結論が出ましたが、エントリはもう少しだけ続きます。
調べてみたらディベートAIは日本でも作られていました。
これは2015年の記事です。(要会員登録)
[脳に挑む人工知能14]「ディベートAI」の背後にある知性と感情 | 日経 xTECH(クロステック)
価値の良し悪し(「健康」+「長寿」→良い 「健康」+「肥満」→悪い)でポジティブな文章かネガティブな文章かを見分けることができるのがポイントのようです。
昔からディベートAIの開発は行われていたんですね。知りませんでした。
結局、言葉の意味はわかっていなかったよ、という話を初めの記事を紹介してくれた関口に話したところ、
「言葉の意味は完全に理解しないままでもディベートの世界チャンピオンに勝っちゃうってすごくないすか?」
と言われました。それは確かに。。
今回のニュースで囲碁や将棋の世界でAIが人間に勝つことができたように、ディベートでもAIは人間に勝てるということが示されました。
その気になればセールストークや謝罪なども人間よりずっと上手にこなすのかもしれません。ぜひ代わってやってほしい。
冗談はさておき、ディベートAIの技術はある知りたい問題についてどんな良いところと悪いところがあるかを教えてくれるすばらしい技術だと思います。
たとえ言葉の意味が理解できていなくても人間から見て、学習し、判断していると人間が感じられればそれはAIと言える。
今まで中身を理解していないんじゃAI(人工知能)とはいうもののいまいちだなぁ、と思っていましたが、今回のニュースを見て、私達よりよほど上手に色々なことをこなしてくれる優秀なパートナーなのだな、と思うようになりました。
物理学者はAIをこう見る~あなたは「正しく」怖がれていますか?(松浦 壮) | 現代ビジネス | 講談社(1/4)
会社のSNSでこの問題について議論してくれた関口さんと吉田さんに感謝します。無事エントリの形になってよかった。
拙い知識で作成したものですのでご指摘があれば訂正もしていきたいと考えています。
以上、お付き合いありがとうございました。
書いた人:テレコム第2チーム サクマ