PostgreSQLの移行でバイナリデータに苦しめられた話
こんにちは、イノベーションオフィスの吉田です。
先日 PostGIS の移行のお話をしましたが、 PostgreSQL でも苦しんだことが有ったのでご紹介させていただきます。
今回のお話は PostgreSQL 8 系から PostgreSQL 9 系に移行した際のお話です。
大体はよくある pg_dump 、 pg_restore で解決したのですが、一部のデータが移行後に読み込めませんでした。
それはバイナリデータで bytea 型のフィールドでした。
アプリ側のバグ等の可能性も考えて色々やっていた結果以下のドキュメントにたどり着きました。
https://www.postgresql.jp/document/9.0/html/datatype-binary.html
特に以下の部分に注目です。
bytea型は入出力用に2つの外部書式をサポートします。 PostgreSQLの歴史的な"エスケープ"書式と"hex"です。 入力ではこれらの両方とも常に受け入れられます。 出力書式はbytea_output設定パラメータに依存し、デフォルトではhexです。 （hex書式はPostgreSQL 9.0から導入されたものであることに注意してください。 以前のバージョンや一部のツールではこれを理解しません。）
「hex書式はPostgreSQL 9.0から導入された」ですと！？
どうやら bytea 型のフィールドから値を取得する時のデフォルトの形式が変わったようです。
というわけで以下のコマンド一発で直りました・・・
皆様もお気をつけ下さい。
それでは！
書いた人：イノベーションオフィス 室長 吉田
Trip In Bali final
こんにちは。3年目の関口です！
今日はシリーズもの完結編ということで、バリに行ったときのお話を書いていきたいと思います！！
書いていきたい気持ちは山々なのですが、行ったの一年前なので全然覚えてません！すみません！！！
ということで、、、バリのオススメのレストランをご紹介して本シリーズを終えようと思います。
バリ島 オススメ レストラン 2選
マッシモ（サヌール）
マッシモはサヌール地区というバリ島の東側に位置する静かな街にあります。
地元民御用達の××なお店があったり、静かでキレいなビーチがあったりしていい街なので一度行ってみることをオススメします！
クタからタクシーで20分ちょいです。
マッシモはイタリアンレストランで、ピザやパスタなどの豊富なメニューが取り揃えられています。
https://www.zomato.com/bali/massimo-1-sanur/menu
ここの一番のオススメはマルゲリータピザです！
とにかくチーズの使い方が贅沢で尋常じゃないモチモチ感を堪能できます！
パスタも麺がモチモチで美味しいので絶対食べた方がいいです。
1人1つパスタを頼んで、みんなで1枚のピザをシェアして食べるのがオススメです！
そしてそして、マッシモで気をつけなくてはならないのはお通しの存在です。
お通し的な形でモッチモチの1口サイズのパンがくるのですが、コイツが美味すぎてやばいんです。
油断すると食べすぎて、メインが来る前にお腹いっぱいになってしまうので気をつけてください。。。
みんなでピザ1枚、1人1つパスタとデザートで、お酒も飲んで1人2,500円くらいでした。
コスパ的にはあり得ないくらい最高ですね、さすがアジア…。
mamas（クタ）
続いてオススメするのはクタにあるmamasというお店です！
クタはクラブ街となっていて、夜はクラブ音楽が街中に響き渡っているようなパーティタウンです。
mamas はドイツ料理のレストランとなっていて、お肉、パスタ、ポテト、ハンバーガーなどメニューが豊富なお店です。
ここの一押しポイントはとにかく安い値段で美味しいステーキが食べられるところ！
写真はポークステーキですが、これが1,000円くらいで食べられちゃうんですよね。。。めっちゃ安い。。。
近くには禅というめっちゃ優良店のスパがあるので、食べた後にはマッサージもしてもらうことをオススメします！
ここも1時間1,000円ほどの破格で本格バリニーズマッサージを受けることができます！
スパは街中にたくさんあるのですが、安いだけで汚かったり全然上手じゃないところもたくさんあります。
そんな中でもここのスパは相当クオリティの高いサービスを受けられるので、スパに迷ったらぜひ行ってみてください。
そんな感じで楽しいバリでした。
バリ島はめっちゃ幸福度高いのでガチでオススメします！
諸事情につき今年は行かないことになったのですが、来年は行けるといいなぁ。。。
書いた人：なんちゃってエンジニア 関口
今話題のガチャガチャを回してきました！
こんにちは！
好きなSUPER BELL’Zの曲は
「Formula Man Kichi Kichi Machine猛Race ～In Monaco」
テレコム第一チームの森村です。
SUPER BELL’Zといえば鉄道テクノユニットのイメージが強いと思いますが、F1をモチーフにした楽曲もあるんです!
https://www.amazon.co.jp/Formula-Man-SUPER-BELL%E2%80%9DZ/dp/B00005M6K3/ref=ntt_mus_dp_dpt_24
細かいネタが詰まっていて、1980年～2000年代頃のF1観てた方にお勧めの1枚です！
カラオケで歌いたい曲なんですが、Formula Manは残念ながら配信されてないんですよね～
ここから本題に入ります。
ここ何年も「ガチャガチャ」って回してなかったのですが、Twitterにてとても興味をひくガチャガチャを発見しまして…
それが、こちら↓
「プルバック ハトカー」！
「パトカー」でなく、「ハトカー」です。
文字通りハトのプルバックカーで、しかも走行時にハトが歩くときみたいに首をカクカクさせながら走ります(笑)
これだけでも十分面白いですが、ラインナップに「ハトサブレ」をモデルにした「サブレカー」とか、名前からネタで作ったであろう「ハトロールカー」とかあってさらにツボを突かれました。
で、このハトカーのガチャガチャを仕事帰りに回してきました。
ガチャガチャ見つけるまでに2日かかりました…
初日は秋葉原の街を “ガチャガチャ探すためだけに” 40分ほど歩き回ったのですが見つからず。
2日目は8月10日、「ハトの日」に捜索決行。
前回営業時間に間に合わなかった秋葉原の店に行こうと思っていたのですが、
「東京メトロ24時間券」の前売り券を買いたかったので、メトロの定期券売り場に寄ってから行こうと思いまず上野へ。
で、メトロの上野駅5番出口出てすぐにあるおもちゃ屋さん「ヤマシロヤ」に行ってみると、5Fフロアにありました！
全6種、1回300円。
6種コンプリートしたいな～と思いながら回すと、なんと5回まではダブりなく獲得！
このままパーフェクト達成なるか？とも思いましたが、その後はダブり、ダブり、ダブり。
キリがなくなりそうなので、ハトにちなみ「八止」ということで8回でストップ。
こちらが今回獲得できた5個になります↓
獲得できなかったのは白ハトカーで、ダブってしまったのはハトカー(前列一番左)・アオバトカー(後列1番右)・サブレカー(前列一番右)。
白ハトカー手に入れてコンプリートしたいのと、ハトロールカー集めて西部警察のエンディングの再現やりたいです(笑)
走らせるもよし、置いて眺めるもよし、猫を飼われている場合は猫のおもちゃにするもよし？のハトカー。
皆さんも外出先にガチャガチャがあった際は、探して回してみてはいかがでしょうか。
書いた人：テレコム第一チーム 森村
Enbowlさん主催のブロックチェーン勉強会に参加してきました！
こんにちは、イノベーションオフィスの吉田です。
先週ブロックチェーンの勉強会に参加してきましたので簡単ではありますがレポートを書きたいと思います。
参加したのはこちら。
ブロックチェーン案件の業務マッチングサービス「CryptoBowl」を運営するEnbowlさんが主催の勉強会で、今回が3回目でした。
今回の登壇者が「Wei Wallet」「Ginco」「Yenom」というブロックチェーンウォレット関連のスタートアップの方々で、非常に楽しみにしていました。
上記の connpass のページをご覧いただければわかる通り、参加者が100人以上ということで注目度の高さが伺えますね！
100人規模ということで会場も大きめ、FiNCさんでした！
ここ、アレですね、先日弊社の関口が参加したG検定の合格者の会もここだったんですね。
写真撮影自由と言うことで何枚か撮ってきたのでご紹介しようと思います。
今回の主催、Enbowlの笹原さんです。
開催お疲れ様でした！
トークンポケットの中村さんです。
勉強会なのでブロックチェーンを知らない方も結構いらっしゃるようでウォレットの解説をされていました。
Gincoの房安さんです。
非常に多くのブロックチェーンに対応したウォレットの苦労話をされていました。
Yenomの宇佐美さんです。
「#ビットコインしろ」とのお言葉をいただきました（笑）
Wei Wallet の開発・運営を行っている Popshot の大山さんです。
Ethereum推しだそうです。
最後はパネル・ディスカッションでした。
若い方が多く勢いがあってとても盛り上がっていました（笑）
当日の詳しい内容は Twitter でハッシュタグ「#CryptoBowl」をご覧いただくのが早いかもしれません。
既に次回の開催も決まっているので気になる方はご参加されてはいかがでしょうか。
それでは！
書いた人：イノベーションオフィス 室長 吉田
PostGISを1.5から2.3環境に移行してみた
こんにちは、イノベーションオフィスの吉田です。
８月に入っても暑いですね。
今日は PostGIS のお話をさせていただこうと思います。
皆さんは PostGIS をご存知でしょうか？
簡単に言うと PostgreSQL で地理情報系のデータを扱うためのエクステンションの事です。
詳しくは以下も参照ください。
で、先日 PostGIS の 1.5 が入っている環境から 2.3 の入っている環境にデータを移行したのでそこら辺をまとめてみました。
０．前提
移行前後の環境は以下の通りです。
＜旧環境＞
自前サーバ
PostgreSQL 8.4
PostGIS 1.5
＜新環境＞
RDS 上の PostgreSQL 9.6
PostGIS 2.3
１．データのダンプ
ダンプはいつも通り、以下の感じのコマンドで大丈夫です。
２．移行先サーバでデータベースの作成
続いては以降先サーバでデータベースを作成していきます。
※今回は RDS での手順になります。
psql でログインして以下のコマンドを実行していきます。
昔に比べたら PostGIS の組み込みもだいぶ簡単になりましたね・・・
３．ダンプデータのリストア
それではリストアしてみましょう。
まずは pg_restore します。
※Warning エラー等が出ますがいったん無視しましょう。
その後 psql でログインして以下のコマンドを実行していきます。
これで作業完了です。
最後の DROP FUNCTION をしないと以下のようなエラーが出てしまいます。
これはリストアした際に古いバージョンの関数が残ってしまっているからです。
必ず DROP FUNCTION を実行してください。
と言うわけで PostGIS のお話でした。
それでは！
書いた人：イノベーションオフィス 室長 吉田
EC2にマウントしたS3にssh+rsyncしたら遅かったのでAWS CLIを試してみようとしたらCentOS6だったのでちょっと面倒だった件
こんにちは、イノベーションオフィスの吉田です。
タイトルが長いですが、要約するとそんな感じです。
発端は2週間ほど前に書いた以下の記事に遡ります。
無事 EC2 に S3 がマウント出来たので、別のサーバからデータを転送してみました。
そしたら思ったよりもスピードが出なかったので AWS CLI を試すことにしました。
ところがサーバの OS が CentOS6 で Python が古く awscli がインストール出来ない・・・
じゃあアップデートしようとしたら pyenv で BUILD FAILED とか出る始末・・・
と言うわけで順番に解決してみました。
１．curl のアップデート
pyenv で出るエラーは「SSL Connection Error」でした。
これは以下を参考にしました。
nss を更新しないといけないんですね。
というわけで以下で解決しました。
２．Python のアップデート
pyenv が動作するようになったら Python のアップデートを行います。
以下のサイトの「CentOS6」のとこが参考になるかと思います。
３．AWS CLI のインストールと設定
ここまで出来たらいよいよ AWS CLI のインストールです。
先ほどのサイトを引き続き参考にします。
最後は認証情報の設定です。
設定時はプロファイル名を設定するのがオススメです。
これで準備が出来ました！
４．ファイルの転送
というわけで一括転送してみます。
一括転送の場合は sync がオススメです。
詳しくは以下のドキュメントを参照してください。
sync — AWS CLI 1.15.66 Command Reference
いかがでしたでしょうか？
ちなみに、これでサクサク転送できる！と思ったら現サーバ側の帯域の問題でスピードはほとんど変わりませんでした・・・
そうなったら tar.gz とかにして転送するしかないかもです。
それでは！
書いた人：イノベーションオフィス 室長 吉田
日比谷オクトーバーフェスト2018
こんにちは！
ドイツビール大好き、吉田です。
最近とてつもなく暑いですが皆様いかがお過ごしでしょうか？
暑い時にはビールですよね！
と言うわけで日比谷オクトーバーフェストに行ってきました（笑）
今年は以下のお台場に続いて２回目となります！
今回の１杯目は前回のお台場に引き続きプランクにしてみました。
ヘフェ・ヴァイツェン！
やっぱり小麦のビールは飲みやすいですね！
ちなみに今回は噴水のすぐ脇に陣取ってみました。
が、日よけが無いと暑くてダメですね・・・
まあお陰でビールはすすみましたが（笑）
もちろん今回もライヴがありました。
相変わらずの盛り上がり、皆さん流石です！
といった感じで今回も楽しんできました。
次回は再びお台場ですが・・・多分参戦すると思いますのでまたレポートしたいと思います！
ドイツビール最高！
書いた人：イノベーションオフィス 室長 吉田
餃子チャレンジッ！アゲイン！
こんにちは、イノベーションオフィスの吉田です。
今年の初めに弊社社員の秋田が以下のような記事を投稿していたのをご存知でしょうか？
こちらのお店が目黒に有るらしく、総務の大食い担当（と、その他冷やかし）とチャレンジしてきました！
このチャレンジの詳細は上記の記事をご覧いただければと思いますが、簡単に以下のような感じです。
-
1人で食べること
-
味わって食べること
-
制限時間は60分
餃子100個、重量1.5kgとのことですが、1個が小さいので結構イケるんじゃね？みたいに思っていました。
というわけでこんな感じです。
店員さんが派手なアナウンスをしてくれていざ挑戦スタート！
まず最初の敵は熱さです。
とにかく熱い！
小皿に取り分けて冷ましつつ食べ進めていきます。
最初は余裕なんですよね・・・
次の敵は油です。
20分くらいで半分以上食べたのですが、その頃から油がきつくなってきます。
そこはお酢やゆず胡椒などで食べ進めていきます。
そして最後は胃袋の容量です。
最後の方は１つ食べるたびに何かが出そうになっていました。
結果・・・
成功！？
・・・いや、２人とも残り10個を切った辺りで箸が止まりそのままタイムアップでした。
すいません、正直なめてました。
というわけで挑戦は失敗しましたが、実は１つ実験も兼ねていました。
食前食後でどれだけ体重が変わるか？
皆さんも興味ないですか？
わざわざ体重計を持ち込み、店員さんに「体重計持ってきた人初めてですよ～」なんて言われつつ計ってみました。
その結果をご覧に入れつつ、今日はお別れです。
＜挑戦前＞
＜挑戦後＞
＋1.2kg！
餃子（ほぼ）1.5kgと酎ハイ2杯で1.2kgということはそれ以外の質量はどこへいったのでしょうか・・・？
それではこのへんで。
書いた人：イノベーションオフィス 室長 吉田
AWSでS3をEC2にマウントしてみたお話
こんにちは、イノベーションオフィスの吉田です。
最近AWSを使っていて色々あったのでメモも兼ねて記事にしたいと思います。
皆さんはS3を使ったことはあるでしょうか？
容量制限も無く耐久性も高いクラウドストレージということで有名かと思います。
で、今回はEC2から簡単に使いたいということでファイルシステム上にマウントしてみました。
マウントには goofys を使用しており、手順は以下が参考になるかと思います。
で、マウントしてちょっと触ってみたところ色々気になるところが有りました。
普通のファイルシステムとして使おうとすると結構厳しいですね・・・
こちらに関連する内容は goofys の README に色々書いてありました。
「Current Status」と書いてあるので今後アップデートで解決する可能性が有るかもしれませんね！
ちなみに、最初マウントしたときは root からしか書き込みが出来ず焦りました。
が、以下の様に dir-mode を追加することで他のユーザからでも読み書きできるようになりました。
あとはオーナーを Apache ユーザにしたかったので uid, gid は 48 を指定しています。
（でも変更できないので root でも良かったような気はします・・・）
というわけで、普通に使おうとすると色々有りますが、特性を理解した上でならかなりアリかと思います。
機能的には s3fs という選択肢もあるようですが、速度がだいぶ遅いようなので今回は試しませんでした。
そちらも試す機会が有ったら記事にしたいと思います。
それでは！
書いた人：イノベーションオフィス 室長 吉田
JDLA合格者の会に行ってみた
どうもです、InnoPMの関口です。
先日、JDLA（日本ディープラーニング協会）のG検定（ジェネラリスト）を受験してきました。
資格の詳細については、以前、吉田が書いている記事をご覧ください！
これを取得すると「ディープラーニングの基礎知識を有し、適切な活用方針を決定して事業応用する能力を持つ人材」と認められるのですが、この度、弊社で新たに2人合格者が出ました！（わーい！）
受かった人① たかの
受かった人② せきぐち
で、先日その検定の合格者の会が開催されたので、潜入してきました！
アジェンダ的なの
メシとお酒がだいぶ豪華でした！！
乾杯の瞬間
合格者はSlackのコミュニティに入れるそうです。
最近っぽくていいですね～！
最年少の合格者の方は表彰されてました
21歳だそうです、めちゃ若い！！
成績優秀者たちの写真撮影
合格者の年代別の統計です
30代が一番多いんですねー！
20代と40代が同じくらいでした。
今度は職種別です
圧倒的IT系が多いのは置いておいて、マーケや営業系の方も結構いらっしゃったみたいですね！
人事も結構いるのが驚きでした！
そして受験動機です。
AIへの興味よりもキャリアアップしたいという回答が多かったのが印象的でした。
みんな現実的ですねｗ
そして最後に次回検定の情報だそうです！
E資格：2018/09/29(土)
G検定：2018/11/24(土)
以上がJDLA合格者の会レポートでした！
日本ディープラーニング協会は、日本の産業競争力の向上を目指すために設立されたようです。
正直、AIの領域では日本は出遅れていると思うので、技術力の向上のために頑張っていただきたいところですね！（他人任せ）
最後の最後に、、、宣伝です
G検定を受験される方は、Qiitaに課題図書をまとめたので、こちらもぜひ見てみてください！
書いた人：なんちゃってエンジニア 関口
