はじめに

こんにちは。CET チームでアプリケーションエンジニア リーダーをしている堀澤(@horiken4)です。
弊社横断で利用されているクラウドデータ基盤である CET について Google Cloud Next ‘17 in Tokyo で話してきました。
CET とは Capture EveryThing の略でリアルタイムなデータの収集、分析、可視化などを行う基盤システムのことです。CET チームはエンジニア、データサイエンティスト、ビジネス系メンバーで構成されており、収集したデータを活用して弊社サービスの改善を日々行っています。CET の雰囲気を知るために過去の投稿も是非御覧ください

話した内容

GCP を利用して CET 基盤をどのように構築しているかについて発表しました。 CET は以下の要素

• データ収集
• 分析結果をサービス側へ還元する API
• データに対するリアルタイム処理
• 機械学習バッチ

に大きく分かれているのですが、すべてを解説するには時間が足りないため、

• API を構築するため、どのように GKE と Bigtable を利用しているのか
• Dataflow でリアルタイム処理をする際のノウハウ

について主に解説しました。スライドを載せておくので、なにかの参考になれば幸いです。

発表ごとにレベルが設定されており、私はエンジニア向けの発表になるようにスライドを作成しました。そのため、ビジネスサイドの方の期待には応え切れなかったところもあるなかと感じるシーンもあり、もう少しビジネス寄りの内容も盛り込めばよかったなと反省しています。ですが、ほぼ全員の方に最後まで聴いていただけたので、大変うれしく思っています。

おわりに

Google の方や他の企業の方の発表もいくつか拝聴することができたのですが、ベストプラクティスやユースケースなどについて多く知ることができ、大変勉強になった 2 日間でした。ここで学んだことを活かして、基盤システムのさらなる発展に貢献していけたらなと思っています。