AWSのyoutubeにて弊社基盤が紹介されました
山田 雄
こんにちは。データ基盤の構築、運用をしている山田(@nii_yan)です。
AWSのWebページにある、This is My Architectureというコーナーで各社の優れたアーキテクチャが紹介されているのですが、そこで弊社の機械学習基盤を取り上げて頂きました!
こちらは弊社からリリースされたトリップAIコンシェルジュというサービスの裏側で機械学習を動かすための基盤となっています。
今回の機械学習基盤を作る上ではワークロードの特性上、スケーラビリティと信頼性、そして回復力の3点はインフラに対する必須要件でした。
計算量が変化しやすく、キャパシティ予測が困難であることに加え、処理が長時間に及びますから、インフラ障害によってそれまで 実行結果が失われてしまうという状況を可能な限り避ける必要があります。
また、夜間ウィンドウ内に全て処理を終えるために、問題が生じた場合にも、すぐに代替手段で回復を図らなけれなりません。
そして、今後長く使われる予定のサービスなので、いかに運用を減らせる基盤を作れるかを主眼に置きました。
そこで着目したのが、サーバレス、そして自動化です。
今回の基盤は設計段階からAWSの方にレビューに入ってもらい、リリースまでに改善を繰り返すことで、当初の予定通り運用のかからない基盤を作ることが出来ました。 (リリース後、基盤起因による運用は0です!!)
そして、今後のデファクトとなるような基盤になったということでAWSからも評価され、このように紹介される運びとなりました。
詳しい基盤の内容はこちらで記事にもなっているので、是非ともご覧ください!
動画はラスベガスで開催されたre:inventのイベント内で録画をしたのですが、録画の前にメイクされ、ヘアセットされ、多くのカメラに囲まれる中での録画だったので、非常に緊張している映像となっております(笑)
今後もこのように取り上げていただける基盤を作っていきたいと思います!!