今日は、先日ご紹介したデータ分析基盤構築研修の成果発表会についてレポートします！
社員の成長を重視するDAの雰囲気を感じていただけるはずです。

▼データ分析基盤構築研修についてはこちら
“自分の勝ちパターンをつくる”DAのデータ基盤構築研修とは？！

2月の成果発表会では、12月入社のT.T.さんが研修で制作したデータ分析基盤について発表しました。オーディエンスとして技術顧問の山本さん、カンパニー社長の白井さん、さらにデータエンジニア、データアナリスト社員が複数名参加しています。発表後に山本さんから技術面のフィードバック、白井さんからはPJオーナー視点での質問が飛んでくる設計です。

発表冒頭「何のために分析基盤を構築するか？」という核心を突いた発言が！

これまでの経験で、データ分析基盤の目的が不明確なこともよくあるそうです。そういう状況だと、大量データが保存できて、高速に処理できるデータ分析基盤を作ります！という感じでオーバースペックになることもしばしば。
でも、よくよく考えるとすごい技術で、すごい基盤を作る！というのは企業の目的かというと、違います。企業は、データ分析をして、知見を得て、ビジネス上の価値を得ていくことが大事なはずです。
では、企業の目的としてどんなパターンがあるか。例えば、こんな感じだそうです。

• イノベーション
• 成長スピード
• 事業拡大
• コスト削減

これらの価値を得るために必要な分析基盤の要件は何か？という順番で考える必要がある！
なるほど〜。冒頭から勉強になります！

今回の構築のテーマはスピーディー

この制作ではデータ分析環境を早く提供することが必要という状況を仮定して、下記を要件とされたそうです。

• 構築費の削減
  構築期間の短縮→Glueを採用
• 分析サイクルの高速化
  ダッシュボード構築工数の短縮→QuickSightを採用
• 保守費の削減
  手作業での構築コスト削減→Terraform(IaC)を採用

この後、細かな技術選定の理由や構築したデータ基盤の説明がありました！

データエンジニアではない私にとっては、なんだかすごく難しそう・・・と思っていましたが、実際に動かしているところの動画も発表に盛り込まれており、非エンジニアにも感覚的にわかり安く説明していただけました！

成長するデータ分析基盤

発表まとめでは、今回構築したデータ分析基盤に対する課題についても話がありました。
今回の構築ではスピーディーに開発をすることが重要だったのでシンプルなものを構築しているが、将来的には基盤に求められる要件が変わることがあるので「拡張性」と「保守性」も考慮しておく必要があるとのことで、企業の成長に合わせてデータ分析基盤も成長していくのだな～と感じました。

フィードバックからも学びがたくさん

最後に技術顧問の山本さんとカンパニー社長の白井さんからの質問＆フィードバックがありました。

山本さんからは技術面で、「カタログのスキーマが変わった時の過去のデータの扱い」や「ETLとステップファンクションについて」、「データレイク内の個人情報のケアについて」質問とフィードバックがありました。
中でも、「データレイク内の個人情報のケアについて」は、データには多くの個人情報が含まれることがほとんどなのでどうやって個人情報を守るかという考え方や方法はDAの業務でもすぐに役立つ学びでした。

次に白井さんからはプロジェクトオーナーの視点で、「このデータ分析基盤は必要な要件を満たした選択になっているか？この技術選択によって何が実現できるのか、何を捨てる必要があるのか教えてください。」というなかなかに鋭い質問が飛んできました。

DAのデータエンジニアのお仕事では、クライアントの要望をヒアリングし、基盤構築や運用を行うので、非エンジニアのプロジェクトオーナーへ構築した基盤の説明をする機会があります。なので、こういった視点での質問に答えられることも重要なんです。

ちなみに山本さんの模範解答はこちら。
「ユーザーが柔軟なダッシュボードを作ることはできませんが、その分簡単なダッシュボードはすぐ出せるので対応は早くなります。期間を重視して、利便性を落とす。という仕様になります。今後、アプリデータログを取りたい、大規模のデータが発生する場合は追加開発が必要です。今想定しているデータ量でしたら現状で十分間に合います。」

今回の成果発表会では、データエンジニアの技術面と、ビジネス視点の両方が学べる内容となっておりました！
参加者からは「これできたら実務いけそうだな！」、「これからは技術の話とプロジェクトオーナー向けは、視点を変えて資料を作って説明したほうがいいな」といった声が上がっていました。

次の成果発表会も楽しみですね～！

関連記事はこちら