こんにちは、メンバーズデータアドベンチャー(以下DA)採用広報担当です！

今回は、好奇心旺盛！新しいことへもどんどんチャレンジされているデータエンジニアの河野さんにデータエンジニアの魅力を教えていただきました。

データエンジニアと聞くと、最近話題のビックデータ活用や機械学習といったキーワードが思い浮かびますが、そもそもデータエンジニアってどんなお仕事ですか？

データエンジニアってまだまだ知られていない職種ですよね。アメリカなどデータ活用が進む海外ではデータサイエンティストと同様にデータエンジニアが注目されているそうです。

データを活用してデジタルマーケティングをしたり、ビジネス課題を解決するためには、そもそもデータを使えるようにしておかないといけないので。

そこで活躍するのがデータエンジニアです。データエンジニアは、データパイプラインの設計や構築をしたり、データアナリストへ分析に必要なデータを提供したり。ITに詳しくない方でもわかりやすいようにデータを可視化できるようにしたりします。

目的に合わせてデータ基盤を整え、データ活用のための環境を作ることがお仕事です。

最近はどのような業務をされているんですか？具体的な内容を教えてください。

今は、大手企業様にてAWSを中心としたデータ基盤の構築、開発業務を担当しています。主には、データを活用できる状態にするETL処理業務と、データ処理を効率的且つ正確に管理するためのスクリプト開発ですね。

かかわっているデータ基盤が、大規模で、セキュリティはもちろんのこと高可用性やスケーラビリティを考慮したデータ基盤であるため、データ処理はより正確に、スピード感をもち、効率的に実施する必要性があります。メンバーズデータアドベンチャーカンパニーから常駐できているということは関係なく、企業の開発チームの一人として、チーム内で協力し合いながら業務に望んでいます。

もともとデータエンジニアですという方は少ないなかで、インフラ構築やシステム開発経験がある方がデータエンジニアを目指すといった話をよく聞きますが、データエンジニアになるために必要なスキルは何ですか？

確かに、インフラ周りの知識は必要になるので、インフラエンジニアや、基幹システム開発でインフラ周りをやっていた方は経験が生かせると思います。
後は、AWSやGCPのツールを用いたデータ処理の知識が必要になってくるかと思います。

データ基盤でクラウドを使っている日本の企業の7割がAWSと聞いたりします。AWSを中心にしたデータ基盤で、EC2やVPC、S3といったサービスから、データ処理のGlueやRedshiftは扱えるようになるといいです。

また、開発要件としては、Shell Script、Python、SQLあたりは必須となってきます。

とはいえ、技術うんぬんではなく、特に必要なスキルとしては新しいものを能動的に試していく知的好奇心が一番重要だと思っております。

データエンジニア領域は特に領域が広く、少ない時間の中ですべてのサービスを扱える人はいません。

現状の課題から問題を解決するために、最適なツールは何か調査し、試し、教える能力があれば、今までインフラ周りの経験や開発経験がなくても問題ないかと思います。

ぜひぜひ、データエンジニアの仕事の面白いポイントを教えてください！

ポイントは3つあります。

1つ目は新しい技術に触れる機会が多いことですね。私の担当業務は割と特化していますが、常駐先の各グループやチームごとにたくさんのサービスやツールを使用しています。なので、幅広くたくさんのツールに触れる機会が多く、毎日新しいことを吸収できます。

2つ目が各データ領域での専門家が多く、日々新しい情報が入ってくることです。常駐先でいうと、サイエンスに特化したグループ、データ運用に特化したグループ、開発に特化したグループなど各グループごとに専門家がいるため、いろんな領域の方と一緒に仕事ができます。DA内で言うと、メンバーにアナリストが多いので、実際にデータを使う人たちの視点でのフィードバックがもらえます。勉強会やLT会も多いので、メンバー同士のコミュニケーションの中からも新しい知識や知見が得られます。

3つ目が大きなデータ基盤に触れることができることです。これは、常駐先によって変わっってくることもありますが、常駐先が大手企業なので、プライベートでは絶対に触れることのできない規模のデータ基盤に触れることができます。そのためプレッシャーも大きいですが、大きいデータ基盤の処理方法を学ぶことができ面白いです。

河野さん、いろいろなお話ありがとうございました！

メンバーズデータアドベンチャーでは2021年からデータエンジニア部門を新設し、メンバー募集中です！

データエンジニアというデータ活用ではなくてはならない人材を目指してみませんか？

【DAのカルチャーをより深く知りたい方にはこちらの記事も！】

・創業から1年。代表 白井が語る「ミッション・コアバリュー」

https://www.wantedly.com/companies/company_7316246/post_articles/320197

・社内リモートもくもく会

https://www.wantedly.com/companies/company_7316246/post_articles/320190