最近はデータエンジニアについて、いろいろ調べています。
データエンジニアは、日本でもデータ基盤エンジニアなどの名称で仕事はあるのですが、あまりメジャーじゃないのか、情報がほとんどありません。
なので、海外の英語サイトで調べるしかないのが現状です。
データエンジニアの今後の需要や必要となってくるスキルについて、面白い記事があったので紹介したいと思います。
データエンジニアの今後の需要について
データエンジニアは、今後も分析するデータがある限り、需要はありつづけるだろうと言われています。データは増える一方であり、今後10年は仕事に困ることはないんじゃないかという意見が多いです。
ただこういったことを言っている情報のソースは、学習コンテンツ系が大半だったりしています。学習コンテンツを提供している側からしたら、需要を促すのは当然ですので、鵜呑みにするのは危険です。
学習コンテンツ系のソースは、データエンジニアの仕事内容や必要スキル、学習などのロードマップは参考になりますが、今後のエンジニアの需要については参考程度にするべきかと、個人的には思っています。
現役のデータエンジニアのYouTubeやBlogの意見は、当事者のバイアスがかかってはいますが、学習コンテンツ系の情報ソースよりは信憑性がありそうです。
冒頭の記事リンクは、現役のシニアデータエンジニアによって書かれていたものです。
データエンジニアの二極化
ざっくりいうと、データエンジニアは、以下のどちらかに二極化してきているとのことです。
- ツールを使いこなしていくビジネスサイド
- コーデイングでデータ周りの低レイヤーの処理を書くエンジニアサイド
SnowflakeやAirflowなどといった、ノーコードのツール、UIが進化してきて、コーディングはSQLや簡単なPythonのみで良くなってきているようです。このカテゴリの人たちは、今後、肩書きは分析エンジニアやBIエンジニアの方向に行くとのことです。
もう一方は、データエンジニアの業務はソフトウェアエンジニアの延長と位置づけられるグループです。AppleやNetflixなどのデータエンジニアはこちら側らしいです。こちらのグループはSQL,Pythonの他、JavaやScala,C++など使ってAPI構築やデータモデル設計、インフラ構築などもやるようです。
自分は今後どうしたいと思ったか
私はこの記事を読んで、自分はエンジニアサイドに進みたいと思いました。
私は今まで、インフラやったりバックエンドやったりと中途半端なキャリアなのですが、それでも自分の強みを多少なりとでも活かせるのは、エンジニアサイドなのかなと考えています。今更、コンサルやデータ分析などといった、バリバリのビジネスサイドの人との競争に巻き込まれたくないというのもあります。
ただ今の私のエンジニアリング力では、データエンジニアの世界に入っていけるほどではありません。なので今のUdacityの学習が終わるか、もしくは並行して、CS(コンピューターサイエンス)やアルゴリズム、データ構造などを勉強しなおす必要があるなと感じています。
今後、データエンジニアよりの案件に従事したいなと考えているのですが、この二極化を念頭に置いて判断する必要がありそうです。その案件で自分はどんな経験を得られるのか、ビジネスサイドでなくエンジニアリングサイドに必要な経験やスキルとなるのか、この辺りを妥協してはいけないと思いました。
