クローラー開発の知見をオープンにしよう ~ Crawler Night 2019 イベントレポート ~

こんにちは、CTOの伊藤勝梧です。
scouty では今まで人事担当者向けのイベントを開催することが多かったのですが、今回エンジニア向けのイベント Crawler Night を開催したので、その様子紹介します。

Crawler Night 開催の目的

scouty ではネット上の情報をクロールして転職候補者となる方のデータベースを構築しており、社内の7名のソフトウェアエンジニアのうち3名がクローラー開発に携わっています。

価格比較サイトやニュースサイトを運営している会社でも少なからずクローラーエンジニアがいらっしゃると思うのですが、クローラー開発に関する知見がネット上を探しても少なく、勉強会もほとんど開催されていない現状がありました。

scouty のバリューには「オープンであれ」というものがあり、オープンにすることで予期しない新しいシナジーや発見が生まれるという考え方が根付いています。私達がクローラーを開発していて培ってきた知見を外部に公開することで、なにか面白いことができるのではないかと感じこのイベントを開催することにしました。

仕事でなくても、趣味でクローラーを書いているエンジニアは多数いると思うのですが、クロールの仕方によっては法律的にグレーになることもあるため気軽に情報発信ができず、また相談相手もなかなか見つけることができず、悩みを抱えている人が意外と多いのでは？とも考えており、これもイベント開催のきっかけとなった一つの要因です。

イベント開始

イベント参加率は6~7割ぐらいだとうと、歩留まりを考えて少し多めに参加者を応募していたのですが、9割ぐらいの方に参加して頂けました。結果的に会場のキャパがギリギリで、みなさんに窮屈な思いをさせてしまうことになりましたが、それだけ楽しみにしていただけていたと考えると嬉しい限りです！

タイムスケジュールは15分程度の発表2本と、LT4本でした。

発表① 株式会社scouty 両角和軌

クローラーの開発もプロダクトのフェーズによって注力すべき箇所が変化していき、0→1 の段階では設計を考えずにガンガンクロール先を増やしていくことが大事、1→10 や 10→100 の段階では次第に保守性も大事になり、リファクタリングをするためにもクローラーにもテストが必要であるというお話でした。
クロール先のサービスステータスに依存しない様に、モックデータを使ってパース&スクレイピング部分のテストをしていると紹介しました。

発表② 株式会社Gunosy 吉澤直哉さん

Kotlinでクローラーを作成する時に使用すべきライブラリの紹介から、AWSで作るクローラーのアーキテクチャ全体像までをお話してくださいました。
クローラー部分とスクレイピング部分は分離して、それぞれ AWS Lambda と Step Functions でその責務を分担している話が興味深かったです。Webアプリケーションの時代の流れと同じ様に、クローラーも責務毎にマイクロサービス化してみたところ、テストの書きやすさや開発の分担など得られたメリットは大きかったようです。