DMM.R18動画をスクレイピング

新規サイト立ち上げのため、DMM.R18の全動画作品をスクレイピングしてみた。
PHPでスクレイピング用のスクリプトを作成し、200,000件超の作品情報のクロールに2日以上かかりました。
クロール結果を基に、作品のタイトル、サムネイル、作品紹介文、サンプル動画、ユーザーレビューなどを返却するAPIを自作したのでかなり使い勝手がいい。
DMM公式で提供しているWeb APIだと作品紹介文、サンプル動画などは返してくれないので、少し不便だったりする。

スクレイピングしただけのコピーページではSEO効果が低いので、新規サイトではスクレイピングしたいくつかの情報を組み合わせて1つのコンテンツを作成する予定です。
今月中には新規サイトを開設できるようにしたい。