本日は、Webスクレイピングについて説明します。

Webスクレイピングとは、Webサイト上の文字や画像、URLなどWebサイト上に存在するデータをHTML、CSS、JavaScriptとして解析したものを
「かき集め」、自動で取得し、抽出する技術のことをいいます。

仕組みとしては、プログラミングで設定したロボットがWebページを訪問し、特定のデータを取得したものをデータベースに保管、またはCSVなどのファイルに書き出します。

Webスクレイピングのメリットは以下になります。

・業務を効率化できる:データ収集において大幅な時間を費やしている場合、その時間を短縮することで、時間を有効に活用することができます。
・ビッグデータを活用できる:データを活用することで、既存サービスの発展や資料の充実はもちろん、新規サービスを立ち上げさらなるビジネスチャンスを生み出すこともできます。
・システムへの応用が可能:収集したデータをシステムと連携することで、今まで手作業で更新していたものを自動化できます。


Webスクレイピングのデメリットは以下になります。

・Webサイトの構造変化への対応が必要になる場合:Webスクレイピングプログラムを正確に設定しても、データを収集しているWebサイト自体の構造が変わった場合にはもう一度プログラムの修正を行わなければなりません。
・収集できないサイトもある:ロボットへのアクセスブロックなどをしているWebサイトの場合はスクレイピングで収集できない場合があります。
・法律抵触への危険性がある:WebスクレイピングするWebデータには著作権法など様々な法律が関わってきます。

活用方法は以下になります。

リスク管理や商品企画のための口コミを収集・分析
口コミが掲載されているWebサイトからそのデータを取得・分析することで、自社製品に対するユーザーの要望や不満、またユーザーの属性などが確認できます。

営業リストの作成
Webスクレイピングを活用すればWebサイト上にある大容量のデータを短時間で取得することができ、いち早く営業に取り掛かることができます。

AI開発のための機械学習用データ
Webサイト上には大量の画像データがあるので、それをスクレイピングで一括取得することで素早く大量に機械学習用データのデータを取得することができます。

以上です。

■参考資料
入門編】Webスクレイピングとは？効率的な導入方法を比較！
https://pig-data.jp/blog_news/blog/scraping-crawling/whatisscraping/