一言でいうと ウェブページなどを自動で巡回・取得するソフトウェア。検索エンジンなどが情報を収集する際に使う。
クローラーは記事を取得する側
クローラーは、ウェブ上のページやファイルを自動で取得するプログラムです。Google検索では、クローラーがページを見つけて内容を取得し、その後に内容の分析やインデックスへの保存、検索結果への表示という工程が続きます。取得することと、検索に掲載されることは同じではありません。
クローラーはサイトのリンクなどを手がかりに新しいURLを見つけます。Googleは、ページのクロール、インデックス登録、検索結果への表示を保証していません。記事を公開した直後に検索へ出ないからといって、クローラーの障害だと決めつけることはできません。
メディア事業では何を見分けるべきか
メディアにとって検索用クローラーは、記事を読者に発見してもらうまでの過程に関わる存在です。同時に、機械によるページ取得はサーバーの処理を伴います。アクセスが増えた場合には、人間の閲覧が増えたのか、自動取得が増えたのかを区別して考える必要があります。
運営では、取得主体、アクセス対象、頻度、取得後の用途を確認項目にします。「クローラーが来た」という事実だけから、検索流入が増える、広告収益になる、AI学習に使われたといった結論までは出せません。用途は各運営者の仕様や契約など、別の根拠に照らして確認します。
アクセスログにGooglebotとあった場合
たとえば、公開記事へのアクセス記録にGooglebotという名前が残っていたとします。その文字列だけでGoogleからのアクセスだと判断するのは早計です。Googleは、Googleを名乗るアクセスの確認方法として、送信元IPと公表されたIP範囲との照合や、DNSの逆引きと正引きを使う手順を示しています。
確認したいのは、名乗っている名前と実際の取得主体が合っているかです。この例は確認の考え方を示す仮定であり、メディア天文台のアクセスログを分析した結果ではありません。担当者へ調査を依頼するときは、対象URLと時刻などを共有すると、確認すべきアクセスを絞れます。
取得制御と検索設定を分ける
robots.txtは対応するクローラーへ取得ルールを伝え、noindexは検索への登録を避ける指示、canonicalは代表として扱ってほしいURLを示す指定です。いずれも、クローラーそのものを指す言葉ではありません。メディアの担当者は、記事を誰に見つけてもらいたいのかと、何を制限したいのかを分けて設定を考えます。
関連用語
- robots.txt
- noindex
- canonical
参照情報
- In-depth guide to how Google Search works
- Verify requests from Google crawlers and fetchers
- Introduction to robots.txt
＊このコンテンツは生成AIを用いて作成し運営者の確認を経て配信しています。＊
