AIクローラーをrobots.txtでどう扱えばいいのか、これまでの検索エンジン向けの設定をそのまま流用していいのか迷ったことがある方もいるかもしれません。結論としては、AIクローラーごとに異なるユーザーエージェント名を個別に指定する必要があり、従来の検索エンジン向けの設定をそのまま流用しても、AIクローラーの制御には反映されません。以下、基本の考え方を整理します。

robots.txtが指定しているもの

robots.txtは、サイトのどの領域を、どのクローラーに巡回してほしいか、あるいは巡回してほしくないかを指定するためのテキストファイルです。検索エンジンのクローラー向けに設定している企業は多いはずですが、そこで指定してきたユーザーエージェント名は、GooglebotやBingbotといった従来の検索エンジン向けのものです。AIクローラーは、これらとは別のユーザーエージェント名で巡回してくるため、既存の設定がそのまま効いているとは限りません。

AIクローラーは何のために巡回しているのか

AIクローラーが巡回する目的は、大きく分けて2つあるとされています。1つは、生成AIの学習データとして情報を収集するため。もう1つは、ユーザーからの質問に答える際に、リアルタイムで参照する情報を取得するためです。同じ「クローラー」という言葉でくくられていても、この2つの目的では挙動が異なる可能性があり、どちらの用途のクローラーを対象にした設定なのかを意識しておく必要があります。

代表的なAIクローラーの名前

各AIサービスは、それぞれ独自のユーザーエージェント名でクローラーを巡回させています。名称はサービス側の都合で変更されることがあり、設定時点の情報をそのまま信じ込むと、いつの間にか古い名称のまま放置してしまう可能性があります。代表的なものとしては、OpenAIのGPTBot、AnthropicのClaudeBot、GoogleのGoogle-Extendedなどが知られています。それぞれ役割が微妙に異なり、学習データ収集用と、回答生成時のリアルタイム参照用とで、別のユーザーエージェント名を用意しているサービスもあります。

許可するか、制限するか

判断に迷うところですが、どちらが正解ということはありません。AIの回答に自社が登場してほしいのであれば、巡回を許可しておくのが基本的な考え方になります。一方で、学習データとして無制限に使われることに抵抗がある場合は、学習用のクローラーだけを制限し、リアルタイム参照用のクローラーは許可する、という切り分け方もあります。すべてのAIクローラーを一律に許可・制限するのではなく、目的ごとに検討したほうが、狙った状態に近づけやすくなります。

記述の仕方

書式自体は、従来のrobots.txtと変わりません。

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

制限したい場合はAllowの代わりにDisallowを使い、対象のパスを指定します。特定のディレクトリだけを制限したい場合は、Disallow: /internal/のようにパスを絞り込むことも可能です。

指定したとおりに動くとは限らない

robots.txtは、あくまでクローラーに対する「お願い」であり、強制力を持つ仕組みではありません。多くの主要サービスは記載内容を尊重するとされていますが、すべてのAIクローラーが必ず従うと確証を持って言い切ることはできません。設定したから安心、と考えるのではなく、意図を伝える手段の一つとして位置づけておくのが実態に近いでしょう。

llms.txtとの役割を混同しない

llms.txtの書き方でも触れたとおり、robots.txtとllms.txtは役割が異なります。robots.txtは「どのクローラーに何を許可・禁止するか」を指定する制御の仕組みであり、llms.txtは「AIに向けて内容を要約して伝える」という案内の仕組みです。どちらか一方を設置すればもう一方が不要になる、という関係ではありません。クローラーの出入りを整理したうえで、案内文の設置を検討する、という順番で考えると役割の違いが整理しやすくなります。

設定後に確認しておきたいこと

robots.txtを更新したら、まずはファイルが実際にルート直下（https://自社ドメイン/robots.txt）で正しく参照できる状態になっているかを確認します。そのうえで、自社名や商品名を実際にAIへ問いかけてみて、以前と回答に変化があるかどうかを観察していく他ありません。設定を変えたその日に結果が変わるとは限らず、時間を置いて確認する必要があります。

よくある質問

Q. AIクローラーをすべて許可すべきですか。
A. 一律の正解はありません。自社の情報がAIの回答に反映されることを重視するなら許可、学習データとしての利用に慎重になりたい部分があるなら該当クローラーのみ制限するなど、目的に応じて判断してください。

Q. robots.txtを変更したら、すぐにAIの回答に反映されますか。
A. 反映のタイミングは保証されていません。クローラーが再訪問し、AI側の情報が更新されるまで、一定の時間がかかると考えておいてください。

Q. 既存の検索エンジン向けの設定を変える必要はありますか。
A. 変える必要はありません。GooglebotやBingbot向けの設定はそのまま残し、AIクローラー向けの記述を別途追加する形で問題ありません。