AIサービスからのアクセスを一括で許可または拒否するだけでは、目的に合わない場合があります。学習用の収集、検索結果への引用、利用者が依頼したページ閲覧など、用途を分けて公開方針を決めます。
クローラの用途を確認する
- 学習用クローラを許可するか
- AI検索で公開ページを発見・引用できる状態にするか
- 問い合わせ完了ページや会員ページなどを収集対象外にするか
- robots.txtと検索エンジン向けnoindexの内容が矛盾していないか
クローラ名や仕様は変更されることがあります。GPTBot、OAI-SearchBot、ClaudeBotなどの役割は同じではないため、運用開始時と定期確認時に各社の公式情報を確認します。
robots.txtとアクセス制御を分ける
robots.txtは協力するクローラへ方針を伝える仕組みで、アクセスを技術的に遮断する認証機能ではありません。機密情報は公開領域へ置かず、認証、WAF、CDN、接続元制限などを組み合わせます。
急増するアクセスへ備える
- CDNとWAFでユーザーエージェント、接続元、リクエスト数を記録
- 通常の利用を止めない範囲でレート制限
- サーバー負荷、転送量、エラー率の通知
- 誤検知時に解除できる手順
Bot対策は強くすればよいわけではありません。検索や必要な外部サービスを止めないよう、ログを見て対象と条件を調整します。
改ざんされた情報を広げない
サイトが改ざんされると、人だけでなく検索サービスやAIサービスが不正な内容を取得する可能性があります。公開ページの変更記録、管理者権限、外部スクリプト、構造化データを確認し、意図しない情報が追加されていないか監視します。
AI検索向け整備の優先順位
会社情報、サービス範囲、料金条件、更新日、問い合わせ先など、引用されても誤解が生じにくい公開情報を整えます。llms.txtは検討対象になり得ますが、アクセス制御や検索インデックス指定の代わりにはしません。まず既存のWeb標準と公開内容を正しく管理します。