制作会社向けllms.txtとAIクローラー対策: Claude Codeで公開前チェックを作る

制作会社がクライアントサイトを公開するとき、最近は「AIに読まれる前提で整えてください」と言われる場面が増えました。けれど、robots.txt、llms.txt、sitemap、Search Console、Cloudflareの設定が混ざると、何を止めて、何を見せて、何をクライアントに確認するのかが曖昧になります。公開してよいページと、見積書、顧客資料、管理画面のように出してはいけないURLが同じ資料に混ざると事故になります。

この記事では、Web制作会社を想定し、Claude Codeでllms.txtとAIクローラー対策の公開前チェックを作る手順を書きます。参考にした一次情報は、llms.txtの提案サイト、Google Search Centralのrobots.txtの基本、Googleのクローラーとフェッチャー一覧、OpenAIのweb crawler documentation、CloudflareのAI Crawl Controlです。

先に結論です。llms.txtは、AIが読みやすい入口を用意するためのMarkdownファイル案です。Google検索順位を上げる魔法ではありません。robots.txtはクローラーにアクセス方針を伝えるファイルですが、機密情報を守る金庫でもありません。Claude Codeに任せるのは、公開してよいURL、止めたいURL、llms.txtへ載せる説明、クライアント承認が必要な判断を表にさせる点です。

この記事の要点

• 制作会社のAIクローラー対策は、llms.txtを置くだけではなく、公開URLと非公開URLを分ける作業です。

• Claude Codeには、robots.txt、llms.txt、sitemap、主要ページを読ませ、境界の抜けを表に出させます。

• 人が見る範囲は、クライアントの公開方針、機密資料、契約上の制限、管理画面、顧客データです。

• 成果は順位ではなく、公開前レビューの漏れ、クライアント確認の回数、事故になりそうなURLの発見数で見ます。

• 今日の1手は、既存サイトのsitemapから「AIに要約されてよいURL」と「載せないURL」を分けることです。

公開前に起きる失敗シーン

制作会社の現場では、公開直前に資料が集まります。サイトマップ、料金表、採用ページ、問い合わせフォーム、PDF、管理画面URL、テスト用ページ、過去提案のURLが同じスプレッドシートに入ります。人間なら「これは本番に載せない」と分かっていても、Claude Codeや別のAIに丸ごと渡すと、llms.txtの候補に混ざることがあります。

もうひとつの失敗は、robots.txtを書いたから守れた気になることです。robots.txtは、行儀よく従うクローラーへの案内です。秘密のURLを置いたままにしてよい理由にはなりません。管理画面、顧客資料、見積書、契約書、下書きページは、認証、公開停止、noindex、URL棚卸しを別で見ます。

llms.txtにも誤解があります。ルートにMarkdownを置けばAI検索で上に出る、と説明すると顧客を誤らせます。正しくは、AIや人がサイトの要点を読みやすくする入口として、公開サービス、料金、FAQ、サポート、根拠ページを整理するものです。だから制作会社は、SEO施策として売るより「AI時代の公開前チェック」として売るほうが信頼を落としません。

Claude Codeに任せる範囲と人が見る範囲

Claude Codeに任せる範囲は、robots.txtの読み取り、sitemap URLの抽出、llms.txt候補の作成、非公開URLの混入チェック、AIクローラー別の方針メモ、クライアント確認表の作成です。たとえばGPTBot、OAI-SearchBot、Google-Extendedなどの行があるかを見て、方針が空欄のものを出させます。

人が見る範囲は、公開してよい資料の判断、契約で使い回してよい写真、事例名、顧客名、料金表、クローラーを止める範囲です。AIに「このページは公開OK」と決めさせません。Claude Codeの役割は、確認漏れを減らすことです。クライアント承認が必要な場所には、担当者名と確認日を入れます。

運用では、llms.txtを作る前にURL棚卸しをします。サイト上に残ったテストページや古いPDFは、AI以前に検索にもユーザーにも見えてしまう問題です。まず公開URL、削除URL、noindex候補、認証が必要なURLに分け、そのうえでllms.txtへ載せるURLだけを選びます。

3つのUse case

Use case 1: コーポレートサイトのllms.txt候補を作る

• 入力: sitemap.xml、主要ページ、会社概要、サービスページ、料金表、FAQ、問い合わせURL。
• 出力: llms.txtへ載せるページ一覧、各ページの短い説明、載せないURLの一覧。
• 人の確認: 事例名、顧客名、料金、公開前の新サービス、契約上の表示制限。

このUse caseでは、AIに読ませたい情報を絞ります。会社概要、サービス、料金、FAQ、問い合わせは載せてもよい候補です。一方で、見積書PDF、提案資料、採用候補者向け資料、古いキャンペーンページは混ぜません。Claude Codeには、URLごとに「載せる理由」「載せない理由」を書かせます。

Use case 2: robots.txtとAIクローラー方針を表にする

• 入力: 現在のrobots.txt、Cloudflareやホスティング側の設定メモ、クライアントの公開方針。
• 出力: User-agentごとのAllow/Disallow表、Sitemap行の有無、AIクローラーの扱いメモ。
• 人の確認: クローラーを止める目的、検索流入への影響、顧客との契約、法務確認。

robots.txtは文法が短いので、人が見落としやすいです。User-agentの適用範囲やDisallowのパスを表にすると、確認が早くなります。Claude Codeには、GPTBot、OAI-SearchBot、Google-Extended、通常検索botの扱いを分けて出させます。最後はクライアントが、どこまで許可するかを決めます。

Use case 3: 公開前レビューを営業メニューにする

• 入力: 公開予定サイト、既存サイト、クライアント確認シート、納品チェックリスト。
• 出力: 「AIクローラー公開前レビュー」の納品物、確認済みURL、修正した設定、次月の点検項目。
• 人の確認: 料金、作業範囲、責任分界、納品後の運用、緊急対応の範囲。

このUse caseはマネタイズに近いです。制作会社は「llms.txt作成だけ」で5万円を請求しにくいかもしれません。けれど、URL棚卸し、robots.txt確認、llms.txt作成、公開前スクショ、クライアント承認表まで含めると、納品物として説明しやすくなります。ClaudeCodeLab側でも、制作会社向け研修やチェックリスト商品につなげやすいテーマです。

コピペで使えるプロンプト

あなたは制作会社の公開前レビュー担当です。クライアントサイトのrobots.txt、llms.txt、sitemap、重要ページを読み、AIクローラーとAI検索向けの境界を整理してください。

入力:
- robots.txt:
- llms.txt:
- sitemap URL:
- 公開してよいページ:
- 学習や要約に使われたくないページ:
- 問い合わせフォームURL:
- 管理画面や資料URL:

出力:
1. robots.txtで止めるもの
2. llms.txtに載せるもの
3. llms.txtに載せないもの
4. Search向けに残すべきページ
5. クライアント承認が必要な判断
6. 公開前にブラウザで見るURL一覧

禁止:
- llms.txtをSEO順位の魔法として説明しない
- robots.txtだけで機密情報を守れると言わない
- 管理画面、見積書、顧客資料のURLをサンプルに混ぜない

このプロンプトでは、llms.txtを単体の作業にしません。必ずrobots.txt、sitemap、公開してよいURL、載せないURL、クライアント承認を同時に見ます。制作会社の価値は、ファイルを置くだけではなく、公開前の判断を見える形に残す点です。

動く確認コード

const sitePolicy = {
  robotsTxt: [
    "User-agent: GPTBot",
    "Disallow: /private/",
    "User-agent: Google-Extended",
    "Disallow: /drafts/",
    "User-agent: *",
    "Disallow: /admin/",
    "Sitemap: https://example.com/sitemap-index.xml"
  ].join("\n"),
  llmsTxt: [
    "# Example Clinic Site",
    "",
    "## Services",
    "- https://example.com/services/",
    "- https://example.com/pricing/",
    "",
    "## Support",
    "- https://example.com/faq/",
    "",
    "## Do not summarize",
    "- Private estimates and customer records are not public sources."
  ].join("\n"),
  sensitivePaths: ["/admin/", "/private/", "/drafts/", "/customers/"]
};

function auditCrawlerBoundary(policy) {
  const errors = [];
  for (const path of policy.sensitivePaths) {
    if (!policy.robotsTxt.includes(`Disallow: ${path}`)) {
      errors.push(`robots.txtに ${path} のDisallowがありません`);
    }
  }
  if (!policy.robotsTxt.includes("Sitemap:")) {
    errors.push("Sitemap行がありません");
  }
  if (!policy.llmsTxt.includes("## Services")) {
    errors.push("llms.txtに公開サービスの節がありません");
  }
  if (policy.llmsTxt.includes("/admin/") || policy.llmsTxt.includes("/customers/")) {
    errors.push("llms.txtに非公開URLが混ざっています");
  }
  return { ok: errors.length === 0, errors };
}

console.log(auditCrawlerBoundary(sitePolicy));

このコードは、robots.txtとllms.txtの抜けを小さく見るサンプルです。実案件では、sitemapからURLを読み、公開ページと非公開ページの一覧をCSVで持ち、同じチェックを回します。Claude Codeには、このサンプルを元にプロジェクト専用の確認スクリプトへ広げさせます。

Pitfall: llms.txtを置けばAI検索で勝てると説明してしまう

一番の落とし穴は、llms.txtを順位改善の魔法として営業する流れです。顧客は一時的に期待しますが、結果が出なければ不信感が残ります。直し方は、llms.txtを「AIが読みやすい入口」と説明し、あわせてURL棚卸し、robots.txt、noindex、本文改善、FAQ整理を納品物に含める形です。

次の落とし穴は、robots.txtで機密情報を守ったつもりになることです。robots.txtはアクセス方針を伝えるだけで、認証の代わりにはなりません。管理画面や顧客資料はURLを公開しない、認証をかける、検索に出さない、不要なファイルを消す、という別の確認が必要です。

最後の落とし穴は、クライアント確認を飛ばすことです。AIクローラーを許可するか止めるかは、企業の方針に関わります。制作会社が勝手に決めると、あとで説明が難しくなります。Claude Codeには確認表を作らせ、決定者、確認日、理由を残します。

よくある質問

llms.txtは必ず置くべきですか

必須ではありません。公開情報をAIや人に読みやすく渡したい場合に検討します。サービス、料金、FAQ、サポート、公式資料が整理されているサイトほど作りやすいです。情報が薄いサイトでは、先に本文とFAQを直したほうがよいです。

robots.txtだけでAIクローラーを止められますか

robots.txtは多くのクローラーが参照する案内ですが、機密保護の中心には置きません。止めたいページは、認証、noindex、公開停止、アクセス制限も見ます。特に顧客資料、管理画面、見積書、下書きURLは、見える場所に残さない前提で扱います。

Google-Extendedと通常のGoogle検索botは同じですか

扱いは分けて考えます。Googleのクローラー一覧では、Google-ExtendedはGemini Appsなどへの利用に関する制御として示されています。通常の検索流入を止めたいのか、AI関連の利用だけ方針を持ちたいのかをクライアントと確認します。

制作会社の営業メニューにできますか

できます。ただし「AI検索で順位が上がります」ではなく、「公開URLとAIクローラー方針を棚卸しします」と売るほうが堅いです。納品物は、robots.txt確認、llms.txt案、非公開URLチェック、公開前スクショ、クライアント承認表にすると説明しやすくなります。

研修・相談へのつなげ方

このテーマは、制作会社やWeb担当者に刺さりやすいです。AI検索、AIクローラー、llms.txtという言葉は流行っていますが、実務では「URLを整理する」「見せるページと見せないページを分ける」「顧客に確認して残す」が収益に近い仕事になります。月次保守に組み込めば、単発記事よりも安定した売上につながります。

制作会社でこのチェックを標準メニューにするなら、研修・相談でチェックリスト、Claude Code用プロンプト、公開前レビュー手順、クライアント説明テンプレートをまとめて設計できます。自社サイトでも同じ手順を使い、AI関連の流入を受ける記事から相談ページへつなげます。

実際に試した結果

この記事では、llms.txtの提案、Googleのrobots.txtとクローラー一覧、OpenAIのクローラー文書、CloudflareのAI Crawl Controlを確認し、制作会社が売りやすい作業を「AIクローラー公開前レビュー」に整理しました。確認コードはNode.jsで実行できる形にし、robots.txtのDisallow抜け、Sitemap行、llms.txtへの非公開URL混入を検出できることを確認しました。