제작사를 위한 llms.txt와 AI 크롤러 점검: Claude Code 공개 전 리뷰

웹 제작사와 고객 사이트 운영팀 팀이 llms.txt와 AI 크롤러 공개 전 리뷰 이야기를 들으면 파일이나 유행어부터 찾는 경우가 많습니다. 방문자는 답, 가격, 책임자, 근거, 다음 행동을 먼저 보고 싶어 합니다.

근거는 llms.txt 제안, Google robots.txt, Google crawler 문서, OpenAI 문서, Cloudflare AI Crawl Control입니다. Related internal reading: professional-services inquiry flow and agency checklist.

핵심 요점

• 상담 클릭, 폼 완료, 반복 질문, 리뷰 시간, 게시 전 발견한 위험 항목을 봅니다.
• Claude Code ko review table banane दें: missing facts, risky claims, unclear CTA, URL boundary, owner approval.
• Human owner price, legal scope, client policy, private URL aur final publication approve kare.
• Start with one page, one checklist, and one clear consultation path.

실패가 시작되는 지점

실패는 사람보다 AI 시스템을 먼저 만족시키려 할 때 시작됩니다. 얇은 FAQ나 새 파일은 범위, 근거, CTA가 비어 있는 페이지를 고치지 못합니다.

웹 제작사와 고객 사이트 운영팀 팀이 llms.txt와 AI 크롤러 공개 전 리뷰 이야기를 들으면 파일이나 유행어부터 찾는 경우가 많습니다. 방문자는 답, 가격, 책임자, 근거, 다음 행동을 먼저 보고 싶어 합니다.

Claude Code 범위와 사람이 승인할 범위

Claude Code는 페이지, FAQ 메모, 메타데이터, URL, 승인표를 정리할 수 있습니다. 사람은 가격, 법적 표현, 개인정보, 고객 정책, 게시 결정을 승인합니다.

For monetized work, send team-level workflows to training and consultation.

3가지 Use case

Use case 1: Review the main page

• Input: page copy, FAQ notes, price notes, owner notes.
• Output: missing facts, risky claims, unclear CTA, approval questions.
• Human check: price, scope, credentials, privacy, client policy.

Use case 2: Compare metadata and visible text

• Input: title, description, structured data, robots or llms notes, visible page.
• Output: hidden claims, old dates, missing source links, unsafe promises.
• Human check: each claim is true, current, and safe to publish.

Use case 3: Turn the workflow into a paid review

• Input: page URL, sitemap, form fields, client approval sheet.
• Output: screenshots, go/no-go list, fixes, next-month review items.
• Human check: scope, price, owner, delivery limit, and follow-up plan.

복사해서 쓰는 프롬프트

あなたは制作会社の公開前レビュー担当です。クライアントサイトのrobots.txt、llms.txt、sitemap、重要ページを読み、AIクローラーとAI検索向けの境界を整理してください。

入力:
- robots.txt:
- llms.txt:
- sitemap URL:
- 公開してよいページ:
- 学習や要約に使われたくないページ:
- 問い合わせフォームURL:
- 管理画面や資料URL:

出力:
1. robots.txtで止めるもの
2. llms.txtに載せるもの
3. llms.txtに載せないもの
4. Search向けに残すべきページ
5. クライアント承認が必要な判断
6. 公開前にブラウザで見るURL一覧

禁止:
- llms.txtをSEO順位の魔法として説明しない
- robots.txtだけで機密情報を守れると言わない
- 管理画面、見積書、顧客資料のURLをサンプルに混ぜない

동작 확인 코드

const sitePolicy = {
  robotsTxt: [
    "User-agent: GPTBot",
    "Disallow: /private/",
    "User-agent: Google-Extended",
    "Disallow: /drafts/",
    "User-agent: *",
    "Disallow: /admin/",
    "Sitemap: https://example.com/sitemap-index.xml"
  ].join("\n"),
  llmsTxt: [
    "# Example Clinic Site",
    "",
    "## Services",
    "- https://example.com/services/",
    "- https://example.com/pricing/",
    "",
    "## Support",
    "- https://example.com/faq/",
    "",
    "## Do not summarize",
    "- Private estimates and customer records are not public sources."
  ].join("\n"),
  sensitivePaths: ["/admin/", "/private/", "/drafts/", "/customers/"]
};

function auditCrawlerBoundary(policy) {
  const errors = [];
  for (const path of policy.sensitivePaths) {
    if (!policy.robotsTxt.includes(`Disallow: ${path}`)) {
      errors.push(`robots.txtに ${path} のDisallowがありません`);
    }
  }
  if (!policy.robotsTxt.includes("Sitemap:")) {
    errors.push("Sitemap行がありません");
  }
  if (!policy.llmsTxt.includes("## Services")) {
    errors.push("llms.txtに公開サービスの節がありません");
  }
  if (policy.llmsTxt.includes("/admin/") || policy.llmsTxt.includes("/customers/")) {
    errors.push("llms.txtに非公開URLが混ざっています");
  }
  return { ok: errors.length === 0, errors };
}

console.log(auditCrawlerBoundary(sitePolicy));

Pitfall: 리뷰가 아니라 유행어를 파는 것

The risky pattern is selling llms.txt와 AI 크롤러 공개 전 리뷰 as a shortcut. The better offer is a visible review: what was checked, what changed, what needs approval, and what metric will be watched.

Another risk is sending private information into the workflow. Use sanitized examples and public pages. Remove client names, private estimates, customer records, draft URLs, and internal documents unless they are necessary and approved.

자주 묻는 질문

Does this guarantee more search traffic?

트래픽을 보장하지 않습니다. 페이지를 더 명확하고 검토하기 쉽게 만듭니다.

What should be measured first?

상담 클릭, 폼 완료, 반복 질문, 리뷰 시간, 게시 전 발견한 위험 항목을 봅니다.

Who approves the final page?

The business owner or client decision maker. Claude Code prepares the table; humans make the decision.

이 글에서 확인한 것

I checked the primary documentation, narrowed the workflow to reviewable artifacts, and included runnable Node.js code that catches common gaps before publication.