# 計算ナビ - robots.txt
#
# 解決済み（2026-09-01・全6ゾーン）:
# 2026-08-26 時点では、本番配信時に Cloudflare が本ファイルより前に独自の
# Disallow ブロック（9クローラー対象）を注入しており、後方にある本ファイルの
# Allow が事実上無効化されていた。2026-09-01 に解除済み。
#
# 本番実測（2026-09-01）:
#   curl -s https://keisan-navi.jp/robots.txt | wc -c            → 3,893（本ファイルと一致）
#   curl -s https://keisan-navi.jp/robots.txt | grep -c '^Disallow: /$' → 0
#   Content-Signal ヘッダ                                        → 出力なし
#   GPTBot / ClaudeBot / PerplexityBot                           → Allow: /
#
# ⚠️ 原因の記録（2026-08-26 の当初診断は誤りだった）:
#   誤: ダッシュボードの「Block AI bots」が有効になっている
#       → 実際は `ai_bots_protection` は最初から "disabled" で、
#         この設定をいくら探しても変えられるものが無かった（6ラウンド空振り）
#   正: `is_robots_txt_managed: true`
#       → ブロックはせず、robots.txt に Disallow を書き足していただけ。
#         だから HTTP は 200 で通るのに、robots.txt を守るクローラーだけが
#         遠慮し、無視する Bytespider は普通に来ていた。
#
# 解除方法（再発したとき用・API。ダッシュボードなら「Managed robots.txt」を OFF）:
#   PUT /zones/{zone_id}/bot_management   body: { "is_robots_txt_managed": false }
#   ※ PATCH は 10405 で弾かれる。PUT を使うこと
#   ※ 環境変数の CLOUDFLARE_API_TOKEN では 403。MCP の OAuth 認証なら通る
#   ※ 適用は数秒で反映される。必ず本番を curl で実測して確認すること
#     （ダッシュボードの表示だけで判断しない。それが上記の誤診の原因だった）
#
# 教訓: この状態を読者向けに開示していた src/data/crawler-disclosure.ts は、
#   解除後もそのままだと「ブロックされている」という逆向きの虚偽になる。
#   ブロックの有無を書くときは、どちらの向きでも必ず本番を実測してから書くこと。
#
# --- 以下、サイト自前の記述 ---

User-agent: *
Allow: /

# 主要AIクローラ（明示許可・2026-09-01 時点で本番でもそのまま有効）
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: Bytespider
Allow: /

User-agent: meta-externalagent
Allow: /

User-agent: FacebookBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: AI2Bot
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: Diffbot
Allow: /

User-agent: Timpibot
Allow: /

# サイトマップ
Sitemap: https://keisan-navi.jp/sitemap-index.xml

# LLM向けサイト概要ファイル
# LLMs.txt: https://keisan-navi.jp/llms.txt