# 允许AI爬虫抓取的核心页面
User-agent: GPTBot
Allow: /
Allow: /index.php
Allow: /about.php
Allow: /case.php
Allow: /news.php
Allow: /product.php
Allow: /sitemap.php

User-agent: ClaudeBot
Allow: /
Allow: /index.php
Allow: /about.php
Allow: /case.php
Allow: /news.php
Allow: /product.php
Allow: /sitemap.php

# 通用AI爬虫规则
User-agent: *
Allow: /
Allow: /index.php
Allow: /about.php
Allow: /case.php
Allow: /news.php
Allow: /product.php
Allow: /sitemap.php

# 禁止抓取的敏感/后台目录
Disallow: /cn/


# 高价值页面
HighValue: /
HighValue: /index.php

HighValue: /case.php
HighValue: /news.php
HighValue: /product.php
HighValue: /sitemap.php