74 lines
1.2 KiB
Plaintext
74 lines
1.2 KiB
Plaintext
# ************************************
|
|
# 菲西尔智能官网 robots.txt
|
|
# AI叠加专家 - 物业AI | 资管AI | CRM AI
|
|
# ************************************
|
|
|
|
# 允许所有爬虫访问
|
|
User-agent: *
|
|
Allow: /
|
|
|
|
# Sitemap位置
|
|
Sitemap: https://www.fischerai.cn/sitemap.xml
|
|
|
|
# 禁止访问的路径
|
|
Disallow: /api/
|
|
Disallow: /admin/
|
|
Disallow: /*.json$
|
|
Disallow: /version-*.html
|
|
|
|
# 允许访问重要资源
|
|
Allow: /assets/
|
|
Allow: /favicon-*.png
|
|
Allow: /apple-touch-icon.png
|
|
|
|
# 百度爬虫特殊规则
|
|
User-agent: Baiduspider
|
|
Allow: /
|
|
Crawl-delay: 1
|
|
|
|
# Google爬虫特殊规则
|
|
User-agent: Googlebot
|
|
Allow: /
|
|
Crawl-delay: 1
|
|
|
|
# Bing爬虫特殊规则
|
|
User-agent: Bingbot
|
|
Allow: /
|
|
Crawl-delay: 1
|
|
|
|
# 搜狗爬虫特殊规则
|
|
User-agent: Sogou
|
|
Allow: /
|
|
Crawl-delay: 1
|
|
|
|
# 360搜索爬虫特殊规则
|
|
User-agent: 360Spider
|
|
Allow: /
|
|
Crawl-delay: 1
|
|
|
|
# 字节跳动爬虫（用于抖音/今日头条搜索）
|
|
User-agent: Bytespider
|
|
Allow: /
|
|
Crawl-delay: 1
|
|
|
|
# Kimi/Moonshot爬虫
|
|
User-agent: Moonshot
|
|
Allow: /
|
|
|
|
# 通义千问爬虫
|
|
User-agent: CCBot
|
|
Allow: /
|
|
|
|
# 文心一言爬虫
|
|
User-agent: AppEngine-Google
|
|
Allow: /
|
|
|
|
# 其他AI平台爬虫
|
|
User-agent: GPTBot
|
|
Allow: /
|
|
User-agent: ChatGPT-User
|
|
Allow: /
|
|
|
|
# 主机信息
|
|
Host: https://www.fischerai.cn
|