# robots.txt for 和存在感薄弱的妹妹一起的简单生活
# 网站机器人访问控制文件
# 更新时间: 2024-12-28

# 允许所有搜索引擎抓取主要内容
User-agent: *
Allow: /
Allow: /css/
Allow: /js/
Allow: /img/

# 禁止抓取的目录和文件
Disallow: /admin/
Disallow: /private/
Disallow: /temp/
Disallow: /cache/
Disallow: /backup/
Disallow: /.git/
Disallow: /.DS_Store
Disallow: /privacy.html
Disallow: /terms.html

# 针对特定搜索引擎的规则

# 百度爬虫
User-agent: Baiduspider
Allow: /
Disallow: /admin/
Disallow: /private/

# 谷歌爬虫
User-agent: Googlebot
Allow: /
Disallow: /admin/
Disallow: /private/

# 必应爬虫
User-agent: bingbot
Allow: /
Disallow: /admin/
Disallow: /private/

# 360搜索爬虫
User-agent: 360Spider
Allow: /
Disallow: /admin/
Disallow: /private/

# 搜狗爬虫
User-agent: Sogou web spider
Allow: /
Disallow: /admin/
Disallow: /private/

# 网站地图位置
Sitemap: https://imouto-life.xyz/sitemap.xml

# 抓取延迟设置（秒）
Crawl-delay: 1

# 访问时间限制（可选）
# Visit-time: 0100-2300

# 主机设置
Host: imouto-life.xyz