robots.txt 示例文件
robots.txt 是放在网站根目录的文本文件：它告诉搜索引擎爬虫哪些目录可以抓取，哪些不要碰。下面是可以直接拿去用的现成文件：普通可用版本、主流 CMS 的默认配置、屏蔽 AI 爬虫与采集器，还有用来测试自家解析器的边界情况
基础
主流 CMS 的默认文件
常见场景的现成方案
边界情况
🧠 哪条规则生效
爬虫只服从一个组：User-agent 与它匹配得最精确的那一组。它不会同时去读星号那一组，因此规则不会叠加。在该组之内，路径匹配最长的规则胜出，起决定作用的是模式的长度而不是行的先后：Allow: /wp-admin/admin-ajax.php 会压过 Disallow: /wp-admin/，即便它写在下面。长度相同时 Allow 胜出。特殊字符只有两个：* 代表任意一串字符，$ 表示网址结束。还有一点最常被忽略：这个文件拦的是抓取，不是收录。被其他网站链接的页面即便在这里被禁止，仍可能出现在搜索结果中，只是没有摘要。要把它移出索引，需要 X-Robots-Tag 响应头或 noindex 元标签，而这恰恰要求该页面可以被抓取。