粘贴 robots.txt 内容或输入线上地址由服务器代取(每IP每小时10次),按 Google/Bing 爬虫规范逐行校验语法与逻辑,检出常见陷阱。
Disallow: /secret 不等于 /secret/,前者会误拦 /secrets.htmlDisallow:(空值)表示允许全部,不是禁止全部按Google/Bing公布的爬虫规范校验:User-agent/Disallow/Allow/Sitemap/Crawl-delay各指令格式、路径通配符与$结尾符用法、指令顺序陷阱(Disallow优先于同级Allow的规则)、空Disallow语义、以及"整站误屏蔽"这类高危配置。
错误是违反语法、爬虫无法解析的行(如指令拼写错误);陷阱是语法合法但语义容易搞反的配置(如Allow: / 与 Disallow: / 同时出现时的优先级)。错误必须修,陷阱要结合您的真实意图确认。