网站做反爬虫防护，注意不要误伤搜索引擎蜘蛛

作者：天晴创艺发布时间：2026/9/19 11:12:58浏览次数：10007文章出处：天晴创艺

有位做 B2B 的客户半夜发消息来，说服务器负载飙高，一查日志，同一个 IP 段在狂刷产品页，一夜抓了几万次，明显是同行在采数据。他让运维上了套防护规则，第二天负载是降了，麻烦也跟着来了：三周后搜索引擎的收录掉了一大截，新页面压根不进索引。防护本身没错，错在把搜索引擎蜘蛛也当成恶意爬虫一起拦了。
这类误伤在实站里非常常见，值得把几种典型的坑摆一摆。
最常见的是频率限制一刀切。设置"每分钟请求超过 60 次就封 IP"听起来合理，可蜘蛛抓取高峰期完全可能超过这个阈值，尤其是大站、新站集中收录期。规则生效的那一刻起，收录就开始悄悄往下掉，而站长往往几周后才从流量曲线里看出来，中间的损失已经造成。所以这类规则的上线时机也有讲究，别挑新内容集中发布的节点。
验证码和 JS 挑战是另一类重灾区。不少防护产品默认对所有访客弹人机验证，真人能点过去，蜘蛛不能。它不会填验证码，也不会执行复杂的 JS 挑战，被拦一次就少收录一页。开了 Cloudflare 这类 CDN 的站点要特别注意，防护模式如果选了最严等级，等于把搜索引擎挡在门外，记得给验证过的官方蜘蛛加放行规则。

网站制作

还有 User-Agent 黑名单的坑。有些运维图省事，把日志里所有带 bot、spider、crawl 字样的访问一律封掉。问题在于，搜索引擎蜘蛛的 UA 里就带着这些词，一封就是精准误伤。更麻烦的是伪装成蜘蛛的恶意爬虫，和真蜘蛛混在一起，不区分就动手，要么漏掉坏的，要么拦住好的。
正确的做法其实不复杂。反爬规则上线前，先做蜘蛛识别：拿到访问 IP，反查它是不是属于搜索引擎官方的 IP 段，真蜘蛛的 IP 反查能对应到搜索巨头的域名，伪装的则对不上。官方段的蜘蛛加白名单，伪装的直接拦，两边都处理干净了，规则才敢生效。这个识别逻辑不算复杂，但很多网站制作团队交付时压根没做这一步，客户也不知道要验收，出问题往往几个月后才暴露。
上线之后还有两件事要做。一是在站长平台盯着抓取统计，谷歌的 Search Console 里有抓取报告，百度站长平台也有抓取诊断，一旦抓取量断崖式下跌，先查是不是防护规则在拦。二是让做网站制作的技术把 robots.txt 和反爬规则放在一起维护，两个文件说的其实是同一件事——谁能来、来多久、走哪些路径，分开管迟早打架。
反爬和收录从来不是二选一，难的是把"欢迎搜索引擎、拒绝恶意爬虫"这两句话同时写到规则里。防护规则更新后顺手抽查一次蜘蛛访问，比事后排查收录异常省心得多。