网站开启 HTTPS 之后，哪些细节会干扰抓取

      把网站切换到 HTTPS，很多人以为只是装一张证书就万事大吉，实际上线之后，会碰到抓取异常、收录停滞、新旧页面互相打架的情况，大多都是容易忽略的细节引发的。

最常见的一类问题，就是页面内部还残留大量 HTTP 的资源调用。也就是常说的混合内容，CSS、js 脚本、图片、插件资源还写死 http 地址。浏览器有的会自动拦截部分资源，搜索引擎爬虫访问页面时，会出现页面渲染不全，样式缺失，部分模块加载失败。爬虫拿到的页面内容残缺，就没办法完整解析正文，直接影响内容识别，严重时页面会抓取成功但迟迟不产生收录。

其次是 HTTP 与 HTTPS 双向都可以正常访问，没有做好强制跳转。部分服务器配置完证书之后，http 域名还能正常打开页面，没有统一 301 跳转到 https。这时同一个页面存在两套可访问 URL，搜索引擎会判定为内容重复，出现页面版本混乱，权重被拆分，一部分蜘蛛持续抓取 http 版本，新的 https 页面排名迟迟起不来。这里要注意，不能用 JS 跳转，爬虫不一定会执行 JS，优先在服务器层面配置 301 永久重定向。

HSTS 配置设置不当，也会带来隐形麻烦。如果 HSTS 设置的过期时间过长，一旦证书后续出现到期、更换证书故障，整个站点会直接无法访问，爬虫连续多次抓取失败，会降低对站点的信任。刚切换 HTTPS 初期，不建议直接设置很长的 HSTS 有效期，可以循序渐进调整。

canonical 标签没有同步更新也是高频踩坑点。网站原本写的 canonical 地址全部还是 http 链接，改成 HTTPS 之后没有批量修改。爬虫抓取 https 页面，但标签指向旧 http 地址，搜索引擎会优先采信标签里的旧版本，导致新 HTTPS 页面不参与排名，大量抓取分配到已经准备废弃的 http 链接上。

      robots.txt、sitemap 站点地图同样需要同步更新。很多站点地图里面的 URL 全部是 http，切换之后没有重新生成提交。蜘蛛依据旧地图去抓取旧链接，会产生大量无效抓取，浪费站点抓取配额。robots 文件本身可以正常访问，但里面引用的链接地址也要核对，避免出现 http 路径残留。

CDN 层面的缓存问题也不能忽视。开启 HTTPS 之后，CDN 缓存规则没有调整，部分旧 http 页面缓存还持续生效，出现时而打开 http、时而打开 https 的不稳定现象。爬虫多次访问拿到不一样的页面版本，会造成抓取数据错乱。切换完成后建议主动清理一遍 CDN 存量缓存。

还有证书本身的问题，证书过期、证书域名不匹配、中间证书缺失。这类情况会直接返回证书报错，蜘蛛访问直接失败，返回非 200 状态，直接中断抓取。日常运维要做好证书到期提醒，不要等到过期之后才发现问题。

完成 HTTPS 切换，并不是装完证书就结束，上面这些细节不处理，就算证书正常生效，依旧会干扰爬虫正常抓取，白白消耗网站原本积累的搜索表现。全部调整完毕之后，在站长平台把站点属性修改为 https 版本，提交新的 sitemap，持续观察一段时间抓取日志，确认爬虫主要访问的是 https 链接。