做了个淄博张店的本地企业站，才搞清楚网站seo优化的9大蜘蛛陷阱到底是怎么回事******

做了个淄博张店的本地企业站，才搞清楚网站seo优化的9大蜘蛛陷阱到底是怎么回事

〖One〗去年下半年接了个淄博张店本地建材公司的站，做的是铝合金门窗和阳光房，网站本身不算复杂，就产品展示加几个案例页。客户反馈说上线三个月了，除了他们自己每天点几下，后台几乎看不到自然流量。我接手时先查了百度资源平台的抓取数据，发现蜘蛛每天都有来，但抓取量很少，而且大量URL显示“抓取异常”或被标记为“已发现未抓取”。更离谱的是，他们之前套了个现成的企业模板，里面塞了好几个隐藏的第三方统计插件和轮播图加载组件，这些我后来才意识到，就是典型的蜘蛛陷阱——看上去页面能正常打开，但爬虫走到一半就被门槛卡住了。当时我按照网站seo优化的9大蜘蛛陷阱去逐一排查，结果九个里我至少踩了五到六个。这次复盘就专门记一下具体怎么撞的，怎么绕回来的。

〖Two〗第一个翻车点是动态参数和重复URL。他们产品列表页用了?sort=price&page=2这种参数，还加了无良的无限滚动插件，导致蜘蛛每滚一次就新生成一个带#的URL。我查了后台收录数据，光产品分类页就被创建了三百多个不同参数版本，百度只收录了其中两个，而且都是空页面。更麻烦的是，这些URL没做canonical标记，蜘蛛在重复页面上浪费了大量配额，真正有价值的产品详情页反而被抓得很少。我处理的方式比较粗暴：先在robots.txt里屏蔽了所有带?和#的路径，然后重新整理产品列表页，改成静态分页形式，每页固定显示30个产品，URL直接是/list-1.html、/list-2.html这种。同时每个分页加了rel=”prev”和rel=”next”，彻底杜绝了参数污染。改完后大概两周，蜘蛛的抓取量从每天不到50条涨到了180条左右。

〖Three〗第二个坑出在移动端适配和弹窗屏蔽上。他们那个模板为了“美观”，首页做了个全屏欢迎弹窗，必须手动点关闭才能看到正文。我在手机上测的时候没问题，但用Google的移动端友好测试工具一跑，发现弹窗内容盖住了蜘蛛要抓的核心文字和导航。另一问题是图片懒加载用的JS脚本跟百度爬虫不兼容，蜘蛛过来时产品图片全部显示为占位符，alt属性也没写。我接手后做的最直接操作就是把弹窗砍掉，改成顶部小浮层，不遮挡内容；图片懒加载换成支持noscript回退的方案，所有img标签强制加上alt描述，比如“淄博张店铝合金推拉门案例实拍”。同时我在百度资源平台手动提交了移动端适配规则，把PC版URL和移动版URL做了对应。改完大概二十天，移动端页面的收录量从零涨到了三十多条，虽然不多，但至少爬虫能正常看到内容了。

〖Four〗后来我用了几个工具来辅助排查剩余陷阱。百度资源平台的“抓取异常”模块是最直接的，能看到具体哪些URL返回了500、404或超时。我导出列表后发现有十几个案例页因为引用了外部图床，图床挂了导致整页加载超时，蜘蛛判定为异常页。另一个工具是Screaming Frog，本地跑了一遍全站，发现内链结构里有七八个死循环——比如“产品详情”页链回了“产品列表”页，而列表页又通过“相关推荐”链回同一详情页，蜘蛛在这种环路里打转很多次。我调整了内链策略，每个产品详情页只链接到上级分类页和两个不重复的关联产品页，并且所有面包屑导航统一用文字链接而不是JS生成。调整后百度的收录速度明显快了，之前新发一个案例页要等三到四周才被收录，现在一周内就有动静。

〖Five〗第三个让我头疼的是网站速度带来的隐形陷阱。最初他们服务器在香港，淄博本地访问都要三秒以上，百度蜘蛛从北京爬过来就更慢。我实际检查时发现，有些首页资源加载时间超过十秒，蜘蛛的timeout设置一般是五到八秒，超时就直接放弃抓取。我不可能马上让他们换服务器，就先做了几件事：把首页背景图从2M压缩到200K以内，合并了CSS和JS文件，开启了Gzip压缩，并且把所有第三方统计代码移到页面底部异步加载。同时把robots.txt里的Crawl-delay从默认值改成了5秒，给蜘蛛一个明确的等待信号，防止它因为连续超时而放弃整个站点。前后一个半月左右，百度资源平台显示“抓取耗时”从平均9.2秒降到了3.6秒，收录页面从32个涨到了89个。不过咨询量的变化不明显，客户说一个月也就多了一两个电话，这跟行业本身低频有关系，但至少站点开始出现在一些长尾词的搜索结果里了。

〖Six〗总结一下这次淄博张店项目的实际执行顺序，我觉得对做本地企业站的朋友有点参考价值。第一步不是改内容，而是先清掉robots和服务器层面的硬陷阱——比如屏蔽动态参数、设置合理的Crawl-delay、检查服务器响应时间。第二步是处理移动端和前端技术陷阱，包括弹窗、懒加载、图片alt这些，这部分直接影响蜘蛛能不能看到核心内容。第三步做内链和URL结构优化，消除死循环和重复页面，把抓取配额集中到有价值的产品和案例页上。最后才是补充内容，比如针对“淄博张店铝合金门窗定制”这类地域词写单独页面。网站seo优化的9大蜘蛛陷阱里，我遇到的这五个——动态参数污染、移动端弹窗、懒加载失效、内链死循环、服务器超时——几乎每个都让收录量卡在几十条上不去。后来我按这个顺序重新推了一遍，虽然不能说效果多炸裂，但至少蜘蛛能正常跑起来，客户也开始在后台看到一些非本地的搜索词来源了。

做了个淄博张店的本地企业站，才搞清楚网站seo优化的9大蜘蛛陷阱到底是怎么回事******

做了个淄博张店的本地企业站，才搞清楚网站seo优化的9大蜘蛛陷阱到底是怎么回事

〖One〗去年下半年接了个淄博张店本地建材公司的站，做的是铝合金门窗和阳光房，网站本身不算复杂，就产品展示加几个案例页。客户反馈说上线三个月了，除了他们自己每天点几下，后台几乎看不到自然流量。我接手时先查了百度资源平台的抓取数据，发现蜘蛛每天都有来，但抓取量很少，而且大量URL显示“抓取异常”或被标记为“已发现未抓取”。更离谱的是，他们之前套了个现成的企业模板，里面塞了好几个隐藏的第三方统计插件和轮播图加载组件，这些我后来才意识到，就是典型的蜘蛛陷阱——看上去页面能正常打开，但爬虫走到一半就被门槛卡住了。当时我按照网站seo优化的9大蜘蛛陷阱去逐一排查，结果九个里我至少踩了五到六个。这次复盘就专门记一下具体怎么撞的，怎么绕回来的。

〖Two〗第一个翻车点是动态参数和重复URL。他们产品列表页用了?sort=price&page=2这种参数，还加了无良的无限滚动插件，导致蜘蛛每滚一次就新生成一个带#的URL。我查了后台收录数据，光产品分类页就被创建了三百多个不同参数版本，百度只收录了其中两个，而且都是空页面。更麻烦的是，这些URL没做canonical标记，蜘蛛在重复页面上浪费了大量配额，真正有价值的产品详情页反而被抓得很少。我处理的方式比较粗暴：先在robots.txt里屏蔽了所有带?和#的路径，然后重新整理产品列表页，改成静态分页形式，每页固定显示30个产品，URL直接是/list-1.html、/list-2.html这种。同时每个分页加了rel=”prev”和rel=”next”，彻底杜绝了参数污染。改完后大概两周，蜘蛛的抓取量从每天不到50条涨到了180条左右。

〖Three〗第二个坑出在移动端适配和弹窗屏蔽上。他们那个模板为了“美观”，首页做了个全屏欢迎弹窗，必须手动点关闭才能看到正文。我在手机上测的时候没问题，但用Google的移动端友好测试工具一跑，发现弹窗内容盖住了蜘蛛要抓的核心文字和导航。另一问题是图片懒加载用的JS脚本跟百度爬虫不兼容，蜘蛛过来时产品图片全部显示为占位符，alt属性也没写。我接手后做的最直接操作就是把弹窗砍掉，改成顶部小浮层，不遮挡内容；图片懒加载换成支持noscript回退的方案，所有img标签强制加上alt描述，比如“淄博张店铝合金推拉门案例实拍”。同时我在百度资源平台手动提交了移动端适配规则，把PC版URL和移动版URL做了对应。改完大概二十天，移动端页面的收录量从零涨到了三十多条，虽然不多，但至少爬虫能正常看到内容了。

〖Four〗后来我用了几个工具来辅助排查剩余陷阱。百度资源平台的“抓取异常”模块是最直接的，能看到具体哪些URL返回了500、404或超时。我导出列表后发现有十几个案例页因为引用了外部图床，图床挂了导致整页加载超时，蜘蛛判定为异常页。另一个工具是Screaming Frog，本地跑了一遍全站，发现内链结构里有七八个死循环——比如“产品详情”页链回了“产品列表”页，而列表页又通过“相关推荐”链回同一详情页，蜘蛛在这种环路里打转很多次。我调整了内链策略，每个产品详情页只链接到上级分类页和两个不重复的关联产品页，并且所有面包屑导航统一用文字链接而不是JS生成。调整后百度的收录速度明显快了，之前新发一个案例页要等三到四周才被收录，现在一周内就有动静。

〖Five〗第三个让我头疼的是网站速度带来的隐形陷阱。最初他们服务器在香港，淄博本地访问都要三秒以上，百度蜘蛛从北京爬过来就更慢。我实际检查时发现，有些首页资源加载时间超过十秒，蜘蛛的timeout设置一般是五到八秒，超时就直接放弃抓取。我不可能马上让他们换服务器，就先做了几件事：把首页背景图从2M压缩到200K以内，合并了CSS和JS文件，开启了Gzip压缩，并且把所有第三方统计代码移到页面底部异步加载。同时把robots.txt里的Crawl-delay从默认值改成了5秒，给蜘蛛一个明确的等待信号，防止它因为连续超时而放弃整个站点。前后一个半月左右，百度资源平台显示“抓取耗时”从平均9.2秒降到了3.6秒，收录页面从32个涨到了89个。不过咨询量的变化不明显，客户说一个月也就多了一两个电话，这跟行业本身低频有关系，但至少站点开始出现在一些长尾词的搜索结果里了。

〖Six〗总结一下这次淄博张店项目的实际执行顺序，我觉得对做本地企业站的朋友有点参考价值。第一步不是改内容，而是先清掉robots和服务器层面的硬陷阱——比如屏蔽动态参数、设置合理的Crawl-delay、检查服务器响应时间。第二步是处理移动端和前端技术陷阱，包括弹窗、懒加载、图片alt这些，这部分直接影响蜘蛛能不能看到核心内容。第三步做内链和URL结构优化，消除死循环和重复页面，把抓取配额集中到有价值的产品和案例页上。最后才是补充内容，比如针对“淄博张店铝合金门窗定制”这类地域词写单独页面。网站seo优化的9大蜘蛛陷阱里，我遇到的这五个——动态参数污染、移动端弹窗、懒加载失效、内链死循环、服务器超时——几乎每个都让收录量卡在几十条上不去。后来我按这个顺序重新推了一遍，虽然不能说效果多炸裂，但至少蜘蛛能正常跑起来，客户也开始在后台看到一些非本地的搜索词来源了。