别再盲目做网站seo优化robots，先检查这些问题：robots.txt到底用A******

别再盲目做网站seo优化robots，先检查这些问题：robots.txt到底用A

〖One〗去年接手一个南阳卧龙本地的建站公司网站，他们主要做企业官网和电商模板，行业竞争不算激烈，但流量一直起不来。对方老板跟我说，网站上线三个月了，百度只收录了首页和两个案例页，其他二十多个栏目页和产品详情页全没进索引。我第一反应是检查robots.txt，结果一看文件内容，发现里面写满了Disallow规则，而且每条都带星号通配符，像Disallow: /product/和Disallow: /case/，甚至连/js/和/css/这种静态资源也拦了。这种写法在老站长里很常见，觉得把不想让蜘蛛爬的目录直接封死就行，但其实问题恰恰出在这里。当时我在南阳卧龙本地看他们服务器日志，发现百度蜘蛛每天都会来抓取首页，但一碰到/product/路径就直接返回404，因为robots.txt禁止了，蜘蛛连URL都看不到。

〖Two〗第一个错误就是以为Disallow比Allow更安全。实际上对于搜索引擎来说，Allow是更明确的指令。比如你要屏蔽后台目录/admin/，但想开放/admin/login/这个登录页，如果只用一条Disallow: /admin/，蜘蛛就会把所有以admin开头的路径全拦住，包括你想让它抓的那个登录页。我当时在南阳卧龙这个项目里，把robots.txt改成Allow: /admin/login/再配合Disallow: /admin/，结果第二天百度站长平台就显示新发现了那个登录页URL，虽然没立刻收录，但至少爬虫不再直接跳过了。另一个坑是很多人喜欢写Disallow: /，然后在后面用Allow逐条开放，这种写法在理论上可行，但实际测试下来，百度对这种反向规则的支持并不稳定，我见过好几次写了Allow也没生效的情况，最后还是老老实实改成只封禁不必要的目录，其他全部默认允许抓取。

〖Three〗第二个更隐蔽的错误是忽略了robots.txt对图片和JS文件的限制。南阳卧龙这家公司网站用了大量产品图片和动态加载的JS脚本，结果因为Disallow: /js/和Disallow: /images/，导致搜索引擎在抓取内容时无法解析页面的完整结构。我当时检查百度搜索资源平台的抓取诊断，发现好几个产品详情页虽然被蜘蛛抓到了，但页面渲染后是空白的，因为CSS和图片全被拦截了。处理方式是把robots.txt里所有跟静态资源相关的Disallow规则删掉，换成只屏蔽后台目录、临时文件目录和重复参数页面。改完大概两周后，收录量从3个涨到了17个，虽然不多，但至少产品栏目页开始进索引了。点击量也有一点变化，之前一个月只有20多次点击，调整后上升到80多次，咨询量从零变成两周内接到两个表单提交。

〖Four〗页面调整这块，我用了百度站长平台的robots工具来测试规则是否生效。比如写了一条Allow: /product/后，我会用工具输入/product/dianmoban.html这个URL看是否被允许抓取。南阳卧龙这边老板当时催得紧，我索性把所有栏目页的关键词重新拆了一次：原来他们标题全是“南阳卧龙网站建设”，太宽泛，我把产品类页改成“南阳卧龙企业网站模板定制”，案例页改成“南阳卧龙建站公司案例展示”，然后在内链上把首页、关于页、案例页互相链接，重点加粗了“网站SEO优化robots”这个长尾词到几个核心文章里。收录变化最明显的是第五周，百度一次性抓了12个新URL，其中三个是之前完全没进索引的案例子页。点击量从日均3次升到日均11次，表单咨询虽然有波动，但第三个月开始稳定每周至少一条。

〖Five〗第三个避坑点是关于Sitemap和robots的配合。很多人在robots.txt里写了Sitemap路径就以为完事了，但实际百度蜘蛛抓取Sitemap时，如果Sitemap里包含的URL正好被Disallow规则屏蔽，百度会忽略这些URL，不会强制抓取。我在南阳卧龙这个项目里挨个检查了Sitemap里每个URL，发现有一批产品页被Disallow: /product/old/拦住了，而那个目录里其实还有几款在售的模板。我把Disallow改成只屏蔽/old/temp/这个子目录，Sitemap重新提交后，两天内那几款产品页就收录了。前后对比下来，Sitemap提交前收录率不到10%，调整后提升到40%左右。不过也得说一句，收录不等于排名，那几个页面虽然进了索引，但排名都在30名开外，直到后来补充了产品描述和客户评价内容，才慢慢爬到首页底部。

〖Six〗总结一下适用场景和执行顺序。如果你做的是南阳卧龙这种地方建站公司，站点不大，栏目清晰，我建议优先用Allow开放核心路径，只在确有必要时才写Disallow。执行顺序是：先拿百度站长工具测试当前规则，删掉所有静态资源和产品目录的Disallow，保留后台和临时文件目录的封锁，然后提交Sitemap，等两周观察收录变化。如果发现收录量没涨，再检查是不是有隐藏的Disallow漏网了。另外别迷信Disallow: /这种一刀切写法，除非你是做企业内网或者测试站。我后来把南阳卧龙这个项目的robots.txt精简到只有6条规则，其中4条是Allow，2条是Disallow，维护起来也省心。当然，每个网站结构不同，别直接照搬，但核心思路就是让蜘蛛能跑到该跑的地方。

别再盲目做网站seo优化robots，先检查这些问题：robots.txt到底用A******

别再盲目做网站seo优化robots，先检查这些问题：robots.txt到底用A

〖One〗去年接手一个南阳卧龙本地的建站公司网站，他们主要做企业官网和电商模板，行业竞争不算激烈，但流量一直起不来。对方老板跟我说，网站上线三个月了，百度只收录了首页和两个案例页，其他二十多个栏目页和产品详情页全没进索引。我第一反应是检查robots.txt，结果一看文件内容，发现里面写满了Disallow规则，而且每条都带星号通配符，像Disallow: /product/和Disallow: /case/，甚至连/js/和/css/这种静态资源也拦了。这种写法在老站长里很常见，觉得把不想让蜘蛛爬的目录直接封死就行，但其实问题恰恰出在这里。当时我在南阳卧龙本地看他们服务器日志，发现百度蜘蛛每天都会来抓取首页，但一碰到/product/路径就直接返回404，因为robots.txt禁止了，蜘蛛连URL都看不到。

〖Two〗第一个错误就是以为Disallow比Allow更安全。实际上对于搜索引擎来说，Allow是更明确的指令。比如你要屏蔽后台目录/admin/，但想开放/admin/login/这个登录页，如果只用一条Disallow: /admin/，蜘蛛就会把所有以admin开头的路径全拦住，包括你想让它抓的那个登录页。我当时在南阳卧龙这个项目里，把robots.txt改成Allow: /admin/login/再配合Disallow: /admin/，结果第二天百度站长平台就显示新发现了那个登录页URL，虽然没立刻收录，但至少爬虫不再直接跳过了。另一个坑是很多人喜欢写Disallow: /，然后在后面用Allow逐条开放，这种写法在理论上可行，但实际测试下来，百度对这种反向规则的支持并不稳定，我见过好几次写了Allow也没生效的情况，最后还是老老实实改成只封禁不必要的目录，其他全部默认允许抓取。

〖Three〗第二个更隐蔽的错误是忽略了robots.txt对图片和JS文件的限制。南阳卧龙这家公司网站用了大量产品图片和动态加载的JS脚本，结果因为Disallow: /js/和Disallow: /images/，导致搜索引擎在抓取内容时无法解析页面的完整结构。我当时检查百度搜索资源平台的抓取诊断，发现好几个产品详情页虽然被蜘蛛抓到了，但页面渲染后是空白的，因为CSS和图片全被拦截了。处理方式是把robots.txt里所有跟静态资源相关的Disallow规则删掉，换成只屏蔽后台目录、临时文件目录和重复参数页面。改完大概两周后，收录量从3个涨到了17个，虽然不多，但至少产品栏目页开始进索引了。点击量也有一点变化，之前一个月只有20多次点击，调整后上升到80多次，咨询量从零变成两周内接到两个表单提交。

〖Four〗页面调整这块，我用了百度站长平台的robots工具来测试规则是否生效。比如写了一条Allow: /product/后，我会用工具输入/product/dianmoban.html这个URL看是否被允许抓取。南阳卧龙这边老板当时催得紧，我索性把所有栏目页的关键词重新拆了一次：原来他们标题全是“南阳卧龙网站建设”，太宽泛，我把产品类页改成“南阳卧龙企业网站模板定制”，案例页改成“南阳卧龙建站公司案例展示”，然后在内链上把首页、关于页、案例页互相链接，重点加粗了“网站SEO优化robots”这个长尾词到几个核心文章里。收录变化最明显的是第五周，百度一次性抓了12个新URL，其中三个是之前完全没进索引的案例子页。点击量从日均3次升到日均11次，表单咨询虽然有波动，但第三个月开始稳定每周至少一条。

〖Five〗第三个避坑点是关于Sitemap和robots的配合。很多人在robots.txt里写了Sitemap路径就以为完事了，但实际百度蜘蛛抓取Sitemap时，如果Sitemap里包含的URL正好被Disallow规则屏蔽，百度会忽略这些URL，不会强制抓取。我在南阳卧龙这个项目里挨个检查了Sitemap里每个URL，发现有一批产品页被Disallow: /product/old/拦住了，而那个目录里其实还有几款在售的模板。我把Disallow改成只屏蔽/old/temp/这个子目录，Sitemap重新提交后，两天内那几款产品页就收录了。前后对比下来，Sitemap提交前收录率不到10%，调整后提升到40%左右。不过也得说一句，收录不等于排名，那几个页面虽然进了索引，但排名都在30名开外，直到后来补充了产品描述和客户评价内容，才慢慢爬到首页底部。

〖Six〗总结一下适用场景和执行顺序。如果你做的是南阳卧龙这种地方建站公司，站点不大，栏目清晰，我建议优先用Allow开放核心路径，只在确有必要时才写Disallow。执行顺序是：先拿百度站长工具测试当前规则，删掉所有静态资源和产品目录的Disallow，保留后台和临时文件目录的封锁，然后提交Sitemap，等两周观察收录变化。如果发现收录量没涨，再检查是不是有隐藏的Disallow漏网了。另外别迷信Disallow: /这种一刀切写法，除非你是做企业内网或者测试站。我后来把南阳卧龙这个项目的robots.txt精简到只有6条规则，其中4条是Allow，2条是Disallow，维护起来也省心。当然，每个网站结构不同，别直接照搬，但核心思路就是让蜘蛛能跑到该跑的地方。