seo优化robots.txt网站地图没带来流量？先排查页面和搜索词******

seo优化robots.txt网站地图没带来流量？先排查页面和搜索词

〖One〗去年下半年刚接手南宁青秀区一家本地家装公司的SEO项目，网站用的是某开源CMS二次开发的，之前外包公司做的。刚接手时发现网站上线快三个月，首页都没被百度收录，更别提内页了。我当时第一反应是robots.txt出了问题，结果打开一看，文件内容被外包写成了“Disallow: /”，等于把所有页面都屏蔽了。更离谱的是，网站地图文件根本不存在，但他们把路径写在了robots.txt里，百度蜘蛛每次来都白跑一趟。这个项目主要做南宁青秀区的装修案例和本地服务页，目标词是“青秀区装修公司”“南宁小户型装修”这类地域长尾词，结果三个月下来，百度统计后台全是零，咨询电话一个都没接到。

〖Two〗复盘后最先处理的是robots.txt文件。我实际检查发现，外包公司把Disallow写成了全站屏蔽，还把Sitemap路径指向一个不存在的xml文件。我先把robots.txt改成允许所有搜索引擎爬取，同时把Sitemap路径修正到实际存在的文件。但这里有个坑——改完文件后，我直接在浏览器里访问robots.txt确认内容是对的，但百度站长工具里抓取测试时，显示的还是旧内容。后来才发现，网站用了Nginx缓存，robots.txt文件被缓存了三天才更新。这三天内百度蜘蛛抓取的还是屏蔽版本，等于白等。最后我强制清空了Nginx缓存，并在服务器端设置了robots.txt不缓存，才解决问题。

〖Three〗第二个错误出在网站地图的生成方式上。原来那个外包公司用了某插件自动生成sitemap，但插件只生成了首页和几个核心栏目页，全部内容加起来才12条URL，而实际网站有超过200个案例页和30个服务详情页。更坑的是，插件生成的XML文件里有重复的URL和错误的优先级标签。我后来调整策略，手动编写了网站地图，按照栏目、案例页、服务页分成三个独立的sitemap文件，再用一个主索引文件把它们汇总起来。同时把每个页面的最后修改时间改成实际更新时间，而不是插件默认的固定日期。改完后提交到百度资源平台，一周内收录量从0涨到47个页面，主要是首页和几个栏目页进去了。

〖Four〗工具方面，我用的是Screaming Frog来抓取整个网站结构，发现网站地图里漏了三分之一的关键页面。比如“南宁青秀区旧房翻新”这个长尾词对应的案例页，URL是动态的带参数，robots.txt里虽然没屏蔽，但网站地图里没包含，百度蜘蛛完全找不到入口。我后来把这类动态URL全部改写成静态形式，并在sitemap里单独加了一个“翻新案例”分类。关键词调整上，原来标题写的“南宁装修案例”，我拆成“青秀区旧房翻新案例”“南宁小户型装修实景图”这类更具体的地域词。标题改完后半个月，这些页面陆续被收录，虽然点击量还低，但百度站长工具里能看到有抓取记录了。

〖Five〗第三个避坑点跟内链有关。我发现网站地图提交后，收录涨到80多个页面，但点击量几乎没有起色。复盘后发现，网站地图里的URL虽然被蜘蛛发现了，但页面之间缺乏内链关联。比如案例页里没有链接指向对应的服务页，服务页底部也没有推荐案例。我后来在每个案例页底部加了三到五个相关案例的内链，同时在服务页的正文里自然插入对应案例的超链接。另外，首页底部原本只有公司介绍和联系方式，我加了一个“热门案例”模块，链向收录最好、点击最高的几个页面。这个调整花了两周，三个月内整体点击量从日均不到10次涨到70次左右，咨询电话也从零变成了每周两三个。

〖Six〗总结下来，这套robots.txt和网站地图的配置顺序应该是：先确认robots.txt文件不被服务器缓存、内容正确，再生成完整的sitemap并分门别类，最后提交前用抓取工具检查URL数量是否对得上。对于南宁青秀这类本地项目，地域词案例页特别容易被漏掉，一定要在网站地图里单独建分类。另外，内链建设不能等收录稳定了再做，而是应该跟网站地图提交同步进行，否则收录了也没人点。现在这个项目收录已经稳定在150个页面左右，主要流量词是“青秀区装修公司”和“南宁小户型装修”，虽然排名没到首页，但至少每星期能稳定接到三个咨询电话，比刚开始的零状态强太多了。

seo优化robots.txt网站地图没带来流量？先排查页面和搜索词******

seo优化robots.txt网站地图没带来流量？先排查页面和搜索词

〖One〗去年下半年刚接手南宁青秀区一家本地家装公司的SEO项目，网站用的是某开源CMS二次开发的，之前外包公司做的。刚接手时发现网站上线快三个月，首页都没被百度收录，更别提内页了。我当时第一反应是robots.txt出了问题，结果打开一看，文件内容被外包写成了“Disallow: /”，等于把所有页面都屏蔽了。更离谱的是，网站地图文件根本不存在，但他们把路径写在了robots.txt里，百度蜘蛛每次来都白跑一趟。这个项目主要做南宁青秀区的装修案例和本地服务页，目标词是“青秀区装修公司”“南宁小户型装修”这类地域长尾词，结果三个月下来，百度统计后台全是零，咨询电话一个都没接到。

〖Two〗复盘后最先处理的是robots.txt文件。我实际检查发现，外包公司把Disallow写成了全站屏蔽，还把Sitemap路径指向一个不存在的xml文件。我先把robots.txt改成允许所有搜索引擎爬取，同时把Sitemap路径修正到实际存在的文件。但这里有个坑——改完文件后，我直接在浏览器里访问robots.txt确认内容是对的，但百度站长工具里抓取测试时，显示的还是旧内容。后来才发现，网站用了Nginx缓存，robots.txt文件被缓存了三天才更新。这三天内百度蜘蛛抓取的还是屏蔽版本，等于白等。最后我强制清空了Nginx缓存，并在服务器端设置了robots.txt不缓存，才解决问题。

〖Three〗第二个错误出在网站地图的生成方式上。原来那个外包公司用了某插件自动生成sitemap，但插件只生成了首页和几个核心栏目页，全部内容加起来才12条URL，而实际网站有超过200个案例页和30个服务详情页。更坑的是，插件生成的XML文件里有重复的URL和错误的优先级标签。我后来调整策略，手动编写了网站地图，按照栏目、案例页、服务页分成三个独立的sitemap文件，再用一个主索引文件把它们汇总起来。同时把每个页面的最后修改时间改成实际更新时间，而不是插件默认的固定日期。改完后提交到百度资源平台，一周内收录量从0涨到47个页面，主要是首页和几个栏目页进去了。

〖Four〗工具方面，我用的是Screaming Frog来抓取整个网站结构，发现网站地图里漏了三分之一的关键页面。比如“南宁青秀区旧房翻新”这个长尾词对应的案例页，URL是动态的带参数，robots.txt里虽然没屏蔽，但网站地图里没包含，百度蜘蛛完全找不到入口。我后来把这类动态URL全部改写成静态形式，并在sitemap里单独加了一个“翻新案例”分类。关键词调整上，原来标题写的“南宁装修案例”，我拆成“青秀区旧房翻新案例”“南宁小户型装修实景图”这类更具体的地域词。标题改完后半个月，这些页面陆续被收录，虽然点击量还低，但百度站长工具里能看到有抓取记录了。

〖Five〗第三个避坑点跟内链有关。我发现网站地图提交后，收录涨到80多个页面，但点击量几乎没有起色。复盘后发现，网站地图里的URL虽然被蜘蛛发现了，但页面之间缺乏内链关联。比如案例页里没有链接指向对应的服务页，服务页底部也没有推荐案例。我后来在每个案例页底部加了三到五个相关案例的内链，同时在服务页的正文里自然插入对应案例的超链接。另外，首页底部原本只有公司介绍和联系方式，我加了一个“热门案例”模块，链向收录最好、点击最高的几个页面。这个调整花了两周，三个月内整体点击量从日均不到10次涨到70次左右，咨询电话也从零变成了每周两三个。

〖Six〗总结下来，这套robots.txt和网站地图的配置顺序应该是：先确认robots.txt文件不被服务器缓存、内容正确，再生成完整的sitemap并分门别类，最后提交前用抓取工具检查URL数量是否对得上。对于南宁青秀这类本地项目，地域词案例页特别容易被漏掉，一定要在网站地图里单独建分类。另外，内链建设不能等收录稳定了再做，而是应该跟网站地图提交同步进行，否则收录了也没人点。现在这个项目收录已经稳定在150个页面左右，主要流量词是“青秀区装修公司”和“南宁小户型装修”，虽然排名没到首页，但至少每星期能稳定接到三个咨询电话，比刚开始的零状态强太多了。