网站SEO优化 爬虫协议文件到底怎么做？一次本地项目复盘：爬虫协议文件做了但网站SEO******

网站SEO优化 爬虫协议文件到底怎么做？一次本地项目复盘：爬虫协议文件做了但网站SEO

〖One〗之前接手扬州邗江一家本地机械加工厂的项目，厂里做非标零部件，老板自己建了个展示型网站，上线快半年了但询盘一直很少。我进去先看后台数据，收录数只有二十几条，流量几乎为零。老板说他在网上找了教程，自己写了个robots.txt文件放服务器根目录了，但效果根本没起来。我实际检查了一下，发现他写的爬虫协议文件里禁止了所有爬虫访问整站目录，等于把百度、谷歌全挡在门外了，难怪收录和点击都上不去。当时我问他是怎么写的，他说是参考别人家成品站的语法，直接复制过来改了改域名。这种操作在本地中小企业和个人站长里其实很常见，以为放个爬虫协议文件就算完成网站SEO优化了，但实际没搞明白这个文件到底是管什么用的，放错了反而把自己坑了。

〖Two〗第一个错误就是他用Allow和Disallow写反了。他原本想只屏蔽后台管理目录，结果写成了Disallow: / ，意思是禁止爬虫访问任何路径，连首页都进不来。我接手时重新梳理了网站结构，把后台目录、登录页面、重复的产品筛选参数页全部列出来，然后在爬虫协议文件里单独屏蔽这些不需要收录的低质页面，比如/admin、/login、/filter?sort=等。同时允许爬虫正常抓取首页、产品详情页和案例页。改完之后我还测试了提交，用百度搜索资源平台的抓取诊断工具跑了一遍，确认蜘蛛能正常访问核心页面。这一步做完后大概两周左右，新收录的页面才慢慢多起来，从二十几条涨到六十多条，但点击量还是很少，因为很多产品页面本身内容太薄了。

〖Three〗第二个错误是爬虫协议文件只放了根目录，但页面里没有配合做好内链引导。我复盘后发现，虽然我开放了产品详情页的抓取，但百度蜘蛛进来之后发现页面之间没有合理的内链跳转，很多详情页只能通过栏目页点进去一次，之后就很难再被继续深度爬取。后来我调整了产品列表页的底部推荐模块，每个详情页下面加了三到五个相关产品的文字链接，并且在面包屑导航里把路径做清楚。同时还把案例页和产品详情页穿插着串联起来，比如一个焊接件案例页里自然链接到对应型号的产品页。这些动作大概又花了两周左右，收录量从六十多条跳到一百四十多条，而且不少长尾词开始出现，比如“邗江非标法兰加工”“扬州机械零件定制”这类本地搜索词有了零星点击。

〖Four〗页面调整上，我把产品详情页的标题改了，原来都是用“产品名称-公司名称”这种很通用的写法，比如“法兰盘-扬州XX机械”。我改成“扬州邗江法兰盘加工-非标定制-XX机械厂”，同时把描述标签里也放了地区词和功能词。关键词没有堆砌，就是自然写一段产品介绍，然后强调本地服务和定制能力。栏目页也做了调整，原来只有一个“产品中心”大栏目，我拆成了“法兰加工”“轴类加工”“焊接件加工”三个子栏目，每个子栏目单独写一段200字左右的简介，介绍服务范围和设备优势。这些改动配合爬虫协议文件的正确配置，大概一个半月后，我观察到百度搜索资源平台里“扬州非标加工”这个词的展现量从0涨到日均十几次左右，点击有三四次，虽然不多，但确实开始有咨询电话打进来了，老板说一周内接到了两个询价。

〖Five〗第三个避坑点跟爬虫协议文件的更新频率有关。之前我以为放一次就一劳永逸了，后来有一次我加了新的产品分类，改了一下目录结构，但忘了同步更新爬虫协议文件。结果新分类页的路径被旧规则限制住了，蜘蛛抓取不到，新页面上线两周都没有收录。我发现之后赶紧在爬虫协议文件里把新目录的路径放开，并重新提交了sitemap。这里前后对比很明显：更新前新分类页零收录，更新后一周内就收录了差不多八成左右，点击也跟着慢慢涨上去了。所以后来我做项目时养成了一个习惯，每次网站做栏目调整或新增内容模块，都先检查一遍爬虫协议文件有没有遗漏屏蔽或误封的路径，避免自己给自己设限。

〖Six〗总结下来，如果本地企业想做网站SEO优化，爬虫协议文件这块的执行顺序我建议这样走：先搞清楚网站有哪些目录和页面，哪些是给用户看的，哪些是后台或重复内容需要屏蔽的；然后写爬虫协议文件，注意Allow和Disallow的优先级，测试无误后再上线；上线后配合sitemap提交和内链优化一起做，别单靠一个文件就以为万事大吉。另外每隔一两周检查一下抓取情况，特别是新增内容后及时更新规则。这个项目里从最初的零效果到后来有了稳定的长尾词流量和偶尔的咨询转化，核心就是把爬虫协议文件从摆设变成了真正辅助收录的工具。当然地区词和本地服务页面的优化也得跟上，不然光让蜘蛛进来但页面内容不行，点击和转化还是上不去。

网站SEO优化 爬虫协议文件到底怎么做？一次本地项目复盘：爬虫协议文件做了但网站SEO******

网站SEO优化 爬虫协议文件到底怎么做？一次本地项目复盘：爬虫协议文件做了但网站SEO

〖One〗之前接手扬州邗江一家本地机械加工厂的项目，厂里做非标零部件，老板自己建了个展示型网站，上线快半年了但询盘一直很少。我进去先看后台数据，收录数只有二十几条，流量几乎为零。老板说他在网上找了教程，自己写了个robots.txt文件放服务器根目录了，但效果根本没起来。我实际检查了一下，发现他写的爬虫协议文件里禁止了所有爬虫访问整站目录，等于把百度、谷歌全挡在门外了，难怪收录和点击都上不去。当时我问他是怎么写的，他说是参考别人家成品站的语法，直接复制过来改了改域名。这种操作在本地中小企业和个人站长里其实很常见，以为放个爬虫协议文件就算完成网站SEO优化了，但实际没搞明白这个文件到底是管什么用的，放错了反而把自己坑了。

〖Two〗第一个错误就是他用Allow和Disallow写反了。他原本想只屏蔽后台管理目录，结果写成了Disallow: / ，意思是禁止爬虫访问任何路径，连首页都进不来。我接手时重新梳理了网站结构，把后台目录、登录页面、重复的产品筛选参数页全部列出来，然后在爬虫协议文件里单独屏蔽这些不需要收录的低质页面，比如/admin、/login、/filter?sort=等。同时允许爬虫正常抓取首页、产品详情页和案例页。改完之后我还测试了提交，用百度搜索资源平台的抓取诊断工具跑了一遍，确认蜘蛛能正常访问核心页面。这一步做完后大概两周左右，新收录的页面才慢慢多起来，从二十几条涨到六十多条，但点击量还是很少，因为很多产品页面本身内容太薄了。

〖Three〗第二个错误是爬虫协议文件只放了根目录，但页面里没有配合做好内链引导。我复盘后发现，虽然我开放了产品详情页的抓取，但百度蜘蛛进来之后发现页面之间没有合理的内链跳转，很多详情页只能通过栏目页点进去一次，之后就很难再被继续深度爬取。后来我调整了产品列表页的底部推荐模块，每个详情页下面加了三到五个相关产品的文字链接，并且在面包屑导航里把路径做清楚。同时还把案例页和产品详情页穿插着串联起来，比如一个焊接件案例页里自然链接到对应型号的产品页。这些动作大概又花了两周左右，收录量从六十多条跳到一百四十多条，而且不少长尾词开始出现，比如“邗江非标法兰加工”“扬州机械零件定制”这类本地搜索词有了零星点击。

〖Four〗页面调整上，我把产品详情页的标题改了，原来都是用“产品名称-公司名称”这种很通用的写法，比如“法兰盘-扬州XX机械”。我改成“扬州邗江法兰盘加工-非标定制-XX机械厂”，同时把描述标签里也放了地区词和功能词。关键词没有堆砌，就是自然写一段产品介绍，然后强调本地服务和定制能力。栏目页也做了调整，原来只有一个“产品中心”大栏目，我拆成了“法兰加工”“轴类加工”“焊接件加工”三个子栏目，每个子栏目单独写一段200字左右的简介，介绍服务范围和设备优势。这些改动配合爬虫协议文件的正确配置，大概一个半月后，我观察到百度搜索资源平台里“扬州非标加工”这个词的展现量从0涨到日均十几次左右，点击有三四次，虽然不多，但确实开始有咨询电话打进来了，老板说一周内接到了两个询价。

〖Five〗第三个避坑点跟爬虫协议文件的更新频率有关。之前我以为放一次就一劳永逸了，后来有一次我加了新的产品分类，改了一下目录结构，但忘了同步更新爬虫协议文件。结果新分类页的路径被旧规则限制住了，蜘蛛抓取不到，新页面上线两周都没有收录。我发现之后赶紧在爬虫协议文件里把新目录的路径放开，并重新提交了sitemap。这里前后对比很明显：更新前新分类页零收录，更新后一周内就收录了差不多八成左右，点击也跟着慢慢涨上去了。所以后来我做项目时养成了一个习惯，每次网站做栏目调整或新增内容模块，都先检查一遍爬虫协议文件有没有遗漏屏蔽或误封的路径，避免自己给自己设限。

〖Six〗总结下来，如果本地企业想做网站SEO优化，爬虫协议文件这块的执行顺序我建议这样走：先搞清楚网站有哪些目录和页面，哪些是给用户看的，哪些是后台或重复内容需要屏蔽的；然后写爬虫协议文件，注意Allow和Disallow的优先级，测试无误后再上线；上线后配合sitemap提交和内链优化一起做，别单靠一个文件就以为万事大吉。另外每隔一两周检查一下抓取情况，特别是新增内容后及时更新规则。这个项目里从最初的零效果到后来有了稳定的长尾词流量和偶尔的咨询转化，核心就是把爬虫协议文件从摆设变成了真正辅助收录的工具。当然地区词和本地服务页面的优化也得跟上，不然光让蜘蛛进来但页面内容不行，点击和转化还是上不去。