先确认:到底是被拒收了还是还没发现你
苏州很多老板反馈"网站上线三个月了百度搜不到",一查百度站长平台,发现根本没提交过。百度不是全知全能的,你不告诉它,它可能真的不知道你存在。
先去百度搜索资源平台(ziyuan.baidu.com)验证你的网站,看"索引量"和"收录量"数据。如果索引量为0,说明百度压根没发现你;如果有索引但site不到,说明是被放进了沙盒还没放出来。
昆山一家电子厂做完网站3个月没收录,原因就是从没向百度提交过。主动推送+Sitemap提交后,48小时内首页就被收录了。有时候问题就是这么简单。
第一招:主动推送,最快最直接
主动推送是你主动把URL告诉百度"这有新页面快来抓"。通过百度站长平台的API接口,可以实时推送。每次发了新文章或新产品,立即推一次。
推送方式有三种:API主动推送(最快,几分钟内百度就知道)、sitemap提交(批量提交所有URL)、自动推送(在网站装一段JS代码,用户访问时就触发推送)。三种一起用效果最好。
常熟一家服装批发商的网站,装了自动推送代码后,产品页收录率从35%提升到了82%。代码就几行,建站的时候让技术人员加上去就行,不费事。
第二招:Sitemap别忘了做
Sitemap就是网站地图,把所有页面URL列出来,做成XML格式提交给百度。这东西相当于给百度蜘蛛一份导航图,告诉它"这些页面你都可以爬"。
很多人觉得网站页面不多不需要sitemap,这是个误区。哪怕只有20个页面,sitemap也能加速收录。因为百度蜘蛛来了之后,有了sitemap就不用一个链接一个链接地爬,直接批量抓取,效率高得多。
吴中一家机器人公司做了sitemap后,收录时间从平均7天缩短到了2天。做sitemap不难,网上有免费的生成工具,输入网址就能自动生成XML文件。
第三招:检查robots.txt是否屏蔽了百度
这是个低级错误,但发生频率高得离谱。苏州至少有30%的企业网站robots.txt写错了,直接把百度蜘蛛给屏蔽了。最常见的情况是建站公司为了防止测试期被收录,写了Disallow: /,上线后忘了改回来。
检查方法:在浏览器输入 你的域名/robots.txt,看有没有Disallow: / 这行。如果有,赶紧删掉。正确写法是允许所有爬虫:User-agent: * Allow: /
太仓一家德资企业的网站上线半年没收录,排查了半天发现就是robots.txt的问题。改完第二天,百度蜘蛛就来了。所以排查收录问题,先看robots.txt,这一步只需要10秒钟。
第四招:内容质量决定是否被收录
就算百度发现了你的页面,也不一定收录。百度会评估页面质量,垃圾内容直接pass。什么算垃圾内容?采集抄袭的、内容太短的(低于300字)、纯图片没文字的、全是联系方式没有实质内容的。
苏州BioBay一家生物医药初创公司,产品页只有一张图和一行价格,收录一直上不去。后来每个产品加了300字以上的描述,包括技术参数、应用场景、研发背景,一周后全部收录了。
每篇内容至少500字以上,配上1-2张图片(加alt属性),有段落有小标题。原创最好,实在写不了原创就伪原创,但别直接复制粘贴。
第五招:用外链把蜘蛛引过来
百度蜘蛛爬行互联网是顺着链接走的。如果你的网站没有任何外部链接指向,蜘蛛发现你的概率就很低。在行业论坛、B2B平台、分类信息网站发一些外链,相当于给蜘蛛铺了路。
苏州本地的渠道有不少:苏州中小企业网、苏州市互联网协会的行业名录、各类苏州商圈论坛。在这些平台发帖带上你的网址,蜘蛛顺着链接就爬过来了。
相城区一家智能家居厂商,在5个B2B平台发了产品信息带官网链接,一周内百度蜘蛛的抓取频率从每天2次提升到每天15次。外链不光是传递权重,更重要的是引蜘蛛。
第六招:服务器稳定是基础
百度蜘蛛来你网站,结果服务器响应慢或者直接打不开,它转头就走。连续几次这样,蜘蛛就不来了,收录自然上不去。
选择服务器看两个指标:可用性99.9%以上,国内访问延迟200ms以内。苏州本地企业如果面向国内客户,用国内服务器+备案域名,速度和收录都有保障。用海外服务器虽然不用备案,但速度慢,对收录不友好。
定期查看百度站长平台的"抓取异常",如果出现大量404、503错误,说明服务器或网站有问题,赶紧修。张家港一家钢材贸易商因为服务器经常宕机,收录量从200多页掉到了80页,换了服务器后才慢慢恢复。