不抓取如何会收录，又怎么有排名?然而就这样一个明显的问题，却有大量的网站将其忽略掉。在A5这里做SEO诊断服务的客户中，其中“20%”的网站都会存在抓取错误，直接严重影响到网站的成长效果。今天这篇文章，如果你有幸看到，希望可以阅读完今天这篇文章，并分享出去，因为真的会很有价值。
贺贵江：曾经诊断过一个千万级别收录的站点，但是索引总是被反复的剔除，又反复的收录，企业一直找不到问题。可是当我们对网站检查之初就发现一个怪的现象了：
1、错误的封禁
在百度的robots.txt的更新上，如果多次点击“检测并更新”就会出现时常可以更新，但是又时常无法更新的问题。如此一来：不应当被收录的东西，在robots.txt上禁止的被收录了，又删除就很正常了。那么它的问题是什么呢?并非服务器负载过度，而是因为防火墙错误的将部分Baiduspider列入了黑名单。
上面这个例子是robots.txt方面的抓取错误，作为站长最少应该每周都检查更新一下robots.txt是否可以正常更新。之后我们再看下“页面抓取”方面的错误：
2、服务器异常
常规的服务器就不说啦，大家都知道的，北上广的一般都不错。不过有一些特殊服务器，想必绝大多数的站长都不知道吧?例如西部数码的“港台服务器”就很有趣，真的是港台的吗?本身机房在国内，还算什么港台?为了逃避备案而用一个港台的IP，数据全部在国内。
这样有什么不好呢?我们会发现：站点的服务器是经过CDN的，哪怕是你上传的一张图片，都会显示为“302状态码”，访问速度是提升上去了，可是这样利于SEO吗?呵呵哒。真不知道西数做为国内大型idc服务商是如何想的，利用那些无知吗?
3、获取不到真实IP
规模较大的网站，一般都会使用CDN加速，但是有些站点不仅仅对“设备”使用了CDN加速，而且还对Spider使用了加速功能。最后的结果是什么呢?如果CDN节点不稳定，那么对网站spider来讲，这个问题将是致命的。
很多大型站点开放CDN的原因就是容易被攻击，这个时候如果不做“蜘蛛回源”就可想而知了。你的站点做了CDN了吗?请登录百度站长平台查看一下spider是否可以抓取真实IP地址吧!
4、频繁的50X类错误
这样的链接其中一个共同的特点是：当打开后，全部都是正常的，那么Spider为什么会报错提醒呢?只是因为在爬虫发起抓取的那一刻，httpcode返回了5XX"，你的站点是否频繁有这样的问题呢?有的话需要立即安排技术，或者通报IDC服务商做解决了!
5、错误的抓取比例
任何网站都做不到100%不出问题，但是万事有一个度：我们认为，这个比例不超过5%，对网站基本上是无影响的，且这样的错误不应当每天都出现。最常见的抓取错误一般都是连接超时："抓取请求连接建立后，下载页面速度过慢，导致超时，可能原因服务器过载，带宽不足"这种情况：
A：尽量在不影响图片质量的情况下，对图片进行压缩，上传的时候就进行了压缩。
B：减少如JS脚本文件类型的使用，或者进行合并
C：页面大小进行控制，尤其是一些浏览量、抓取量较高的页面，不建议超过2MB。
D：增加网站的带宽，提升下载速度，或者更换服务器。
今天这篇分享，是否对你有帮助呢?希望能对大家有所帮助！
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。
更新日志
- 凤飞飞《我们的主题曲》飞跃制作[正版原抓WAV+CUE]
- 刘嘉亮《亮情歌2》[WAV+CUE][1G]
- 红馆40·谭咏麟《歌者恋歌浓情30年演唱会》3CD[低速原抓WAV+CUE][1.8G]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[320K/MP3][193.25MB]
- 【轻音乐】曼托凡尼乐团《精选辑》2CD.1998[FLAC+CUE整轨]
- 邝美云《心中有爱》1989年香港DMIJP版1MTO东芝首版[WAV+CUE]
- 群星《情叹-发烧女声DSD》天籁女声发烧碟[WAV+CUE]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[FLAC/分轨][748.03MB]
- 理想混蛋《Origin Sessions》[320K/MP3][37.47MB]
- 公馆青少年《我其实一点都不酷》[320K/MP3][78.78MB]
- 群星《情叹-发烧男声DSD》最值得珍藏的完美男声[WAV+CUE]
- 群星《国韵飘香·贵妃醉酒HQCD黑胶王》2CD[WAV]
- 卫兰《DAUGHTER》【低速原抓WAV+CUE】
- 公馆青少年《我其实一点都不酷》[FLAC/分轨][398.22MB]
- ZWEI《迟暮的花 (Explicit)》[320K/MP3][57.16MB]