DDR爱好者之家

如何让网站页面内容不被抓取？ 五个不让网站页面内容不被抓取的技巧
站长资源 2024/12/24 佚名
2 1538
DDR爱好者之家 Design By 杰米

　　可能有的朋友会奇怪，网站的页面不是让搜索引擎抓的越多越好吗，怎么还会有怎么让网站页面内容不被抓取的想法。

　　首先，一个网站可以分出去的权重是有限，哪怕是Pr10的站，也不可能无限的分权重出去。这权重包括链到别人网站的处链以及自己网站内的内链。

　　外链的话，除非是想坑被链的人。否则外链都是需要让搜索引擎所抓取。这不在本文讨论范围之内。

　　而内链，因为有些网站有不少重复或冗余的内容。比如一些按条件查询的搜索结果。特别是一些B2C站，在专门查询页或在所有产品页面的某个位置内，都可以按产品类型，型号，颜色，大小等进行分类搜索。这些页面虽然对浏览者来说是极大的方便，但对搜索引擎来说，这可是耗费蜘蛛极大的抓取时间，特别是网站页面较多时。同时也会分散页面权重,对SEO不利。

　　另外网站管理登陆页面，备份页面，测试页面等等，也是站长不想让搜索引擎所收录的。

　　所以就有需要让网页的某些内容，或某些页面不被搜索引擎所收录。

　　下面笔者先介绍一下较为有效的几种方法：

　　1.在FLASH展示不想被收录的内容

　　众所周知，搜索引擎对FLASH的内容抓取能力有限，不能完全抓取所有FLASH内的所有内容。但遗憾的是，也不能完全保证FLASH的所有内容都不会被抓取。因为谷歌和Adobe正努力的实现FLASH抓取技术。

　　2.使用robos文件

　　这是暂时最有效的方法，但有个很大的缺点。就是不传出任何的内容及链接。大家知道，在SEO来说比较健康的页面应该是有进有出的。有外链的链入，同时也页面内也需要有链到外部网站的链接，所以robots文件控制，让此页面只进不出，搜索引擎也不知道内容是什么。会把此页定为低质量页面。权重有可能受一定的惩罚。这个多用于网站管理页面，测试页面等。

　　3.使用nofollow标签包裹不想被收录的内容

　　这个方法也不能完全保证不被收录，因为这并不是严格要求遵守的标签。另外，如果有外部网站链向了有nofollow标签的页面。这样就很有可能会被搜索引擎抓取。

　　4.用Meta Noindex标签加上follow标签

　　这个方法可以做到防止收录而且还能传递出权重。要不要传递，看网站建设站长自己的需要。这个方法的缺点是，也是会较大的浪费蜘蛛的抓取页面时间。

　　5.用robots文件的同时在页面上使用iframe标签展示需要搜索引擎收录的内容robots文件可以阻止iframe标签以外的内容被收录。所以，可以把不想收录的内容放到正常页面标签下。而想被收录的内容放在iframe标签内。

　　紧接着，再说一下已经失效的方法，大家以后不要用这些方法了。

　　1.使用表格

　　谷歌和百度早已经能抓取表格用的内容了，无法阻止收录。

　　2.使用Javascript及Ajax技术

　　以现在的技术来说，Ajax和javascript现在的最终运算的结果还是以HTML的形式传给浏览器以作显示，所以这同样无法阻止收录。

　　初学者大多着眼于如何收录，但细节决定成败。怎么让网站页面内容不被抓取也是SEO进阶人士需要注意的。谢谢阅读，希望能帮到大家，请继续关注，我们会努力分享更多优秀的文章。

DDR爱好者之家 Design By 杰米
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
DDR爱好者之家 Design By 杰米
ddrfans.com DDR爱好者之家
8,675无损音乐
1,324高清电影
213破解软件
70,141收录资讯

稳了！魔兽国服回归的3条重磅消息！官宣时间再确认！

昨天有一位朋友在大神群里分享，自己亚服账号被封号之后居然弹出了国服的封号信息对话框。

这里面让他访问的是一个国服的战网网址，com.cn和后面的zh都非常明白地表明这就是国服战网。

而他在复制这个网址并且进行登录之后，确实是网易的网址，也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情，因为以前都没有出现这样的情况，现在突然提示跳转到国服战网的网址，是不是说明了简体中文客户端已经开始进行更新了呢？

更新日志

友情链接

杰晶网络 DDR爱好者之家 南强小屋 黑松山资源网 白云城资源网
DDR爱好者之家 Design By 杰米