华人企业网

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
查看: 6|回复: 0

网站有哪些地方是不利于蜘蛛爬取的陷阱呢?

[复制链接]
发表于 2019-11-10 19:25 | 显示全部楼层 |阅读模式
网站有哪些地方是不利于蜘蛛爬取的陷阱呢?
  1、搜索引擎能不能找到网页。
  1)要让搜搜引擎发现网站首页,网站推广就必须有良好的外部链接链接到首页,就找到了首页,然后蜘蛛会沿着链接爬的更深。
  让蜘蛛通过简单的html页面的链接到达,javascript链接,flash链接都是蜘蛛的陷阱。这点要注意。
  2)找到网页后能不能抓去内容。
  被发现的蜘蛛是可以被爬取的,数据库动态生成,带过很多的参数url、sessionID、整个页面都是flash、框架结构、大量的转向,和大量的复制内容都可能把蜘蛛拦截在门外。这也也是要注意的
  2、flash
  1)在网页某一个部分使用flash来增强视觉效果很正常网络推广,比如现在很多的flash广告、图标等。但是这是一个html页面的一部分。不会有太大的影响
  2)但是有的网站就是一个很大的flash文件,这就构成了蜘蛛的陷阱,这时候蜘蛛爬取的只有一个flash链接,没有其他的内容,所以这点尽量要避免。
  3、sessionID
  1)有些网站使用sessionID(会话ID)跟踪用户的访问,用户的没一次访问都会生成一个独立的ID,然后加在url里,这是蜘蛛每一次抓取网站都会把蜘蛛当作一个新的用户网络营销,造成蜘蛛不能正常爬取,这也是蜘蛛的一大陷阱。
  2)通常建议跟踪用户访问应该使用cookies而不要生存sessionID 。
  4、各种的跳转
  1)除了大家熟悉的301转向之外,其他的转向对搜索蜘蛛都比较敏感的,比如302暂时转向,javascript转向,flash转向,meta refresh跳转,所以建议大家不要做其他不利于网页的转向,301也包括,不到万不得已的时候也不要用301转向。

文章转载请注明出处:http://www.netshop168.com/article-12750.html
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|网站地图|小黑屋|手机版|华人企业网络营销论坛 ( 京ICP备07504386号-5 )

GMT+8, 2019-11-13 06:15 , Processed in 2.450912 second(s), 18 queries .

Powered by Discuz! X3.4

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表