东莞网站建设

东莞网站设计

首选佰达科技 : 0755-2373 0058
网站建设咨询

当前位置:首页 > 新闻资讯 > 网站建设知识  

建设网站如何避免蜘蛛陷阱

发表日期:2018-03-01文章编辑:东莞网站设计​浏览次数:184   

    有一些东莞网站设计技术对搜索引擎来说很不友好,不利于蜘蛛爬行和抓取,这些技术被称为蜘蛛陷阱。常见的应该全力避免的蜘蛛陷阱包括如下这些。

    1、Flash

    在网页的某一小部分使用 Flash增强视觉效果是很正常的,比如用Flash做成的广告图标等。这种小 Flash 和图片是一样的,只是HTML代码中的很小一部分,页面上还有其他以文字为主的内容,所以对搜索引擎抓取和收录没有影响。

    但是有的网站整个首页就是一个大的Flash文件,这就构成了蜘蛛陷阱。搜索引擎抓取的HTML代码只有一个连向Flash文件的链接,没有其他文字内容。读者可以参考前面例子的源代码,搜索引擎是无法读取Flash文件中的文字内容和链接的。这种网站整个就是一个Flash的网站,可能视觉效果做得精彩异常,可惜搜索引擎看不到,不能索引出任何文字信息,也就无从判断相关性。

    有的网站喜欢在首页放一个Flash动画片头(Flash Intro),用户访问网站看完片头后被转向到真正的 HTML版本的文字网站首页,搜索引擎不能读取 Flash,一般也没办法从Flash Intro跟踪到 HTML版本页面。

    近几年搜索引擎不停尝试读取Flash文件,尤其是里面的文字内容和链接,也取得了一定进展.站长可以使用SWFObject和 sIFR 等技术使 Flash文件更易于被搜索引擎读取不过我的观点是,与其费劲去研究怎么让搜索引擎读取 Flash 文件,不如裝成普通的 HTML版本的网站,如果你的网站除了 Flash 外不足以展現公司实力,那么你的公司应该是世界500 强级别的.SEO就不重要了。

    整个网站就是一个大Flash文件,从SEO角度来说是万万不可的。如果 Flash 效果是必需的,至少也需要在首页加上一个通往 HTML版本的链接,这个链接应该是在 Flash 文件之外的 HTML 代码中,搜索引擎跟踪这个链接可以抓取后面的 HTML版本页面。

    2、Session ID

    有些网站使用Session ID〔会话 ID)跟踪用户访问,每个用户访问网站时都会生成独特唯一的Session ID,加在URL中,搜索引擎蜘蛛的每一次访问也会被当成一个新的用户,URL中会加上一个不同的Session ID,这样搜索引擎蜘蛛每次来访问时所得到同一个页面的URL将不一样,后面带着一个不一样的Session ID.这也是最常见的蜘蛛陷阱之一。

    搜索引擎遇到这种长长的Session ID,会尝试判断字符串是Session ID还是正常参数.成功判断出Session ID就可以去掉Session ID,收录正常URL.但也经常判断不出来,要么不愿意收录,要么收录多个册有不同Session ID的URL,内容却完全一样,形成大量复制内容,这两种情况对网站优化都不利。

    通常建议跟踪用户访问应该使用cookies 而不要生成Session ID,或者程序判断访问者是搜索 引擎蜘蛛还是普通用户,如果是搜索引擎蜘蛛,则不生成 Session ID,跟踪搜索引擎蜘蛛访问是没什么意义的,蜘蛛既不会填表,也不会把商品放入购物车 。

    3、各种跳转

    除了后面会介绍的301转向以外,搜索引擎对其他形式的跳转都比较敏感,如302跳转.JavaScript跳转、Flash跳转、Meta Refresh跳转。

    有些网站用户访问首页时会被自动转向到某个目录下的页面,如果是按用户地理位置转向至最适合的目录,那倒情有可原,但大部分这种首页转向看不出任何理由和目的,这样的转向能避免则避免。

    如果必须转向,301 转向是搜索引擎推荐的、用于网址更改的转向,可以把页面权重从旧网址转移到新网址。其他转向方式都对蜘蛛爬行不利,原因在于后面作弊一章所要介绍的,黑帽 SEO 经常使用转向欺骗搜索引擎和用户,所以除非万不得已,尽量不要使用301转向以外的跳转。

    4、框架结构

    如果作为站长的你不知道什么是框架结构(Frame),那么恭喜你,你已经避免了这个蜘蛛陷阱,根本没必要知道什么是框架结构,如果你在网站设计中还在使用框架结构,我的建议是立即取消。

    使用框架结构设计页面,在网站诞生初期曾经挺流行,因为对网站的页面更新维护有一定方便性,不过现在的网站已经很少使用框架了,不利于搜索引擎抓取是框架越来越不流行的重要原因之一。对搜索引擎来说,访问一个使用框架的网址所抓取的 HTML 只包含调用其他 HTML 文件的代码,并不包含任何文字信息,搜索引擎根本无法判断这个网址的内容是什么,虽然蜘蛛可以跟踪框架中所调用的其他HTML 文件,但是这些文件经常是不完整的页面,比如没有导航只是正文,搜索引擎也无法判断框架中的页面内容应该属于主框架,还是属于框架调用的文件。

    总之,如果你的网站还在使用框架,或者你的老板要使用框架结构,唯一要记住的是,忘记使用框架这回事。和 Flash 一样,别浪费时间研究怎么让搜索引擎收录框架结枃网站。

    5、动态URL

    动态URL指的是数据库驱动的网站所生成的、带有问号、等号及参数的网址,一般来说动态URL 不利于搜索引擎蜘蛛爬行,应该尽量避免。

    6、JavaScript链接

    由于JavaScript可以创造出很多吸引人的视觉效果,有些网站喜欢使用JavaScript脚本生成导航系统,这也是比较严重的蛛蛛陷阱之一,虽然搜索引擎都在尝试解析s脚本不过我们不能寄希望于搜索引擎自己去克服困难,而要让搜索引擎跟踪爬行链接的工作尽一量简单容易。

    据我观察,虽然有的搜索引擎在技术上可以获得 JavaScript 脚本中包含的链接,甚至可以执行脚本并跟踪链接,但对一些权重比较低的网站,搜索引擎觉得没有必要,不会费那个劲,所以网站上的链接必须使用最简单标准的 HTML 链接,尤其是导航系统 用css做导航系统一样可以实现很多视觉效果。

    JavaScript 链接在 SEO 中也有特殊用途,那就是站长不希望被收录的页面 (比如没有排名意义的页面,重复内容页面等),不希望彻底权重的链接,可以使用 JavaScript脚本阻挡搜索引擎爬行。

    7、要求登录

    有些网站内容放在需要用户登录之后才能看到的会员区域,这部份内容搜索引擎无法看到,蜘蛛不能填写用户名、密码,也不会注册。

    8、强制使用 Cookies

    有些网站为了实现某种功能,如记住用户登录信息、跟踪用户访问路径等,强制用户使用 Cookies,用户浏览器如果没有启用 Cookies,页面 显示不正常.搜索引擎蜘蛛就相当于一个禁用了 Cookies 的浏览器,东莞网站设计强制使用Cookies只能造成搜索引擎蜘蛛无法正常访问。

以上【 建设网站如何避免蜘蛛陷阱 】的内容由佰达科技(http://www.zywzjs.com)为您提供,本文网址 : http://www.zywzjs.com/wangzhanjianshezhishi/733.html ,转载请注明出处!更多有关东莞网站建设,微信营销、电商平台建设、系统开发等互联网应用服务都可以联系我们。热线: 0755-23730058

相关新闻

东莞网站设计公司对于...

互联网时代,网站已经成为企业发展的必要组成部分,它的存在不仅...

日期:2018-04-01 浏览次数:106

做好企业网站设计提高...

怎样将网站的访问者转化为成交的顾客?这就涉及到提高用户转化率...

日期:2018-04-01 浏览次数:159

建设网站如何避免蜘蛛...

有一些东莞网站设计​技术对搜索引擎来说很不友好,不利于蜘蛛爬...

日期:2018-03-01 浏览次数:185

网站付费推广的方式有...

针对一些有一定资金支持的企业而言,想要最快获得一定的展现量和...

日期:2018-03-01 浏览次数:180

关于HTTP状态码含...

客户端应当继续发送请求的剩余部分,或者如果请求已经完成,忽略...

日期:2018-03-01 浏览次数:159

网站建设中关于搜索框...

在设计搜索边框的时候,尽可能的简约化,保证其简单易用的效果,...

日期:2018-02-02 浏览次数:246

东莞网站建设公司佰达...

企业网站想要被更多的人知道自己的品牌,那就必须要进行东莞网站...

日期:2018-02-02 浏览次数:207

东莞网站建设过程中如...

在如何使用好面包屑导航之前,先来了解一下这个词的来源吧。这个...

日期:2018-02-02 浏览次数:269

ʱʱƽ̨
ʱʱʼ
pk10
ʱʱʿ
ʱʱ淨