不友好的网站结构-蜘蛛陷阱

xyit · 发表于 2020-11-10 19:09:51

一些网站设计技术对搜索引擎说很不友好，不利于蜘蛛爬行和抓取，这些技术被称为蜘蛛陷阱。

　　常见的蜘蛛陷阱分为以下的几种：

　　常见一：JavaScript链接

　　示例：

　　常见二：在网页里穿插FLASH

　　示例： flashObject('index.swf')

　　常见三：Sesssion ID

　　示例：

　　百度推广官方网站

　　http://fengchao.baidu.com/nirvana/main.html? userid=2473126#/manage/plan~_r=iwqk6gnq1y

　　http://fengchao.baidu.com/nirvana/main.html? userid=2473126#/manage/plan~_r=3br2o0us12

　　其中，红色字体为Sesssion ID值

　　常见四：框架结构（iframe）

　　示例：百度MP3音乐盒

　　/* NOTE: remove when alb release

　　 *#girliframe{width:340px; height:500px;border:0;} **/

　　红色代码为百度音乐盒调用框架结构

　　常见五：动态RUL、参数过多RUL

　　示例： http://list.tmall.com/search_pro ... -qp&style=g&sort=s& q=%BF%C6%B1%A6&n=40&s=0&cat=50030199&is=cate#J_crumbs

　　此URL中，动态参数过多，不利于搜索引擎蜘蛛抓取

　　常见六：社区等需要登陆的页面

　　蜘蛛和人一样如果需要访问一些没有权限的页面的话，一样需要登陆进去，但是蜘蛛不会和人一样申请账号来登陆，所以抓取不到没有权限的页面。

　　在做SEO的时候尽量避免以上的一些不利于搜索引擎抓取的代码及结构，让搜索引擎更容易的看懂你的网站！

眯眯色眼 · 发表于 2021-4-8 13:07:26

过来看看

叶夜静听 · 发表于 2021-4-8 16:09:35

游戏开发者论坛

Geecky · 发表于 2021-4-9 00:05:30

终于找到了好资料

闲云 · 发表于 2021-4-9 05:00:54

php教程

fdd · 发表于 2021-4-11 11:46:29

python入门

账号		自动登录	找回密码
密码			注册会员

不友好的网站结构-蜘蛛陷阱

本帖子中包含更多资源

相关帖子