一些网站的结构不利于蜘蛛爬行,并且搜索引擎特别不友好,并且不能允许蜘蛛爬行和更好地爬行。 我们称其为蜘蛛陷阱。
常见的蜘蛛陷阱分为以下几类:
常见的一个:JavaScript链接
示例:
常见的两个:散布在网页中flash
常见三:会话ID
常见四:帧结构(iframe)
示例:百度mp3音乐盒
红色代码是百度音乐盒调用框架结构
常见的五个:动态rul,RUL
此参数过多 其中,动态参数太多,不利于搜索引擎蜘蛛爬行
常见的六个:社区和其他需要登录的页面
蜘蛛与人相同。 如果您需要未经许可访问某些页面,则也需要登录,但它不会像一个人那样申请一个帐户登录,因此,未经许可您将无法抓取页面。
进行seo时要避免上述陷阱,以使搜索引擎更容易理解您的网站!