网站优化
当前位置:主页 > 建站资讯 > 网站优化 >
如何正确写入robots.txt文件?
发布日期:2021-03-27 阅读次数: 字体大小:

当曾庆平SEO在上一篇文章中讨论robots.txt的概念时,他留下了一个问题:曾庆平SEO robots.txt为什么如此复杂?
曾庆平SEO robots.txt:http://www.* ** jianzhanlong.com / robots.txt这样做的目的是使网站对搜索引擎更具标准化和权威性。
1.使用robots.txt阻止相似的页面或没有内容的页面。

如何正确写入robots.txt文件?


我们知道搜索引擎收录网页之后,网页将被“审阅”。 当两个页面的相似度很高时,搜索引擎将删除其中之一。
如果以下两个链接的内容实际上相同,则应阻止第一个链接。https://www.jianzhanlong.com(建站龙) style="color:#a78e44;">tid=5167&;goto=lastpost#https://www.jianzhanlong.com(建站龙) 有很多联系。 阻止时,仅阻止/bbs/redirect.php? 阻止所有这些人。 诸如以下代码:disallow:/bbs/redirect.php?
此类无内容的页面也应被阻止:https://www.jianzhanlong.com(建站龙) style="color:#c32136;">index.php?sid=247304&lang=zh&action = writecomment&id = 77&artlang = zh有很多这样的链接。 阻止时,只需阻止/index.php?sid=即可阻止所有它们。
代码,例如:disallow:/index.php?sid=
2。 使用robots.txt阻止冗余链接。 当动态和静态并存时,通常删除动态。
通常会有多个链接指向网站上的同一页面。 当这种情况很普遍时,它将使搜索引擎怀疑该网站的权威。 通过robots.txt删除非主要链接。

如何正确写入robots.txt文件?


如果以下两个链接指向同一页面,请删除第二个链接。
https://www.jianzhanlong.com(建站龙) style="color:#2edfa3;">space.php?username=ZengQingpingseo
https://www.jianzhanlong.com(建站龙) style="color:#2edfa3;">space-uid-15.html
代码例如:disallow:/space.php?username=
特别要注意的是,主页上通常有几个链接:www.jianzhanlong.com/index.html等。目前,请勿阻止index.html。 因为index.htmlindex.php是默认主页,所以阻止可能会导致蜘蛛爬网混乱。我们需要做的是在建立指向首页的内部和外部链接时,使用不带index.html的https://www.jianzhanlong.com(建站龙) 这是URL标准化的概念。

如何正确写入robots.txt文件?


3.使用robots.txt阻止无效链接。
无效链接是最初存在的链接和网页,但后来由于修订或更新而被删除。 例如,某个目录下的所有链接(假设目录为/tempweb/),因为修订版现在是无效链接,您可以使用robots.txt进行阻止。
代码,例如:disallow:/tempweb/
4.使用robots.txt阻止可能的外部链接“ by K”。
许多网站都允许用户放置自己的网站链接,但是因为太多的“ K”外部链接可能会伤害自己。 因此,其中许多将所有外部链接放入链接目录,然后通过robots.txt统一阻止它们。
如果您对disallow:的具体操作方法不太清楚,则可以了解我早先从此处发布的robots文章
本文来自微信公众号:平哥seo优化(qingpingseo)原始链接:https://www.jianzhanlong.com(建站龙)

标签:微信公众号username哥SEO优化indexdisallowspacetempweb/robots文章tid=5167&amp