robots.txt对网站SEO优化有哪些作用?
  • 来源:壹鼎诚网络www.ydcnet.cn
  • 时间:2018-09-04 09:04:51
  • 点击率:
Robots.txt,也称为机器人排除,是阻止搜索引擎机器人抓取您网站受限区域的关键。详情请阅读以下内容!

您可能希望阻止搜索引擎蜘蛛索引私有照片、过期特价信息或其他您尚未准备好供用户访问的页面。阻止页面蜘蛛索引也可以帮助您的网站SEO优化排名。Robots.txt还可以解决重复内容的问题(但是可能还有更好的方法来实现这一点,我们将在后面讨论)。当搜索引擎蜘蛛开始抓取网站页面时,他们首先检查是否存在robots.txt文件,以方便他们过滤某些页面。
搜索引擎蜘蛛概念图
我什么时候应该使用Robots.txt文件?
如果您不希望搜索引擎为某些页面或内容编制索引,则只需使用robots.txt文件。如果您希望搜索引擎(如Google,baidu)访问整个网站并为其编制索引,则不需要robots.txt文件(在某些情况下,站长们也会使用robots.txt将用户指向网站地图)。

但是,如果其他网站链接回您的网站上被robots.txt屏蔽的网页,则搜索引擎仍可能会对网址编制索引,并且这些网址可能会显示在搜索结果中。要防止这种情况发生,请使用x-robots-tag,noindex元标记或rel规范到相应的页面。

如何创建Robots.txt文件?

如果你想设置一个robots.txt文件,那么这个过程实际上很简单,涉及两个元素:“user-agent”,它是以下URL块适用的搜索引擎蜘蛛机器人,“disallow”,这是您要阻止的网址。这两行被视为文件中的单个条目,这意味着您可以在一个robots.txt文件中包含多个条目。
SEO与robots.txt
对于用户网站的需求,站长们可以列出特定的搜索引擎蜘蛛机器人(例如Googlebot 、baidubot),也可以使用星号将URL块应用于所有搜索引擎站长机器人。

用户设置: *

条目中的第二行(禁止)列出要阻止的特定页面。要阻止整个站点,请使用正斜杠。对于所有其他条目,请先使用正斜杠,然后列出页面,目录,图像或文件类型。请参阅以下示例:

禁止:/阻止整个网站。

禁止:/ bad-directory /阻止目录及其所有内容。

禁止:/sekeys.html阻止页面。

在创建用户设置并禁止选择之后,您的一个条目可能如下所示:

用户设置:*
不允许:/ bad-directory /

通过将文件复制到文本文件或记事本中并保存为“robots.txt”来保存文件。请务必将文件保存到站点的最高级目录,并确保它位于根域中,其名称与“robots.txt”完全匹配。

我怎么知道robots.txt有效?
在站长工具中测试您网站的robots.txt文件,以确保搜索引擎机器人抓取您想要的网站部分并远离您已阻止的区域。
  • 上一篇:网页平面设计应该专注于排版、色彩
  • 下一篇:2018年最具优势的7个Web开发框架
  • 
    客服QQ: 点击这里
    地址:南京市鼓楼区幕府西路33号金域中央街区(三期)1241室 客服QQ:1065184058
    Copyright © 2011-2018 www.ydcnet.cn 南京壹鼎诚网络科技有限公司 版权所有
    苏ICP备 16048045号-2

    苏公网安备 32010602010350号

    13921448511

    服务时间:7×10小时