檢視 Robots 的原始碼

[[File:U=2461278494,2039004390&fm=15&gp=0.jpg|缩略图|300px|[https://image.baidu.com/search/detail?ct=503316480&z=0&ipn=d&word=robots&step_word=&hs=0&pn=101&spn=0&di=132450&pi=0&rn=1&tn=baiduimagedetail&is=0%2C0&istype=2&ie=utf-8&oe=utf-8&in=&cl=2&lm=-1&st=-1&cs=2461278494%2C2039004390&os=1775260851%2C1772158626&simid=0%2C0&adpicid=0&lpn=0&ln=1350&fr=&fmq=1584329606626_R&fm=result&ic=&s=undefined&hd=&latest=&copyright=&se=&sme=&tab=0&width=&height=&face=undefined&ist=&jit=&cg=&bdtype=15&oriquery=&objurl=http%3A%2F%2Fimg.jf258.com%2Fi%2F5a2014082966x1961104239b27.jpg&fromurl=ippr_z2C%24qAzdH3FAzdH3Fooo_z%26e3B3udcb_z%26e3Bv54AzdH3Fpw2AzdH3F65k5pf%25El%25bF%25bd%25Ec%25lB%25Am%25Em%25AC%25Ad%25E0%25b8%25lE%25Em%25lB%25Aa%25En%25b8%25lA%25El%25bD%25Ac%25Em%25bn%25A0%25Ec%25BC%25B0%25Em%25Bc%25An%25Em%25BB%25bc%25Em%25lc%25A9AzdH3F&gsm=66&rpstart=0&rpnum=0&islist=&querylist=&force=undefined 原圖鏈接][http://www.jf258.com/tag/robots鏂囦欢灞曠ず鍥惧強浣滅敤/ 图片来源]]]
'''robots'''：是一种协议，也叫robots.txt（统一小写）是一种存放于[[网站]][[根目录]]下的[[ASCII编码]]的[[文本文件]]，它通常告诉[[网络]][[搜索引擎]]的[[漫游器]]（又称[[网络蜘蛛]]），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。<ref>[http://tool.chinaz.com/robots/  robots文件生成],站长工具</ref>

robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用[[robots元数据]]（[[Metadata]]，又称[[元数据]]）。

robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的[[隐私]]。
==robots简介==
搜索引擎通过一种程序[[robot]]（又称[[spider]]），自动访问互联网上的网页并获取网页信息。

您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中[[声明]]该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。

robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。 因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。

Robots.txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。

注意Robots.txt是用字符串比较来确定是否获取[[URL]]，所以目录末尾有和没有斜杠“/”这两种表示是不同的URL，也不能用"Disallow: *.gif"这样的通配符。

其他的影响搜索引擎的行为的方法包括使用robots元数据：

<meta name="robots" content="noindex,nofollow" />

这个协议也不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个元数据，不索引这个页面，以及这个页面的链出页面。

robots.txt文件放在哪里? 

robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站时，首先会检查该网站中是否存在这个文件，如果[[机器人]]找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
==使用误区==
误区一：我的网站上的所有文件都需要蜘蛛抓取，那我就没必要在添加robots.txt文件了。反正如果该文件不存在，所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。

每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该做网站中添加一个robots.txt。

误区二：在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取，这样可以增加网站的收录率。

网站中的程序脚本、样式表等文件即使被蜘蛛收录，也不会增加网站的收录率，还只会浪费服务器资源。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引这些文件。

具体哪些文件需要排除， 在robots.txt使用技巧一文中有详细介绍。

误区三：搜索蜘蛛抓取网页太浪费服务器资源，在robots.txt文件设置所有的搜索蜘蛛都不能抓取全部的网页。

如果这样的话，会导致整个网站不能被搜索引擎收录。

==使用技巧==
1. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。<ref>[https://robots.51240.com/  robots.txt 生成器],便民查询网</ref>

2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录——保证服务器性能。比如：大多数网站服务器都有程序储存在“cgi-bin”目录下，因此在robots.txt文件中加入“Disallow: /cgi-bin”是个好主意，这样能够避免将所有程序文件被蜘蛛索引，可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。

3. 如果你的网站是动态网页，并且你为这些动态网页创建了静态副本，以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引，以保证这些网页不会被视为含重复内容。

4. robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样：

Sitemap: http://www.***.com/sitemap.xml

目前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司，显然不在这个圈子内。这样做的好处就是，站长不用到每个搜索引擎的[[站长工具]]或者相似的站长部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就会抓取robots.txt文件，读取其中的sitemap路径，接着抓取其中相链接的网页。

5. 合理使用robots.txt文件还能避免访问时出错。比如，不能让搜索者直接进入[[购物]]车页面。因为没有理由使购物车被收录，所以你可以在robots.txt文件里设置来阻止搜索者直接进入购物车页面。
==robots.txt语法实例==
用几个最常见的情况，直接举例说明：

1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。

2. 禁止所有SE收录网站的某些目录：

User-agent: *

Disallow: /目录名1/

Disallow: /目录名2/

Disallow: /目录名3/

3. 禁止某个SE收录本站，例如禁止百度：

User-agent: Baiduspider

Disallow: /

4. 禁止所有SE收录本站：

User-agent: *

Disallow: /

==视频==
<center>
{{#iDisplay:m0357iv8ygh|640|370|qq}}

<big>什么是robots协议？</big>

{{#iDisplay:m01990cv9po|640|370|qq}}

<big>2016网站优化seo0基础入门教程—robots协议（下）</big>
</center>
==参考资料==
{{Reflist}}
[[Category: 550 經濟學總論]]