14,616
次編輯
變更
無編輯摘要
[[File:U=2461278494,2039004390&fm=15&gp=0.jpg|缩略图|300px|[https://image.baidu.com/search/detail?ct=503316480&z=0&ipn=d&word=robots&step_word=&hs=0&pn=101&spn=0&di=132450&pi=0&rn=1&tn=baiduimagedetail&is=0%2C0&istype=2&ie=utf-8&oe=utf-8&in=&cl=2&lm=-1&st=-1&cs=2461278494%2C2039004390&os=1775260851%2C1772158626&simid=0%2C0&adpicid=0&lpn=0&ln=1350&fr=&fmq=1584329606626_R&fm=result&ic=&s=undefined&hd=&latest=©right=&se=&sme=&tab=0&width=&height=&face=undefined&ist=&jit=&cg=&bdtype=15&oriquery=&objurl=http%3A%2F%2Fimg.jf258.com%2Fi%2F5a2014082966x1961104239b27.jpg&fromurl=ippr_z2C%24qAzdH3FAzdH3Fooo_z%26e3B3udcb_z%26e3Bv54AzdH3Fpw2AzdH3F65k5pf%25El%25bF%25bd%25Ec%25lB%25Am%25Em%25AC%25Ad%25E0%25b8%25lE%25Em%25lB%25Aa%25En%25b8%25lA%25El%25bD%25Ac%25Em%25bn%25A0%25Ec%25BC%25B0%25Em%25Bc%25An%25Em%25BB%25bc%25Em%25lc%25A9AzdH3F&gsm=66&rpstart=0&rpnum=0&islist=&querylist=&force=undefined 原圖鏈接][http://www.jf258.com/tag/robots鏂囦欢灞曠ず鍥惧強浣滅敤/ 图片来源]]]
'''robots '''：是一种 协议 ， 也叫robots.txt（统一小写）是一种存放于 [[ 网站 ]][[ 根目录 ]] 下 的ASCII 的[[ASCII 编码 ]] 的 [[ 文本文件 ]] ，它通常告诉 [[ 网络 ]][[ 搜索引擎 ]] 的 [[ 漫游器 ]] （又称 [[ 网络蜘蛛 ]] ），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。<ref>[http://tool.chinaz.com/robots/ robots文件生成],站长工具</ref>
robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使 用robots 用[[robots 元数据 （Metadata ]]（[[Metadata]] ，又称 [[ 元数据 ]] ）。 robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的 [[ 隐私 ]] 。
==robots简介==
搜索引擎通过一种程 序robot 序[[robot]] （又 称spider 称[[spider]] ），自动访问互联网上的网页并获取网页信息。
您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中 [[ 声明 ]] 该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。 因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。
Robots.txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。 注意Robots.txt是用字符串比较来确定是否获 取URL 取[[URL]] ，所以目录末尾有和没有斜杠“/”这两种表示是不同的URL，也不能用"Disallow: *.gif"这样的通配符。
其他的影响搜索引擎的行为的方法包括使用robots元数据：
<meta name="robots" content="noindex,nofollow" />
这个协议也不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个元数据，不索引这个页面，以及这个页面的链出页面。
robots.txt文件放在哪里?
robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站时，首先会检查该网站中是否存在这个文件，如果 [[ 机器人 ]] 找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
==使用误区==
误区一：我的网站上的所有文件都需要蜘蛛抓取，那我就没必要在添加robots.txt文件了。反正如果该文件不存在，所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。
==使用技巧==
1. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。<ref>[https://robots.51240.com/ robots.txt 生成器],便民查询网</ref>
2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录——保证服务器性能。比如：大多数网站服务器都有程序储存在“cgi-bin”目录下，因此在robots.txt文件中加入“Disallow: /cgi-bin”是个好主意，这样能够避免将所有程序文件被蜘蛛索引，可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
Sitemap: http://www.***.com/sitemap.xml
目前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司，显然不在这个圈子内。这样做的好处就是，站长不用到每个搜索引擎的 [[ 站长工具 ]] 或者相似的站长部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就会抓取robots.txt文件，读取其中的sitemap路径，接着抓取其中相链接的网页。
5. 合理使用robots.txt文件还能避免访问时出错。比如，不能让搜索者直接进入 [[ 购物 ]] 车页面。因为没有理由使购物车被收录，所以你可以在robots.txt文件里设置来阻止搜索者直接进入购物车页面。
==robots.txt语法实例==
用几个最常见的情况，直接举例说明：
Disallow: /
==视频==
<center>