檢視 Robots 的原始碼

[[File:U=2461278494,2039004390&fm=15&gp=0.jpg|缩略图|300px|[https://image.baidu.com/search/detail?ct=503316480&z=0&ipn=d&word=robots&step_word=&hs=0&pn=101&spn=0&di=132450&pi=0&rn=1&tn=baiduimagedetail&is=0%2C0&istype=2&ie=utf-8&oe=utf-8&in=&cl=2&lm=-1&st=-1&cs=2461278494%2C2039004390&os=1775260851%2C1772158626&simid=0%2C0&adpicid=0&lpn=0&ln=1350&fr=&fmq=1584329606626_R&fm=result&ic=&s=undefined&hd=&latest=&copyright=&se=&sme=&tab=0&width=&height=&face=undefined&ist=&jit=&cg=&bdtype=15&oriquery=&objurl=http%3A%2F%2Fimg.jf258.com%2Fi%2F5a2014082966x1961104239b27.jpg&fromurl=ippr_z2C%24qAzdH3FAzdH3Fooo_z%26e3B3udcb_z%26e3Bv54AzdH3Fpw2AzdH3F65k5pf%25El%25bF%25bd%25Ec%25lB%25Am%25Em%25AC%25Ad%25E0%25b8%25lE%25Em%25lB%25Aa%25En%25b8%25lA%25El%25bD%25Ac%25Em%25bn%25A0%25Ec%25BC%25B0%25Em%25Bc%25An%25Em%25BB%25bc%25Em%25lc%25A9AzdH3F&gsm=66&rpstart=0&rpnum=0&islist=&querylist=&force=undefined 原圖鏈接][http://www.jf258.com/tag/robots鏂囦欢灞曠ず鍥惧強浣滅敤/ 图片来源]]]
'''robots'''：是一种协议，也叫robots.txt（统一小写）是一种存放于[[网站]][[根目录]]下的[[ASCII编码]]的[[文本文件]]，它通常告诉[[网络]][[搜索引擎]]的[[漫游器]]（又称[[网络蜘蛛]]），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。<ref>[http://tool.chinaz.com/robots/  robots文件生成],站长工具</ref>

robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用[[robots元数据]]（[[Metadata]]，又称[[元数据]]）。

robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的[[隐私]]。