robots.txt文件Disallow取Allow止的次第是故意义的
正在对 robots.txt 文件设置记载时,要出格留意 Disallow 取 Allow 止的次第是故意义的,spider 会按照第一个婚配胜利的 Allow 或 Disallow 止肯定能否会见某个URL。
举例阐明:
许可 spider 会见 /cgi-bin/ 目次下的包罗 see 的文件夹或URL
User-agent: *
Allow: /cgi-bin/see
Disallow: /cgi-bin/
假如Allow 战 Disallow 的次第互换一下:
User-agent: *
Disallow: /cgi-bin/
Allow: /cgi-bin/see
spider 便没法会见到 /cgi-bin/ 目次下的包罗 see 的文件夹或URL,果为第一个 Disallow: /cgi-bin/ 曾经婚配胜利。
闭于 Disallow 战 Allow 记载写法
Disallow 战 Allow 记载前面能够是一条完好的途径,也能够是途径的非空前缀。比方 “Disallow: /help” 制止 spider 会见/help.html、/helpabc.html、/help/index.html;而 “Disallow:/help/” 则许可 spider 会见 /help.html、/helpabc.html,不克不及会见 /help/index.html。
文章滥觞:Bruce 只行片语
注:相干网站建立本领浏览请移步到建站教程频讲。
相关信息
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|