1. 首页
  2. SEO优化教程
  3. SEO优化理论
  4. 百度seo排名点击器:spider会依据第一个配对取得成功的Allow或Disal!

百度seo排名点击器:spider会依据第一个配对取得成功的Allow或Disal!

在对 robots.txt 文件设置记录时,要特别注意 Disallow 与 Allow 行的顺序是有意义的,spider 会根据第一个匹配成功的 Allow 或 Disallow 行确定是否访问某个URL。 举例说明: 允许 spider 访问 /cgi-bin/ 目录下的包含 see 的文件夹或URL User-agent: * Allow: /cgi-bin/see Disallow: /cgi-bin/ 如果Allow 和 D

  在对robots.txt文件设定纪录时,要需注意Disallow与Allow行的次序是更有意义的,spider会依据第一个配对取得成功的Allow或Disallow行明确是不是浏览某一URL。

  举例子:

  容许spider浏览/cgi-bin/文件目录下的包括see的文件夹名称或URL

  User-agent:*

  Allow:/cgi-bin/see

  Disallow:/cgi-bin/

  假如Allow和Disallow的次序替换一下:

  User-agent:*

  Disallow:/cgi-bin/

  Allow:/cgi-bin/see

  spider就无法打开到/cgi-bin/文件目录下的包括see的文件夹名称或URL,由于第一个Disallow:/cgi-bin/早已配对取得成功。

  有关Disallow和Allow纪录书写

  Disallow和Allow纪录后边能够 是一条详细的途径,还可以是途径的非前所未有缀。比如“Disallow:/help”严禁spider浏览/help.html、/helpabc.html、/help/index.html;而“Disallow:/help/”则容许spider浏览/help.html、/helpabc.html,不可以浏览/help/index.html。

 

转载请注明: 爱推站 » 百度seo排名点击器:spider会依据第一个配对取得成功的Allow或Disal!

相关文章

评论列表(0)

发表评论