常州seo:表达屏蔽掉全部的搜索引擎蜘蛛

Robots文件是网站和蜘蛛程序之间的“君子协议”——robots文件不仅仅可以节省网站的资源，还可以帮助蜘蛛更加有效的抓取网，从而提高排名。 1：只允许谷歌bot 如果要拦截除谷歌bot之外的所有爬虫： User-agent:* disallow:/ Uer-agent:允许的蜘蛛名 Disallow: 2：“/folder/”和“/folder&rd

　　Robots文件是网址和蜘蛛程序中间的“君子协议”——robots文件不仅能够节约网址的資源，还能够协助搜索引擎蜘蛛更为合理的爬取网，进而提升排行。

　　1：只容许Googlebot

　　假如要阻拦除Googlebot以外的全部网络爬虫：

　　User-agent:*

　　disallow:/

　　Uer-agent:容许的搜索引擎蜘蛛名

　　Disallow:

　　2：“/folder/”和“/folder”的差别

　　举个事例：

　　User-agent:*

　　Disallow:/folder/

　　Disallow:/folder

　　“Disallow:folder/”表达阻拦的是一个文件目录，该文件目录文档下的全部文档不允许被爬取，可是容许爬取folder.hlml。

　　“Disallow:/folder”：对/folder/下的全部文档和folder.html都不可以被爬取。

　　3：“*”配对随意空格符

　　User-agent:*

　　表达屏蔽掉全部的搜索引擎蜘蛛。在我们干了伪静态解决以后，会另外又动态网站和静态页面，网页页面一模一样，视作镜态网页页面，因此我们要屏蔽动态性的网页页面，可以用*号来屏蔽掉动态性的网页页面

　　User-agent:*

　　Disallow:/?*?/

　　4：$配对网站地址完毕

　　假如要阻拦以某一字符串数组完毕的网站地址，就可以应用$，比如，要阻拦以.asp完毕的网站地址：

　　User-agent:*

　　Disallow:/*.asp$

　　还可以开启较为出色的网址，看她们的robots文件是怎样撰写的，随后依据自身的要求开展相对的改动。Robots文件能够让搜索引擎蜘蛛把大量的時间花在要爬取的內容上，因此提升robots文件是很必须的。

　

转载请注明: 爱推站 » 常州seo:表达屏蔽掉全部的搜索引擎蜘蛛