1. 首页
  2. SEO优化教程
  3. SEO优化理论
  4. 杭州seo培训:解读SEO中旧瓶装新酒的robots.txt!

杭州seo培训:解读SEO中旧瓶装新酒的robots.txt!

我们知道,搜索引擎都有自己的“搜索机器人”(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库。作为站长为了避免部分网页被索引导致的权重流失,我们提供了robots来很好的解决这个困扰,做到了“旧瓶装新酒”,让你的站在搜索引擎中有良好的表现。 我们来看宜昌SEO的robots.txt :www.seo86.net/rob

我们知道,搜索引擎都有自己的“搜索机器人”(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库。作为站长为了避免部分网页被索引导致的权重流失,我们提供了robots来很好的解决这个困扰,做到了“旧瓶装新酒”,让你的站在搜索引擎中有良好的表现。

我们来看宜昌SEO的robots.txt :www.seo86.net/robots.txt,这样做的目的是让搜索引擎觉得我们的网站更规范权威。接下来我们说一下robots权重方面的“旧瓶装新酒”

旧瓶装新酒一:用robots屏蔽内容相似或没有内容的页面

我们知道搜索搜索引擎收录后有一个判断审核的过程,当出现相似度高的页面会删除其中的一个,那么robots会帮到这个忙。比如我http://www.***.net/wangluo/?p=321和http://www.***.net/123内容差不多,那么我们可以把第一个屏蔽掉。屏蔽代码:Disallow:/wangluo/?p=

这样子就可以很好的减少重复页面,对搜索引擎留下良好的影响。

旧瓶装新酒二:用robots.txt屏蔽掉多余的链接,当我们出现动态、静态同是都可以访问的情况,我们可以去掉动态的。

我们,发现很多网站会有多个链接指向同一个页面,这中现象的普片存在,会让搜索引擎对网站的权威性产生疑问,可以通过robots把不重要的链接去掉

比如:www.***.net/?P=123和www.***.net/123,那么我们可以用Disallow:/?p=屏蔽掉

旧瓶装新酒三:铲除死链接

死链接就是原来存在,后来因为改版或者更新的原因删除了链接和网页

比如原来某个目录(假设是/tempweb/)下面的所有链接,因为改版的原因这个目录下面的变成了死链接,那么可以这样子来屏蔽他。代码为:Disallow:/tempweb/

旧瓶装新酒四:被k的链接处理

我们做网站优化的知道,很多关键字排名下降的问题,很可能是被k的外部链接导致的,所以我们可以把所有的外部链接统一放在一个链接目录下面,然后用robots统一屏蔽,比如http://www.***.net/sns/web-link这个上面的所有链接都http://www.***.net/sns/link.php?下面我们采取的屏蔽代码Disallow:/link.php?

转载请注明: 爱推站 » 杭州seo培训:解读SEO中旧瓶装新酒的robots.txt!

相关文章

评论列表(0)

发表评论