刷关键词:twitter网址动荡不安实情!

众所周知，twitter在前段时间，PR值由9降到了0，并且众多页面不被谷歌Robot抓取，众人哗然！虽然现在已经恢复。但是这是怎么回事呢？独孤依风引用谷奥的内容为大家解密下twitter网站动荡真相！ 首先，Twitter PR及众多页面不被抓取是由自身技术引起的，跟谷歌的搜索机制没有关系。 导致twitter此次动荡的有五大技术问题： （1）robots设置问题 twitter在设置Robots时，针对带WWW和不带WWW设置了两个

　　大家都知道，twitter在前不久，PR值由9降至了0，而且诸多网页页面不被GoogleRobot爬取，许多人轰然！尽管如今早已修复。可是这是什么原因呢？独孤依风引入谷奥的內容为大伙儿破译下twitter网址动荡不安实情！

　　最先，TwitterPR及诸多网页页面不被爬取是由本身技术性造成的，跟Google的检索体制没有关系。

　　造成 twitter本次动荡不安的有五大技术性难题：

　　（1）robots设置问题

　　twitter在设定Robots时，对于带WWW和没有WWW设定了2个Robots规范。以下所显示：（A为没有www的Robots设定，B为带WWW的Robots设定）

　　A：Thefileattwitter.com/robots.txtlooksasfollows：

　　#GoogleSearchEngineRobot

　　User-agent:Googlebot

　　#Crawl-delay:10—Googlebotignorescrawl-delayftl

　　Allow:/*？*_escaped_fragment_

　　Disallow:/*？

　　Disallow:/*/with_friends

　　#Yahoo!SearchEngineRobot

　　User-Agent:Slurp

　　Crawl-delay:1

　　Disallow:/*?

　　Disallow:/*/with_friends

　　#MicrosoftSearchEngineRobot

　　User-Agent:msnbot

　　Disallow:/*?

　　Disallow:/*/with_friends

　　#Everybotthatmightpossiblyreadandrespectthisfile.

　　User-agent:*

　　Disallow:/*?

　　Disallow:/*/with_friends

　　Disallow:/oauth

　　Disallow:/1/oauth

　　B：thefileatwww.twitter.com/robots.txtfilelooksasfollows：

　　User-agent:*

　　Disallow:/

　　twitter对于带www和没有www设定了2个不一样的Robots规范，那样就可以看得出：

　　1、对于带WWW和没有WWW的网址，百度搜索引擎依照Robots规范，回到的百度搜索不同样，另外都不标准。

　　2、twitter在阻拦百度搜索引擎爬取带WWW的网站地址。

　　3、根据封禁带www的网址，即便将其301跳转到没有www的网址，那也是徒劳！

　　4、因为带www和没有www的都是有外链，可是带www的阻拦百度搜索引擎爬取，那麼针对提高twitter网址总体权重值而言，该外链的使用价值并沒有获得合理运用！

　　（2）302跳转难题

　　twitter.com/vanessafox应用了302跳转到twitter.com/＃!/vanessafox。大家都知道，302跳转为短暂性迁移，会爬取新內容而储存旧网站地址，而且原先的连接不容易所有迁移！

　　（3）沒有遵循谷歌AJAX爬取规范

　　Twitter的网站地址是AJAX和应用＃!，告知Google从服务器获得_escaped_fragment_版本号的URL。因为沒有应用301跳转，造成 失去许多 有关URL网页页面，沒有将AJAX和跳转非常好地融合起來。

　　（4）速度限定

　　在HTTP标头能够看到速度限定。

　　HTTP/1.1200OKDate:Mon,18Jul201120:48:44GMTServer:hiStatus:200OKX-Transaction:1311022124-32783-45463X-RateLimit-Limit:1000

　　（5）网站地址不标准

　　twitter.com/VanessaFox显示信息百度搜索，是twitter.com/vanessafox。这两个URL造成 了同一个地区。它是导致又一次的PageRank稀释液，反复，和规范性难题。这儿最好是的方法是世界多极化的网站地址一个转变（非常简单的方式是挑选所有小写字母），随后301跳转全部转变。此外，Twitter的能够简易地加上的rel=标准特性特定标准版本号的所有网站。

　　从之上能够看得出，Twitter是有不便的robots.txt，HTTP情况编码和URL规范性。它是许多 商业网站遭遇的难题。对于GooglePR菜单栏是不是更新，那就是Google的难题。

　　从Twitter技术性系统漏洞能够劝诫诸位网站站长：

　　（1）设定Robots一定要统一，集中化权重值，防止失踪。（2）302跳转沒有301跳转好（3）务必遵循谷歌AJAX爬取规范（4）不要在HTTP标头限定速度（5）网站地址要标准，统一，不可以夹杂在一起随便滥用！

　　

转载请注明: 爱推站 » 刷关键词:twitter网址动荡不安实情!