淘宝对百度蜘蛛说不,有史以来最勇敢的代码。

08-09-05

淘宝对百度蜘蛛说不,有史以来最勇敢的代码。

看看这个robots.txt,帅!

User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /

看着这四行代码,简直是一件艺术品,简直是有史以来最勇敢的代码。
除了淘宝,谁敢这么猛?
仔细想来,还真有一些。
淘宝屏蔽百度蜘蛛,原因之一就是百度要进军C2C,没什么比这种竞争更残酷,所以马云干了一件这么狠的“自残”事件。
不怕,淘宝已经家喻户晓,撇开电子商务这个含义来说,淘宝可以认为是全球最大的个人产品搜索引擎。

这件事我至少有两个思考:
1.淘宝屏蔽百度屏蔽的不是结果,而是屏蔽一个过程。因为淘宝现在的数据,百度想知道,只要是公开的数据,那是举手之劳,但是如果没有蜘蛛的连续性数据抓取,百度就无法知道淘宝走下去的过程,我们假设,百度抓取了淘宝的数据,连续分析两年,数据挖掘对比分析,这对计算机程序来说,不是什么难事,而淘宝的走线百度尽收眼底。这是多么可怕的事情。想到这里马兄不知道冒汗了没有。

2.互联网至少面临两个数据问题:数据鸿沟和数据灾难,前者是说网络世界和现实世界之间的巨大鸿沟。后者,互联网快速走入数据灾难,那么搜索引擎需要对一些数据说不,同时,也会有些数据需要对搜索引擎说不。因为搜索引擎的数据公开而引发的纷争,已经是司空见惯了。那么,当有一天,互联网世界已经和现实世界一定程度的契合,也就是说数据鸿沟变小或者不存在,神秘和新鲜感之后,将会有更多的人不喜欢她的博客过于公开或者他的数据只需要某些人群看到,她就足够快乐了。

会有一天我们明白,我们每个人不过是一组数据,而这些数据信息,可能不喜欢被打扰。

书生万户侯

那一天,我们指着太平洋说了一个愿望

统计

搜索

分类


最新评论

最新留言 [更多留言]

我要留言:

选择一个布景主题

杂项

北美中文网

引用这个博客系统 XML

北美中文网 版权所有 2004-2008 | 苏ICP备08004803号