淘宝的robots.txt文件为什么经常变
网络视角 | | 2010.01.25
最近留意到淘宝网的robots.txt文件,两三天变一次,比较奇怪,前几天还是允许百度抓取的,今天就又变样了,今天先截个图,之后几天再看看.
http://www.taobao.com/robots.txt
不管淘宝的robots文件如何写,叶松推测百度方面是做了人工审核,site下淘宝的顶级域名,未有收录产品页面,论坛和会员页面有收录,但仔细看下还是有过滤不严格的,比如淘宝的看图购就收录了很多,是产品列表页和产品页,如下图
虽然被收录到产品页,但标题单一,我们再点击开来,看下这个产品,然后用这个产品标题重新在百度搜索下,却搜索不到,看来百度是对淘宝做了双重保险,呵呵,以上都是叶松猜测.
