引用：http://tech.huanqiu.com/internet/2012-08/3080369.html

robots文件允许了百度、Google、搜狗、搜搜等搜索抓取

HTTP Referer是header的一部分，当浏览器向网站服务器发送请求的时候，一般会带上Referer（访问来源），告诉服务器是从哪个页面链接过来，服务器籍此可获得信息用于处理