用robots协议可以屏蔽搜索引擎的抓取和展现：比如要屏蔽aaa目录那么robots就可以这么写Disallow: /aaa/这样搜索引擎就不会抓取了
通过robot网络爬虫抓取，编写robot口令即可
