一般都是屏蔽蜘蛛抓取 Disallow:/*/trackback trackback的链接 Disallow:/feed
时间：2016-09-28 02:09:13
作者：采集侠
来源：网络整理
robots文件存在于网站根目录，是用来告诉百度蜘蛛那些应该抓取，那些不应该抓
比如，会自动301跳转到长连接 例如，原因是把英文的冒号写成了中文的冒号。
上图我给的一个例子中，并且在robots.txt文件中指定即可 这里给大家共享下我的robots.txt文件 User-agent: * Disallow:/wp-admin/ Disallow: /*/comment-page-* Disallow: /*?replytocom* Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /category/*/page/ Disallow: /*/trackback Disallow: /feed Disallow: /*/feed Disallow: /comments/feed Disallow: /?s=* Disallow: /*/?s=*\ Disallow: /attachment/ Disallow: /tag/*/page/ ，或查看您网站robots.txt文件在百度生效的情况，一般默认设置 Disallow:/category/*/page/ 分类目录下面翻页后的链接， 在robots.txt文件的最后还可以制定sitemap文件 Sitemap:***.com/sitemap.txt sitemap地址指令。
将上述代码保存到txt文件，?男┮趁娌豢梢员蛔ト
