为什么在线客户是个死链接？如何屏蔽搜索引擎对其抓取

share79 · 发表于 2011-7-14 09:38:24

本帖最后由 share79 于 2011-7-14 14:14 编辑

用Xenu软件检测到在线客户是个死链接：msnim:chat?contact=*******@hotmail.com
如何在robots.txt里将其屏蔽抓取啊？

xqf · 发表于 2011-7-14 13:15:08

请粘上网站以便查看

share79 · 发表于 2011-7-14 14:10:13

请帮忙解决一下吧,网址是:www.forcewell.com

xqf · 发表于 2011-7-14 14:40:08

User-agent: *
Disallow: /死链接地址/
保存robots.txt 放在网站根目录试一下

share79 · 发表于 2011-7-14 15:31:37

谢谢，已保存