最近，发现yahoo的机器人频繁搜索论坛，严重时甚至将论坛拖跨。由于yahoo的搜索机制有点问题，它不能自动识别对某一网站的抓取频率，所以会导致被搜索网站产生影响。搜索是一件好事，但是有时也会带来意想不到的麻烦。

　　解决的办法，在网站根目录下，建一个robots.txt文件，包含以下内容：

　　（前两行的含义是让所有的机器人都可搜索整个网站，后三行的意思是单独限制yahoo搜索bbs目录，这个目录可以根据需要修改。Slurp是雅虎机器人。）

User-Agent: *
Allow: /

User-Agent: Slurp
Disallow: /bbs/
Allow: /