#robots.txt

首先来看关于 robots.txt 的介绍。Z-Blog 2 相对于 1.8 变化很大，其中文件目录的变化相当大，原来的 robots.txt 已经不适用了。

搜索引擎都有自己的“机器人"（robots、bot），通常也叫做“蜘蛛"和“爬虫"（spider），并通过这些 robots 在网络上沿着网页上的链接（一般是http和src链接）不断抓取资料建立自己的数据库。