#搜索引擎

Sitemap是一个xml格式的文件，提供url方便搜索引擎抓取网站的网页，是SEO（搜索引擎优化）的基础工作。最近在优化公司的英文网站，这里收集整理了一些搜索引擎的sitemap提交地址。1、腾讯搜搜： 搜搜开放平台提供了提交sitemap的功能。

今天分析研究了两个网站的 Apache 日志，分析日志虽然很无聊，但却是很有意义的事情，比如跟踪 SPAM 的 User Agent。顺便整理出一些搜索引擎爬虫的 User Agent，在这里分享一下，也欢迎补充。

搜索引擎都有自己的“机器人"（robots、bot），通常也叫做“蜘蛛"和“爬虫"（spider），并通过这些 robots 在网络上沿着网页上的链接（一般是http和src链接）不断抓取资料建立自己的数据库。