搜索引擎都有自己的“搜索机器人”（ROBOTS），并通过这些ROBOTS在网络上沿着网页上的链接（一般是http和src链接）不断抓取资料建立自己的数据库。
对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots.txt，另一个是TheRobotsMETA标签。
注意：robots.txt写法是否正确对搜索引擎抓取网站至关重要，我们尽量按照标准的格式写语句，否则出现的错误可能会导致搜索引擎不能正常爬行站点；我们可以通过google sitemap中的robots.txt检测工具来检查网站上是否存在robots.txt文件以及该文件写法是否正确
一、robots.txt
1、什么是robots.txt？
搜索引擎已经成为网络的主要入口之一。因而让自己的网站在搜索引擎中获得更高的排名便成为了一件重要的事情。相关的搜索引擎优化（SEO）的文章有很多，想了解的同学可以自己search一下。这里只根据本站的实际情况作一点总结。
本站从2009年8月8日开始正式启用，半个月来保持平均每日一篇文章的更新频率。之前并未做站点收录相关的工作，只是在一个论坛上发帖，签名带上本站链接。今天(2009年8月21日)用站名在国内各大搜索引擎搜了一遍，结果如下：
永久链接，又叫固定链接，英文叫Permalink。
用WordPress建站的同学都知道修改永久链接格式是建站后必做的一件事。而且是越早确定永久链接格式越好。建站一段时间后修改永久链接有两个不好的地方：1、文章内容已经被搜索引擎收录，新的网址可能被作为重复内容而不被收录。2、搜索引擎原来收录的网址变成不可访问，变成死链接。当然第2条可以通过一些办法来解决。
为何要使用永久链接？目的在于链接优化。链接优化主要是为了搜索引擎优化（Search Engine Optimization，简称SEO），即让搜索引擎更容易搜到文章且排在尽量靠前的位置。当然链接还是给人看的，所以最好能便于理解和记忆。
概括一下，链接优化便有了以下原则： 阅读全文…
近期评论