研究过SEO的应该都知道"noarchive", "noindex", "nofollow", 和 "nosnippet" 等Meta标签,这写标签被广泛用于Google, 百度, Yahoo和Bing等搜索引擎. 当搜索引擎的蜘蛛爬行网站页面时爬行到这样的标签就会作出相应的回应, 例如不进行快照, 不索引, 不跟踪等.

但是, 这些Meta只有在页面上才显示, 也就是说, 这些META只能添加在页面的HEAD之中, 因为只有页面才有head段, 但是, 如果我们的网站链接的内容只是TXT, 或者图片, 或者其他的Flash等等. 这些内容Robot爬行时将不会爬行到任何的HEAD信息, 因为这些内容不在网页之内, 所以我们没有办法通过普通的添加Meta的方法来控制蜘蛛如何爬行这些内容.

在没有任何限制的情况下搜索引擎会按照默认的方式处理蜘蛛爬行回来的信息, 也许一个简单的TXT文本会出现咋搜索引擎的搜索页面上, 尽管内容与你的网站没有任何关联, 这对与网站的SEO非常不利.

其实我们可以同过另外一种方式来完成搜索引擎优化的任务, 就是在Http headers响应的信息上添加X-Robots-Tag来显示"noarchive", "noindex", "nofollow", 和 "nosnippet" 等标签. "Http headers response"是没有办法直接在浏览器上看到的内容, 里面的信息包括响应码, 平时看到的404就是其中一个, 缓存时间, 最后修改时间等等平时我们看不到的内容.

查看Headers响应码和信息我们可以通过插件或者是类似Chrome等浏览器的开发者工具查看即可, 例如我们用Chrome来查看Ei2U的网站Headers信息就会出现如图所示:

我们可以通过编辑".htaccess"文件来达到我们的目的, ".htaccess"文件是访问空间任何内容前排第一位的文件, 我们可以通过它为我们需要的内容加上一条特别的SEO标签, "X-Robots-Tag".

如果我们要为html结尾的页面添加"noarchive", 我们可以在".htaccess"中加入下面的代码:

<Files ~ "\.html$">
Header append X-Robots-Tag "noarchive"
</Files>

为gif, jpg或者jpeg, png的图片添加"noindex", 可以加入下面代码:

<Files ~ "\.(gif|jp[eg]|png)$">
Header append X-Robots-Tag "noindex"
</Files>

如果网站的Feeds出现在了搜索结果上, 我们同样可以添加"X-Robots-Tag"来让其消失:

<Directory /feed/>
Header append X-Robots-Tag "noindex,follow"
</Directory>

同样的, "nofollow"等标签我们可以根据自己的需要为自己想要的任何后缀的内容添加这个标签, 需要注意的是, 百度对页面上使用"noindex"部分网站页面有不爬行更新内容的想象, 这个标签可考虑只加在图片或者其他流媒体上.