it-swarm.cn

防止在谷歌搜索结果中出现某些目录/页面

我有我的个人主页,我希望主页本身出现在搜索结果中。但我不希望某个目录及其子目录出现在谷歌搜索结果中。我该怎么做呢?

3
George Scaria

您可以使用几种机制来执行此操作。

第一个是 robots.txt 文件。这是一个由谷歌自愿跟随“好”搜索引擎的协议,并允许您列出他们不会遵循的网站部分。

用户代理: *
Disallow:/ myfolder /

接下来是元标记。可以使用元数据标记单个页面,这些元数据告诉机器人不要索引或显示它们。谷歌有一个 关于如何实现这些的好文章

<meta name="robots" content="noindex,nofollow">

如果页面已被索引,则最终机制是使用搜索引擎的删除机制(如果存在)。我已经链接到Google,Bing和Yahoo的删除机制的文档:

3
JasonBirch

禁止搜索机器人进入以下位置:

http://www.robotstxt.org/robotstxt.html

谷歌描述程序 相当不错 ,给出的例子:

User-agent: *
Disallow: /folder1/

这不允许所有机器人索引“/ folder1 /”的内容

0
akira

在主文件夹中使用robots.txt文件并将其设置为:

User-agent: *
Allow: /

在您不希望任何人访问的文件夹中,将robots.txt文件与此正文放在一起:

User-agent: *
Disallow: /

Checkout http://www.robotstxt.org/ 有关robot.txt文件的更多信息。

0
Ben Hoffman