it-swarm.cn

可以在robots.txt中使用相对站点地图网址吗?

在robots.txt中,我可以为站点地图文件编写以下相对URL吗?

sitemap: /sitemap.ashx

或者我必须使用站点地图文件的完整(绝对)URL,例如:

sitemap: http://subdomain.domain.com/sitemap.ashx

为什么我想知道:

  • 我拥有一个新的博客服务www.domain.com,允许用户在accountname.domain.com上发布博客。
  • 我使用通配符,因此所有子域(帐户)都指向:“blog.domain.com”。

在blog.domain.com中,我放了robots.txt让搜索引擎找到站点地图。但是,由于通配符,所有用户帐户共享相同的robots.txt文件。这就是为什么我不能使用第二种方法。而目前我不能使用url重写txt文件。 (我想IIS的更高版本可以处理这个?)

175
Easyrider

根据官方 sitemaps.org上的文档 它需要是一个完整的URL:

您可以使用robots.txt文件指定站点地图的位置。为此,只需添加以下行,包括 完整的URL 到站点地图:

Sitemap: http://www.example.com/sitemap.xml
302
unor

Google抓取工具不够智能,无法抓取相对网址,这就是为什么始终建议使用绝对网址以获得更好的可抓取性和可索引性的原因。

因此,您无法使用此变体

> sitemap: /sitemap.xml

推荐的语法是

Sitemap: https://www.yourdomain.com/sitemap.xml

注意:

  • 别忘了将“sitemap”中的第一个字母大写
  • 不要忘记在“Sitemap:”之后放置空格
1
Deepak Mathur