it-swarm.cn

如果我不想设置任何特殊行为,如果我不打算使用robots.txt文件,是否可以?

如果我不想设置任何特殊行为,如果我不打算使用robots.txt文件,是否可以?

或者缺少一个是有害的?

29
Dan Dumitru

缺少robots.txt文件不会有害。来自 robotstxt.org网站

允许所有机器人完全访问

用户代理: *
不允许:

(或者只是创建一个空的“/robots.txt”文件,或者根本不使用它)

但是,即使您没有在robots.txt文件中指定任何内容,也是一种很好的方式 通知搜索引擎您的XML站点地图的位置 。您可以通过在robots.txt文件顶部添加一行看起来像这样的行:

网站地图: http://www.example.com/sitemap-Host1.xml

您还应该知道,没有它会在您的Web日志中创建大量404条目。

30
JasonBirch

如果你没有“robots.txt”,你的错误日志会在文件上获得大量的404,这可能是一种烦恼,类似于你没有一个favicon。

21
delete

我认为它会没关系,否则网络蜘蛛无法索引大量的网络。

没有robots.txt与“允许每个人索引”robots.txt几乎相同。

6
Jeff Atwood

缺少robots.txt文件会让爬行器决定它能做什么和不能做什么。由于避免任何歧义只需几秒钟,为什么不只是让一个允许所有代理访问所有代理?

2
Tim Post

好吧,因为robots.txt包含你的 站点地图 的地址,所以没有一个可能有害。

0
Thomas Bonini

根据您的内容,只要您想让搜索引擎将您网站上的每个网页编入索引,就不会出现没有机器人文件的问题。

0
seanl