it-swarm.cn

雅虎搜索现在和Bing搜索一样吗?

我们遇到了一些严重的问题 过去雅虎(令人难以置信)写得很糟糕的蜘蛛 ,结果我们阻止了它们。 Tumblr的Marco Arment也在2009年8月31日与我们分享了他的挫败感,这是我们阻止他们的一个因素。

自美国东部时间上午5:30左右以来,[雅虎蜘蛛一直在以每秒70-200的要求充斥我们。我从来没有见过这样的东西,即使是他们过去滥用我们的流氓“实验性”爬虫也是如此。 Robots.txt禁令是不够的:我必须在负载平衡器级别通过IP阻止它们。由于他们过去曾滥用Stack Overflow,我想你可能想知道。

看起来雅虎的网络搜索是“由Bing提供支持!”现在。这很好,因为我们从未遇到Bing的蜘蛛(又名MSNBOT)的问题。

那么,雅虎的搜索现在和Bing搜索一样,或者我们是否应该考虑潜在地解锁他们如果他们以某种方式克服一切困难,停止吸吮这么难?

25
Jeff Atwood

我认为没有理由解锁雅虎的搜索机器人。雅虎有两种方式可以使用Bing引擎。他们可以将它与自己集成,并在网络上设置一个混合爬虫,或者他们可以将查询发送到Bing引擎并吐出他们得到的结果。

从文件Joel链接到另一个文件 这里 。其中雅虎称:“在7月中旬,我们开始测试从Bing到雅虎的有机结果交付!”对我来说,这意味着雅虎没有与Bing引擎紧密集成。他们只是调用Bing Engine API。从雅虎引擎长期离开以来所需的工作的角度来看,这也是最有意义的。

这意味着,一旦100%的结果来自Bing引擎,我们就不会再看到Yahoo Bot抓取网页了。因此,没有理由解除阻止它。

10
Ben Hoffman

看来 他们刚刚开始在Yahoo!上推出Bing搜索结果大约25%的搜索,目标是在8月/ 9月完全切换。我敢打赌雅虎蜘蛛甚至不再运行了,如果是的话,那就不太相关了。

7
Joel Spolsky

我在星期一向雅虎提出了一个搜索查询 - 确认包括以下关于过渡到Bing的说明,你可能会发现它相关:

雅虎搜索很高兴能够进入雅虎的新阶段!和微软搜索联盟;对于美国和加拿大市场,微软算法结果的整合已接近完成。雅虎搜索目前正在测试新的集成,您可能会在搜索过程中发现不同的体验。在此测试中,一些基本搜索列表将使用Microsoft Web,图像和视频结果。您对Yahoo!所期望的所有增强功能搜索保留,我们将继续创新搜索体验的新改进。

由于这只是一个测试阶段,并非每次搜索都会产生不同的结果,而且变化可能并不明显。从一次搜索到下一次搜索,相同关键字的结果可能不同。由于排名和索引算法不同,搜索结果可能以不同的顺序出现。可能会包含之前未显示的搜索结果,您可能看不到之前包含的搜索结果。我们非常感谢您耐心等待我们彻底测试新结果。

再次感谢您与Yahoo!联系!搜索。

4
Gareth Williams
1
John Conde