it-swarm.cn

Splunk的替代品?

Splunk 给我留下了深刻的印象,尤其是版本4。漂亮的图形,警报(仅企业版)以及快速,准确的搜索功能。这是一个很棒的产品。

但是,成本太高了,无法考虑完全用于我们公司的生产。我们真正需要的只是能够在中心位置索引不同的日志,并对此进行合理的搜索。拥有基于保存的搜索的警报也非常好。我们并没有真正超越。

实际上,我们最大的用途是部署新应用程序。一切都通过log4net记录到Windows上的事件日志或Linux上的文本文件中。 Splunk使得轻松快速地搜索所有内容以确保应用程序的所有部分运行正常非常容易-与查找单个日志记录源相比,这节省了我们很多时间。

这个市场上有哪些替代品?我有一种下沉的感觉,Splunk的价格太高了,因为他们到目前为止拥有最好的产品,而且他们知道。我们希望服务器在Windows上运行。

我愿意接受拆分模型,将一种产品用于常规日志(通过syslog/Snare收集),并使用专用产品用于我们的自定义应用程序(例如 Log4Net Dashboard )。

使用发送到SQL Server(也许启用了全文本)的简单系统日志服务器(例如Kiwi)可以工作吗?

我希望成本应该在5美元以下。 (是的,我知道,我们很便宜。我们是一家几乎没有钱的创业公司,BizSpark负责我们所有的MS许可。)

编辑:我应该补充一点,我们大约有10台物理服务器,20台虚拟机以及几个防火墙和交换机。 Windows是90%。

76
MichaelGG

注意:这都是关于Linux和自由软件的,因为这是我最常使用的,但是使用Windows上的syslog客户端将日志发送到Linux syslog服务器。

登录到SQL Server:仅使用约30台计算机,几乎可以使用任何集中式syslog和SQL后端,这应该没问题。我在Linux上使用 syslog-ng 和MySQL。

用于图形化的漂亮前端是主要问题-似乎有很多黑客入侵的前端可以从日志中获取项目显示有多少点击,警报等,但我还没有发现任何集成且整洁的东西。诚然,这是您正在寻找的主要内容...(如果我发现有什么好处,那么我将更新此部分!)

警告:我在Linux服务器上使用 [〜#〜] sec [〜#〜] 来查找发生的不良情况日志并通过各种方法提醒我。它非常灵活,不像Splunk那样可点击。 这里有一个不错的教程 可以指导您完成许多可能的功能。

我还使用 Nagios 来获取各种统计数据的图表以及一些我无法从日志中获取的警报(例如,服务中断等)。可以轻松自定义添加任何您喜欢的图形。我通过让代理使用 check_logfiles 插件来计算日志中的命中次数来添加项目图,例如对http服务器的命中次数(它保存了它上升的位置)到每个检查周期)。

总体而言,取决于设置此设置所花费的时间,因为您可以使用很多选项,但它们并没有集成在一起作为Splunk,可能需要更多的精力来完成您想要的事情。 Nagios图很容易设置,但是在添加图之前不提供历史数据,而使用Splunk(以及可能的其他前端),您可以回顾过去的日志并仅用图形表示事物想到从他们那里看。

还请注意,SQL数据库格式和索引将对查询速度产生巨大影响,因此,全文索引的概念将大大增加搜索速度。我不确定MySQL还是PostgreSQL是否会做类似的事情。

Edit:MySQL将进行全文索引,但是仅在MyISAM表上 在MySQL 5.6之前。 在5.6中添加了对InnoDB的支持

编辑:Postgresql当然可以进行全文搜索: http://www.postgresql.org/docs/9.0/static/textsearch.html

30
David Gardner

* nix比Windows更适合于目标,但是 octopussy 确实支持Windows,并且似乎与splunk一样。

7
Cian

对于具有许多出色功能的集中式syslog记录,我不禁推荐 rsyslog 足够。它是一个开放源代码syslog服务器,可以愉快地作为您所熟悉和喜爱的常规syslogd的替代产品。现在,它已成为Ubuntu的首选syslog守护程序,我认为Red Hat&Fedora也可能会沿着这条道路走。我发现它很容易启动和运行,并且可以执行syslog-ng所需的操作。

当前,在我们的商店中,我们有两个中央rsyslog服务器(每个站点一个),该服务器接收数百个服务器的日志。每当syslog中的某些事件触发警报或更高级别时,我都会收到自动电子邮件警报(当然,通过一些调整,某些应用有点危言耸听)。我可能还可以做一些更聪明的事情,例如让它将物品发送给nagios或类似的公司,但它足以满足我们目前的需求。

所有这些也都进入了mysql数据库(如果您这样做的话,还支持Oracle或postgresql)。

还有一个 Web前端Windows代理 也可以将Eventlog日志发送到rsyslog服务器。 Web前端显然不像splunk那样精巧,但是它只需$ 0即可完成工作。

6
Dave Wongillies

我正在尝试多种监视解决方案-但我想主要监视窗口。大多数系统都适用于SNMP监控,无需代理即可设法提取大量信息。

这些是我到目前为止尝试过的一些系统:

Nagios-开源。可以配置但评级很高的猪,看起来非常灵活。它似乎本质上是一个计数器记录器,不允许远程脚本执行,因此不能用来解决配置问题,例如MS系统中心或Kaseya。没有代理,但是如果没有在每个客户端上安装NSclient工具,则基本上没有用。

Cacti-基于提取snmp统计信息的漂亮直观的绘图工具。无代理。

OpsView-基于Nagios,但易于配置且具有更好的前端。

HypericHQ-易于在Windows下启动和运行。基本版本是免费的,功能很多。有一家商业HypericHQ企业。必须在每个客户端上安装代理。

Zabbix-另一个不错的监视工具。它比nagios更易于使用。有可以在Windows和客户端计算机上安装的代理。到目前为止,我仅探讨了这一点。

Zenoss-开源。 Zenoss的专业水平给我留下了深刻的印象。它是一个基于SNMP的监视器,并具有许多扩展,以允许监视HP proliants,Windows服务,ms sql服务器,mysql。所有扩展都通过SNMP起作用,因此无需在客户端计算机上安装任何扩展程序。我尚未探索所有内容,并且似乎还有很多功能需要利用。它基于Zope,因此,除非您不熟悉Zope的安装,否则我建议您下载预先准备好的VM-它像开箱即用的梦一样工作。

在商业方面,您可以看一些工具:

Kaseya-如果我没记错的话,每年250个节点的费用约为6,000美元,但它是一种出色的工具,并且拥有非常活跃的用户社区。它针对MSP市场,并允许监视多个公司的系统。它可以在内部使用而不会出现问题。

GFI Hounddog-比Kaseya简单,但目前非常便宜。绝对值得一看。

有许多解决方案作为MSP系统出售,但实际上是监视器+远程管理员的组合。

伊恩

6
Ian Murphy

我同意Splunk很棒。但是,对于小型的,占主导地位的Linux环境,您可能希望查看 epylog 之类的内容。

我们在我以前工作的地方之一使用过它,对我们想要的东西来说很棒。

不知道它会如何处理发送到Linux syslog收集器的Windows syslog消息,但是可能值得一试。

2
warren

看看 http://www.codeplex.com/polymon

它的开源,在后端使用SQL Server并具有精美的UI

2
Khurram Aziz

只需链接到我的答案,否则:

Splunk非常昂贵:有哪些替代品?

编辑(新项目):

LogStashGraylog2 项目看起来非常有趣

这是几个视频: 一个两个

2
Not Now

GFI EventsManager 之类的技巧可能会花费大约$ 4k。

  • 分析事件日志,包括SNMP陷阱,Windows事件日志,W3C日志和Syslog
  • 实时警报,包括SNMPv2陷阱警报
  • 查看有关当前正在发生的关键安全信息的报告
  • 集中式事件记录
  • 删除在所有安全事件中占很大比例的“噪声”或琐碎事件
  • 实时24 x 7 x 365天的监视和警报
  • 通过内置状态监视器以图形方式监视GFI EventsManager和网络的状态
  • 支持虚拟环境
1
SteveBurkett

如果您正在寻找SysLog替代品,则可能还需要考虑商业syslog/rsyslog替代品,例如LogLogic http://loglogic.com 。我们(我工作的地方)拥有功能齐全的设备日志记录,存储和报告集。本质上,它每秒能够收集100,000条消息,使消息痛苦并编制索引的功能,因此可以进行搜索。

1
BillRoth

您是否尝试过php-syslog-ng? http://code.google.com/p/php-syslog-ng/

0
Thomas Gell

如果您正在寻找Splunk的更便宜的替代品,请尝试LogZilla( http://www.logzilla.pro )。它的伸缩性比Splunk更好或更好(您可以在1-2秒钟内搜索300m日志),轻松实现成本的1/10。他们有一个演示运行在 http://demo.logzilla.pro

0
Clayton Dukes

我发布了dupe主题: Splunk非常昂贵:有哪些替代品?

xpolog和所有严肃的商业解决方案都是BIG $(即使少于splunk,大多数也很容易达到5位!)

Sooooo,我们最终做了什么(因为splunk太多了):

1)我们想要一个简单的syslog到sql db管道

2)我们尝试了kiwi syslog。这个程序运行了一个星期很好,停止了工作,猕猴桃支持无法修复它。所以我们丢了猕猴桃

3)我们尝试了winsyslog。一个应用程序的老狗,我们不想学习它。

4)我们使用了这个免费的.net应用程序: http://www.aonaware.com/syslog.htm

瞧我们的数据库中有系统日志消息。

我们很开心。花费$ 0,有几个小时,但又不过分。

0

我们在这里使用Splunk,他们告诉您的价格令我有些震惊。我们得到的基本故障信息大约是每1GB数据1000美元。它成本高昂,但功能强大且开发起来非常快。根据您的数据源以及您想使用它们的方式,一些python和Perl脚本可以为您提供许多相似的数据。最大的不同在于时间,而学习如何真正地运用用于文本处理的语言,虽然您可以通过获取syslogger并将信息输出到文本文件来解决此问题,但您也无法获取实时IP信息(类似于syslog)。特定的解决方案;我们不能使用splunk,因为我们使用python,Perl和bash脚本。

0
Matthew

您可以尝试从liquidlabs进行logscape-与splunk非常相似,但也具有一些不同的功能.... http://www.liquidlabs-cloud.com/products/logscape.html

0
james

我在上一份工作中做了SQL后端操作(顺便说一下是MySQL),并完成了脚本,Drupal带有自定义PHP=脚本的接口, 。

老实说,这花费了太多的工时,但仍然不是Splunk。

目前,我正在测试Splunk。是的,它不是免费的,但纵观全局,它实际上可能会更便宜。

0
Florin Andrei

ELSA-企业日志搜索和存档

主要特点:


  • 在邮件或已解析字段中的任何Word上进行全文搜索。
  • 按任何字段分组并根据结果生成报告。
  • 安排搜索。
  • 在新日志的搜索命中时发出警报。
  • 保存搜索,通过电子邮件发送已保存的搜索结果。
  • 根据搜索结果创建事件凭单(带有插件)。
  • 完整的插件系统以获得结果。
  • 将结果导出为永久链接或以Excel,PDF,CSV和HTML格式导出。
  • 完全LDAP集成以获得权限。
  • 按用户,日志大小和计数查询的统计信息。
  • 完全分布式的体系结构,可以处理n个节点,所有查询并行执行。
  • 压缩档案的比率优于10:1。

性能细节:


对于系统规格,按重要性顺序排列:磁盘大小,RAM,磁盘速度,CPU数量。首要的性能因素是Sphinx的索引器和搜索守护程序,因此请参考sphinxsearch.com以获取文档。我给出的统计数据来自大型系统(16个CPU,144 GB RAM,12个TB HD)),但是在具有4个CPU,8 GB RAM以及任何其他操作系统的系统上,您将获得相同的性能HD随事物线性扩展而变化。系统首先在IBM刀片服务器上运行,具有4 GB RAM和慢速SAN驱动器,并以大约相同的速率执行,但4 GB正在将其削减一些。


性能详细信息和主要功能列表,以及架构描述: http://ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html

代码: https://code.google.com/p/enterprise-log-search-and-archive/

VM: http://ossectools.blogspot.com/2011/07/elsa-vmware-appliance-available.html

有关该项目的详细信息: http://ossectools.blogspot.com/2011/03/comprehensive-log-collection.html

0
elhoim