Flume和Kafka有一部分功能是相同的域名备案域名备案服务器日志分析工具，但是整体来看，两者的差别还是很大的；它们使用的场景有所不同，但是可以相互配合使用。服务器日志分析工具，日志采集系统flume和kafka有什么区别及联系Flume简单的说，Flume是分布式日志收集系统，它把各个服务器上的日志收集起来，传送到制定的地方，比如传送到HDFS中。KafkaKafka的定位是分布式消息中间件，自带存储，提供push和pull存取数据功能。使用场景在实际应用中，系统实时产生的日志需要最后进入HDFS，但是生产上的日志数量会有波动，比如由于访问量的增加，导致突然之间产生大量的日志，这时候可能会导致日志写入HDFS失败，所以这时候可以先把日志数据写入到Kafka中，再由Kafka导入到HDFS中。总结：在日志采集系统中，把Kafka当做日志缓存更加合适，Flume做数据采集，因为它可以定制很多数据源，减少开发量，所以Flume和Kafka可以配合起来一起工作。整体的流程是这样的:服务器上的日志<–Flume–>Kafka–>HDFS–>离线计算服务器上的日志<–Flume–>Kafka–>Storm希望我的回答能够帮助到你！应用性能管理系统 APM (Application Performance Management）与网络性能管理系统 NPM（Network Performance Management）都属于ITOA（IT Operation Analytics）。APM 监控特定软件系统的性能和可用性，传统的 APM 通过在代码嵌入代理获取代理数据（Agent Data），或通过探针数据（Probe Data），监控和检测异常来分析应用程序的性能；NPM 通过网络通信数据（Wire Data）监控系统性能。如前面所述，这些数据来源各有利弊。日志的价值在于它们无处不在：应用程序，操作系统，数据库，甚至硬件都生成日志。日志分析产品不需要在这些系统嵌入插件，只需要采集这些系统的日志就能做分析，非常方便。APM 或 NPM 系统也需要依赖日志分析获得更全面的系统信息，日志分析平台可作为 APM 或 NPM 系统的补充，提供更全面、准确的应用性能监控及网络性能监控。目前主流的海量日志分析工具：开源的有ELK，收费的：国外的有Splunk、Sumologic。国内有日志易等。回答在部署状态页面点击查看日志，将会打开日志页面，下个图就是日志的输出页面。简约时尚小清新的日志页面出来了，是不是很想一个terminal，有没有觉得俺弄的页面很漂亮。哈哈哈哈，写不好前端的运维不是好DBA。刚开始拿到这个需求，咋觉得很难。因为在服务器上我们看一个日志，经常会tail -f 看着刷屏的感觉倍爽。如何在web页面上实现tailf的效果呢？后来想想这样实现是可行的。前端写一个js定时器，不断的发ajax请求到后台，每回取出一段日志。后台取日志可以直接调用系统命令，或者直接调取shell脚本，取日志，判断日志文件是否存在，是否为空，返回数据的起始位置等，都可以交给shell来做。事实上我就是这么干的。后台程序写一堆shell命令调用有点别扭。想到解决方案之后，实现的过程就比较简单了。我的开发环境是基于python的Django框架来做的，现在就展示这个功能的实现过程。Django部分点击查看日志的链接之后会调到views里的ajxGetLog方法，该方法需要两个参数，项目id和主机id，这两个参数主要是用来确定日志文件的位置。该方法返回行号。execcommand是封装的一个subprocess.Popen的一个工具函数，返回一个列表分别是标准输出，错误输出和shell returncodedef ajxGetLog(request,pid,hid):project = Project.objects.get(pk=pid)host = Host.objects.get(pk=hid)scriptname = ‘%s%s’%(base_path,’get_log.sh’)res = execcommand([‘sh’,scriptname,host.hostname,project.servicename])#如果错误输出不为空，直接返回错误输出if not res[1]:try:#res[0]为行号，如果大于20行，从当前行的上面20行开始输出，为了用户体验，你懂得if int(res[0]) > 20:line = int(res[0]) – 20if int(res[0]) == 0:line = 1return render(request,’logs.html’,{‘pid’:pid,’hid’:hid,’line’:line})except Exception,e:print ereturn (e)else:return (res[1])html部分首席写一个ajax请求，传递到后台取日志内容的方法，传递三个参数项目id，主机id，和行号，后台将会返回对应行号的日志内容。该方法代码如下：def ajxGetLogHandle(request,pid,hid,line):project = Project.objects.get(pk=pid)host = Host.objects.get(pk=hid)scriptname = ‘%s%s’%(base_path,’get_log.sh’)res = execcommand([‘sh’,scriptname,host.hostname,project.servicename,line])if not res[1] and res[0].strip():return (res[0])else:return (500)