为了账号安全,请及时绑定邮箱和手机立即绑定

NET Core微服务之路:简单谈谈对ELK,Splunk,Exceptionless统一日志收集中心的心得体会

标签:
C#

前言

日志,一直以来都是开发人员和运维人员最关心的问题。开发人员可通过日志记录来协助问题定位,运维人员可通过日志发现系统隐患,故障等定位问题。如果你的系统中没有日志,就像一个断了线的风筝,你永远不知道它会的落脚点(故障点)在什么地方。当然,你说你不用日志,非要用调试模式来一个一个的排查和验证问题,那这将是非常疯狂的。

微服务架构日渐火热,在享受微服务带来的种种好处的同事,也要承担她所带来的各种困扰。因为系统不再是一个独立的个体,而是分部到不同地方、不同宿主、不同区段单独的服务个体(节点),他散落,不统一,那么,当某个节点出现问题,如何快速定位,将是一个挑战。你总不可能说我把每个节点的日志都查一遍吧。那么,这个问题可以这样描述:

  • 如何及时采集每个节点的日志?

  • 如何将日志进行及时汇总?

  • 如何将汇总的日志进行有利(快速)的分析(检索)?

 

日志的重要性和复杂性

说道日志的重要性,我相信没有任何开发人员和运维人员认为他不重要,正如“前言”所提,这个世界没有这样疯狂的人。

再论日志的复杂性,日志保存了当前系统中各种功能的记录,正如你去一家医院的体检单,上面清晰的记录了你各项生命特征信息、以及不同的指标。日志文件在应用系统中的作用就如同体检单,它反应了系统的健康状态、系统的操作事件、系统的变更状况。

日志种类繁杂,一个健壮的系统可能会有着各种各样的日志信息。

 

(图片来源于谷歌,侵权立删)

 

单单上面一张图片,可以显示出六种日志类型,那还有我们开发的日志呢,比如调试,运行,错误,一般信息等等等。如此多种多样的日志,哪些是我们所需要的,都是在架构中需要考虑的问题。

 

微服务的日志中心架设流程

我们先了解一下微服务中的体系(结构):

  • 域:一个域是一套注册中心、配置中心、监控中心、网关等等组成的结构体系,一个域中可以有多个系统。

  • 系统:一个系统相当于一个容器集群,这个容器系统内可以部署多个应用节点。

  • 节点:实现了微服务的轻耦合节点(应用)。

当然,理解这些是不够的架构设计的,我们还需要了解整个日志收集中的每个流程:

  • 日志选择:确定哪些日志类型需要进行收集分析,比如调试,网络等等类型。

  • 日志采集:使用哪种日志组件来作为采集,.NET上常用有Nlog和Log4net。

  • 日志缓冲:使用Kafka或RabbitMQ来缓冲日志收集的大量请求。

  • 日志筛选:筛选(过滤)哪些日志类型将要被存储,提前埋点。

  • 日志存储:日志的统一存储,例如ES(Elasticsearch)。

  • 日志检索:日志的快速检索功能,例如ES(Elasticsearch)。

  • 日志展现:日志的UI展现,例如KI(Kibana),或自定义WEB站点。

 

日志中心

在日志中心的方案上,由于日志收集没有语言依赖性,我们可以通过混合使用不同语言的组件来收集日志。

ELK(Elasticsearch + Logstash + Kibana),java开源日志收集平台,名声赫赫,我们只需要配置采集组件的远程对接即可进行存储。如你更倾向于日后微服务的其他所有组件都是Java(比如Spring Boot)的,可使用steeltoe来完成你的梦想。(笔者并未深入研究ELK,只是实现了日志的提交和展现)

特点:开源,免费

 

 

Splunk:使用 Splunk 可收集、索引和利用所有应用程序、服务器和设备生成的快速移动型计算机数据。使用Splunking处理计算机数据,可让您在几分钟内解决问题和调查安全事件--| 这解释太官方,公司目前用的就是Splunk

特点:企业版收费,上手困难。

 

 

Exceptionless:原生.Net平台上开发的一套开源日志收集中心,支持托管或自行部署,并且新版里面还有一些非常简单的APM,比如死链、耗时。

特点:托管收费,界面清晰易懂,最重要的是.Net且开源

 

 

总结

本篇简单的介绍了日志收集的重要性,和设计流程,并简单的展示了三个常见平台的主界面,下一篇我们重点介绍Exceptionless。

感谢阅读。

 

作者:李知洲

出处:http://stevelee.cnblogs.com/

本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消