异步打印日志的一点事

一、前言

最近刚刚结束转岗以来的第一次双11压测,收获颇多,难言言表, 本文就先谈谈异步日志吧,在高并发高流量响应延迟要求比较小的系统中同步打日志已经满足不了需求了,同步打日志会阻塞调用打日志的线程,而打日志本身是需要写磁盘的,所以会造成rt增加。异步日志就是为了解决这个问题。

二、日志打印模型

  • 同步日志模型

image.png

image.png

如上图,多个业务线程打印日志时候要等把内容写入磁盘后才会返回,所以打日志的rt就是写入磁盘的耗时。

  • 异步日志模型

image.png

image.png

如上图多个业务线程打印日志时候是把打印任务放入内存队列后就直接返回了,而具体打印日志是有日志系统的一个日志线程去队列里面获取然后执行,可见这种打印rt就是写入内存队列的耗时。

三、关于异步日志的一些事

  • 异步日志设置

image.png

image.png

对于logback来说异步日志里面的队列是一个有界ArrayBlockingQueue,其中queueSize是队列大小,taskLogAppender是引用的普通同步日志
discardingThreshold是一个阈值,通过下面代码看他的作用:

image.png

image.png

当队列的剩余容量小于这个阈值并且当前日志level TRACE, DEBUG or INFO ,则丢弃这些日志。

在压测时候代码配置如上,也就是配置了异步日志,但是还是出现了线程阻塞在打日志的地方了,经查看是阻塞到了日志队列ArrayBlockingQueue的put方法:

可知put方法在队列满时候会挂起当前线程。那么如何解那?
上面介绍了discardingThreshold,可知本文设置为0说明永远不会丢弃日志level TRACE, DEBUG or INFO的日志,只要discardingThreshold>0则当队列快满时候level TRACE, DEBUG or INFO的日志就会丢弃掉,这个貌似可以解决问题。但是如果打印的是warn级别的日志那?还是会在put的时候阻塞。

通过看代码发现最终写日志时候有个判断:

image.png

image.png

如果设置了neverBlock=true则写日志队列时候会调用ArrayBlockingQueue对的offer方法而不是put,而offer是非阻塞的:

image.png

image.png

可知如果队列满则直接返回,而不是被挂起当前线程。
所以配置异步appender时候如下:

image.png

image.png

四 、总结

在高并发低延迟要求的系统里面不重要的日志可以设置为异步并且要注意设置队列满则丢弃策略,防止业务线程被挂起从而影响rt

原创文章,转载请注明: 转载自并发编程网 – ifeve.com本文链接地址: 异步打印日志的一点事



加多

加多

研发工程师 at 阿里巴巴
加多,目前就职于阿里巴巴,对并发编程、CalssLoader,Spring等开源框架熟悉;喜爱运动,比如跑步。微信公众号:技术原始积累
加多

Latest posts by 加多 (see all)

FavoriteLoading添加本文到我的收藏
  • Trackback are closed
  • Comments (5)
    • yangshuqing
    • 11/21. 2017 6:44pm

    log4j2 的性能更好一些吧,阿里也使用的是logback么? 选择logback 而不是log4j2 有什么具体的原因么?

    • 加多
    • 11/21. 2017 8:37pm

    log4j2和logback性能那个好没有对比过,接受这个应用时候应用用的就是logback,具体不知道为啥选择logback 而不是log4j2

    • zooooooooy
    • 11/23. 2017 5:44pm

    log4j2性能官网有benchmark比较的,log4j2性能现在是要优于log4j2的

    • zooooooooy
    • 11/23. 2017 5:45pm

    zooooooooy :
    log4j2性能官网有benchmark比较的,log4j2性能现在是要优于logback的

    • qxun_dream
    • 11/30. 2017 10:41pm

    日志确实是一个很重要又容易被忽视的模块

You must be logged in to post a comment.

return top