page contents

golang项目:设计自用的日志库

golang的原生日志模块不能满足需求,而开源的第三方包,也不完全够用。用户较多的logrus,却没有rotate功能,这已经是众所周知的。对于运维来说,当然是希望日志的处理中比较简单、实用、够用。不需要额外的通过系统来实现logrotate。

attachments-2021-08-EDwYWXAc6109eb7596f2b.jpg

golang的原生日志模块不能满足需求,而开源的第三方包,也不完全够用。用户较多的logrus,却没有rotate功能,这已经是众所周知的。对于运维来说,当然是希望日志的处理中比较简单、实用、够用。不需要额外的通过系统来实现logrotate。

1、需求

从需求方面来说,主要有几个方面:

一方面肯定是需要有轮转功能,而且要限制保留的日志份数。至于是按文件大小,还是按天、按小时切割,则可以讨论。

另一方面,对于日志的级别,如果能够动态调整,则方便日志关闭常规日志,在线调试时,动态降低日志的等级,打印更多debug日志。

2、调研

目前主要的有几个:

  • github.com/sirupsen/logrus。用户广泛,但明确表示不支持日志切割功能,建议通过hook走日志系统。
  • github.com/natefinch/lumberjack。支持以文件大小的方式切割日志。用户偏少。
  • gopkg.in/inconshreveable/log15.v2。比较老牌。
  • github.com/lestrrat-go/file-rotatelogs。基于小时数进行切割的小众包。
  • github.com/xiaomi-tc/log15。小米基于log15写的二次封装增加了切割功能。但只有2星。
  • 有前同事基于log15写的二次封装,但log15.v2/ext的包不太容易理解。
  • github.com/ngaut/log。完全不依赖第三方包。可基于日期及小时进行切割。

综上,ngaut比较适合学习和了解封装过程。而基于logrus则是比较靠谱的选择,底层需要其他包实现的切割功能。

3、功能设计

主要点:

  • 由logrus来完成日志功能。
  • 需要完成日志切割,历史日志需要压缩
  • 支持参考Go代码遇到的问题提供的level热更新

3.1 基于file-rotatelogs实现

即基于日期的日志轮转。

代码:github.com/jungle85gopy/rotlogs/daterot

示例代码:参考github.com/jungle85gopy/rotlogs/example/date/date.go

两个不足之处:

  • 该库没有压缩功能。
  • 日志目录对相对路径不友好。
  • 比如使用log/access.log时。log/access.log是个软链,链接到带日志的文件。
# ls -l log
lrwxr-xr-x  1 song  staff    28 Mar  8 13:23 access.log -> log/access.log.20180308-1323
-rw-r--r--  1 song  staff  2511 Mar  8 13:23 access.log.20180308-1323

# tail log/access.log
tail: log/access.log: No such file or directory

解决办法之一就是不使用软链,将是不主动设置BaseLinkName变量。

3.2 基于lumberjack实现

即基于文件大小的日志轮转。

代码:github.com/jungle85gopy/rotlogs

示例代码:参考github.com/jungle85gopy/rotlogs/example/size/size.go

这个版本的不足之处,在于日志切割后日志,其文件名过于复杂。可能不便后后继处理

# ls -l log 
abcd-2018-03-08T14-09-31.066.log.gz
abcd-2018-03-08T14-26-18.794.log.gz

更多相关技术内容咨询欢迎前往并持续关注六星社区了解详情。

程序员编程交流QQ群:805358732

如果你想用Python开辟副业赚钱,但不熟悉爬虫与反爬虫技术,没有接单途径,也缺乏兼职经验
关注下方微信公众号:Python编程学习圈,获取价值999元全套Python入门到进阶的学习资料以及教程,还有Python技术交流群一起交流学习哦。

attachments-2022-06-LdiBpu3A62ad6c48185ac.jpeg

  • 发表于 2021-08-04 09:21
  • 阅读 ( 622 )
  • 分类:Golang

你可能感兴趣的文章

相关问题

0 条评论

请先 登录 后评论
轩辕小不懂
轩辕小不懂

2403 篇文章

作家榜 »

  1. 轩辕小不懂 2403 文章
  2. 小柒 1474 文章
  3. Pack 1135 文章
  4. Nen 576 文章
  5. 王昭君 209 文章
  6. 文双 71 文章
  7. 小威 64 文章
  8. Cara 36 文章