使用kafka收集日志和存储

Lindberge4 · 发表于 2021-9-8 09:53

EDA365欢迎您登录！

您需要登录才可以下载或查看，没有帐号？注册

x

需求：通过kafka把读到日志文件统一收集放在一个地方？？？
问题：
1，现在在一台机器上可能会同时产生多份不同路径下的日志文件，我怎么保证能同时读到，并且读完了继续保持读文件状态（因为日志文件可能会随时产生，我需要在发现新的日志记录时及时读到kafka中）？
2，如果能读到不同路径下日志消息到kafka中，我在consumer端接收日志的时候怎么区分那条日志来自那台机器的那个程序或者是更详细点哪个进程或线程产生的呢？
3，如果现在读着读着，程序挂了，或者机器宕机了，那么我再次启动程序，怎么能做到让程序从上次读到的日志开始读，而不是从头开始读能？

ExxNEN · 发表于 2021-9-8 13:32

日志文件还可以收藏啊，以前只只知道保存为txt文件，哈哈哈

mutougeda · 发表于 2021-9-8 13:33

讲个道理，日志入Kafka，读取文件的方式，太low了，如果你是Java程序，推荐自己写一个appender，把日志写到Kafka上

SsaaM7 · 发表于 2021-9-8 13:34

有没有使用python编程的方法

帐号		自动登录	找回密码
密码			注册

使用kafka收集日志和存储

EDA365欢迎您登录！

浏览过的版块

推荐内容 /1