EDA365电子论坛网

标题: 使用kafka收集日志和存储 [打印本页]

作者: Lindberge4 时间: 2021-9-8 09:53
标题: 使用kafka收集日志和存储

需求：通过kafka把读到日志文件统一收集放在一个地方？？？
问题：
1，现在在一台机器上可能会同时产生多份不同路径下的日志文件，我怎么保证能同时读到，并且读完了继续保持读文件状态（因为日志文件可能会随时产生，我需要在发现新的日志记录时及时读到kafka中）？
2，如果能读到不同路径下日志消息到kafka中，我在consumer端接收日志的时候怎么区分那条日志来自那台机器的那个程序或者是更详细点哪个进程或线程产生的呢？
3，如果现在读着读着，程序挂了，或者机器宕机了，那么我再次启动程序，怎么能做到让程序从上次读到的日志开始读，而不是从头开始读能？

作者: ExxNEN 时间: 2021-9-8 13:32
日志文件还可以收藏啊，以前只只知道保存为txt文件，哈哈哈

作者: mutougeda 时间: 2021-9-8 13:33
讲个道理，日志入Kafka，读取文件的方式，太low了，如果你是Java程序，推荐自己写一个appender，把日志写到Kafka上

作者: SsaaM7 时间: 2021-9-8 13:34
有没有使用python编程的方法

欢迎光临 EDA365电子论坛网 (https://bbs.eda365.com/)