找回密码
 注册
关于网站域名变更的通知
查看: 879|回复: 3
打印 上一主题 下一主题

Logstash接收到的日志时间顺序与Filebeat发出的顺序不一样

[复制链接]

该用户从未签到

跳转到指定楼层
1#
发表于 2021-8-18 14:06 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

EDA365欢迎您登录!

您需要 登录 才可以下载或查看,没有帐号?注册

x

" H- \) [0 O5 W. d* u用filebeat收集 /tmp/testlog/no7.log 的内容后,传送给Logstash服务器,Logstash把收到的内容输出为 /tmp/logstash/no7.log4 U3 O7 {& I. A# b. P
  f+ ]$ Y$ L7 [$ {4 |
传送没有出现日志缺失,但是发现时间顺序是混乱的,具体情况如下:; x  e7 v7 H. H' s

2 \9 Q( n% v, x6 g" dfilebeat.yml
  I# E* C8 h  o$ Z) O' Vfilebeat.inputs:" {  J& e; b  j" ?( X9 t
$ }/ V% L7 f4 j5 `: s: X
type: log
3 n$ m$ j  l# z' w- ~6 p: Genabled: true
4 t4 q9 O* B5 [$ R+ S' F3 {' h9 wpaths:
2 R7 x9 V3 S% W" d/tmp/testlog/no7.log
$ {% t3 ?! b* R' s4 M' ]output.logstash:
3 ]$ \! z8 g% w6 }. G. \* V8 [" O7 {hosts: ["xxx.xx.x.xxx:5044"]
; i; y+ i" e6 }7 Q, a" r# Z----------------------------------------------------------------------------
# u4 H2 u& k7 Rlogstash.conf4 O7 J$ X0 V! L3 e5 x% T
input {! q: V5 U$ f. x4 |. D4 l+ k2 w
beats {8 ?3 _( h9 t1 Z* Y9 f" T, _; p2 ^
port => 5044
2 ^9 d4 N) V! ]2 R}' m( Y0 H* C0 T; n; g3 d
}
- v! f$ K9 ]$ q+ koutput {2 W: d7 C+ f; K7 H
file {
9 D5 s) E% y# _! B# x% U" lpath => "/tmp/logstash/no7.log"
; @7 X' m! t+ ?' x& {) Hcodec => line { format => "%{message}"}
" e9 M3 `  u5 X5 r6 a}
) ~4 b4 [& f" [2 w1 b}
% M& B" A6 Z. w' ]3 t/ j----------------------------------------------------------------------------
9 X; \6 I  ~4 P+ b: ]+ L/ A' u7 ]+ ]: X3 a3 o% |
时间乱序情况如下:9 A' d9 r: K! m) G$ Y$ |' \9 }
& z1 O% |+ C( O5 t% [$ M
/tmp/testlog/no7.log(Filebeat服务器)* E) \) B) S" J+ H
no7 0 2020年 1月 14日 火曜日 17:48:36 JST
# V! s8 F$ L+ Q6 b! P& w; pno7 1 2020年 1月 14日 火曜日 17:48:37 JST
* J- S* P/ @7 Y* B) ~1 v& M# T& Zno7 2 2020年 1月 14日 火曜日 17:48:38 JST
$ J1 @2 D' z6 z9 ?& Dno7 3 2020年 1月 14日 火曜日 17:48:39 JST
! m4 {6 p+ c9 X! ?' uno7 4 2020年 1月 14日 火曜日 17:48:40 JST' E* z# J" ]* b5 u1 X$ ?+ z( d
no7 5 2020年 1月 14日 火曜日 17:48:41 JST
5 f% a5 }3 l! cno7 6 2020年 1月 14日 火曜日 17:48:42 JST2 e- J& l8 I* ~  D
no7 7 2020年 1月 14日 火曜日 17:48:43 JST
+ _% Y6 o/ A$ I) `no7 8 2020年 1月 14日 火曜日 17:48:44 JST
2 s4 t; u$ u# u$ b$ u+ S% wno7 9 2020年 1月 14日 火曜日 17:48:45 JST
6 \) N: U  h9 y----------------------------------------------------------------------------
4 |& v. P- R  b; W
8 R- S0 a5 P# R4 h2 X6 v8 V, o/tmp/logstash/no7.log(Logstash服务器)8 O; M& n1 i- |
no7 2 2020年 1月 14日 火曜日 17:48:38 JST$ P( u1 M; t5 ]/ B4 ?
no7 6 2020年 1月 14日 火曜日 17:48:42 JST; k4 V6 Q7 y2 k0 Q7 h' H, v
no7 3 2020年 1月 14日 火曜日 17:48:39 JST
9 J: T7 M/ H$ Z7 w; w, z- b1 cno7 7 2020年 1月 14日 火曜日 17:48:43 JST8 N% W4 u: C! ?! q! M+ V
no7 0 2020年 1月 14日 火曜日 17:48:36 JST& d( x! x: l) P4 T( E
no7 4 2020年 1月 14日 火曜日 17:48:40 JST; B' f) f3 {3 O2 s4 J
no7 8 2020年 1月 14日 火曜日 17:48:44 JST
/ {* n0 n1 j( I; j2 q3 Y% C$ W. Tno7 1 2020年 1月 14日 火曜日 17:48:37 JST. a9 O# W6 {7 f! z
no7 5 2020年 1月 14日 火曜日 17:48:41 JST! O) |0 {3 Q( |7 ~9 [* N6 }
no7 9 2020年 1月 14日 火曜日 17:48:45 JST
! j5 g" N; k% P: O9 c3 \3 T, H----------------------------------------------------------------------------: M0 T9 G( k# ~! x

! {, {( I  ], n/ J9 k可以看见,Logstash接受到的所有内容都是乱序排列,请问怎么才能让它按照Filebeat服务器里的顺序输出呢; O# r  V/ l4 B2 O
请大家帮帮忙,麻烦了
+ t& N6 r/ \$ b+ N' h" P$ ]5 V. m
* ]3 o1 Z! B* r9 w4 D7 }——————
* O: _% @; Z6 |- Y
' T6 o% E5 O5 C有在网上搜过解决方法,都说是用filter的date来处理,但是按照目前能找到的所有回答都试了一遍,乱序问题依旧没有解决

该用户从未签到

2#
发表于 2021-8-18 15:13 | 只看该作者
问题贴也是太长了 ,看了半天了……

点评

哈哈哈,我也看半天了,徘徊在ARM边沿的人啊  详情 回复 发表于 2021-8-18 15:14

该用户从未签到

3#
发表于 2021-8-18 15:14 | 只看该作者
SsaaM7 发表于 2021-8-18 15:13( E1 O, |5 s% E- \1 n
问题贴也是太长了 ,看了半天了……

% ~/ N: y9 b* L哈哈哈,我也看半天了,徘徊在ARM边沿的人啊
0 F& d. U0 y8 |: X+ _( t

该用户从未签到

4#
发表于 2021-8-18 15:17 | 只看该作者
如果试了一遍没有解决,说明你并没有成功使用你的日志时间作为logstash时间戳解析,否则不会再乱序了。再尝试一下,看下是不是过程出错了
您需要登录后才可以回帖 登录 | 注册

本版积分规则

关闭

推荐内容上一条 /1 下一条

EDA365公众号

关于我们|手机版|EDA365电子论坛网 ( 粤ICP备18020198号-1 )

GMT+8, 2025-11-24 02:16 , Processed in 0.140625 second(s), 24 queries , Gzip On.

深圳市墨知创新科技有限公司

地址:深圳市南山区科技生态园2栋A座805 电话:19926409050

快速回复 返回顶部 返回列表