EDA365电子论坛网
标题:
Logstash接收到的日志时间顺序与Filebeat发出的顺序不一样
[打印本页]
作者:
domenica
时间:
2021-8-18 14:06
标题:
Logstash接收到的日志时间顺序与Filebeat发出的顺序不一样
: I, C. h1 Z( Q; K# Z' \) D' O
用filebeat收集 /tmp/testlog/no7.log 的内容后，传送给Logstash服务器，Logstash把收到的内容输出为 /tmp/logstash/no7.log
0 z# k- F+ J6 U p! `" l0 j. V9 m# S
7 _% r `4 a( E+ O: \
传送没有出现日志缺失，但是发现时间顺序是混乱的，具体情况如下：
3 R3 g9 q8 [" S( H" P1 h3 a# ]; u
- M6 H+ R4 Z M: K
filebeat.yml
' \/ m, A) ]. i5 z4 J. h1 e, D" U
filebeat.inputs:
- ]+ B) x$ L1 r. s# l
* D1 ^7 M+ }3 N' Z& O+ r6 {* V- X J
type: log
9 d3 W# X6 Q9 Q1 C8 h) r6 }
enabled: true
2 m0 e8 o* m5 h
paths:
$ ?% P K6 p, X; W9 u
/tmp/testlog/no7.log
7 |6 `( d9 U; p; y3 `
output.logstash:
9 p4 z/ F/ o/ ~0 A5 j! N h4 r
hosts: ["xxx.xx.x.xxx:5044"]
4 |" Q5 l' T3 E# \+ |
----------------------------------------------------------------------------
) a" O# J& F4 F3 U+ Q, r
logstash.conf
. b) h& w. b6 s
input {
$ ]& h4 i/ x/ B. o6 l; x# V8 z+ w
beats {
0 f: K M7 A: s8 Y
port => 5044
: Y+ w$ [) S! d& }" e) f
}
0 o( \; |" |* z' L' R
}
' v! C3 j- e9 p2 A+ f1 i
output {
+ p( F6 w/ ?( B9 U" G5 ^
file {
# k1 U& `9 B4 q8 _3 k
path => "/tmp/logstash/no7.log"
3 g& ]1 u+ Q, c" ~4 E
codec => line { format => "%{message}"}
c. ~0 M" P! C# z, z7 m V- ]) M
}
1 O. T$ _: e6 y! ]
}
, }& ~! _% D8 X( Y# c1 G1 x" w
----------------------------------------------------------------------------
$ \. L! b, Y5 N( l4 f
2 z6 g P( N' y/ I; z; U2 s9 W2 N
时间乱序情况如下：
8 z6 A: `$ h% s, d
8 L+ ?( }0 {, U( F( N/ A
/tmp/testlog/no7.log(Filebeat服务器)
' q- D2 y* m; o: G2 b. B
no7 0 2020年 1月 14日 火曜日 17:48:36 JST
; Y& T! F$ C% T3 R3 l7 R7 g
no7 1 2020年 1月 14日 火曜日 17:48:37 JST
) O3 M- |& i0 G# V* d0 I, Z( G* F
no7 2 2020年 1月 14日 火曜日 17:48:38 JST
3 s5 ?% z* `# ]- a2 a8 m) I) x
no7 3 2020年 1月 14日 火曜日 17:48:39 JST
* ` u. z& x. x7 ]4 O H- M" a
no7 4 2020年 1月 14日 火曜日 17:48:40 JST
- E" H, a0 _- v8 F
no7 5 2020年 1月 14日 火曜日 17:48:41 JST
* x3 ]% T4 {! x# K) K g
no7 6 2020年 1月 14日 火曜日 17:48:42 JST
! l$ v" v* V* P
no7 7 2020年 1月 14日 火曜日 17:48:43 JST
' ], T d+ U, g, O
no7 8 2020年 1月 14日 火曜日 17:48:44 JST
! n1 e0 u) L6 M( ]# @! D
no7 9 2020年 1月 14日 火曜日 17:48:45 JST
* p ]/ D) O: P4 T# |% [
----------------------------------------------------------------------------
7 s& V& V: @% _8 U" S
% P$ ~9 J# x& Q
/tmp/logstash/no7.log(Logstash服务器)
" F% d/ j( _+ F' Q& |# z0 w
no7 2 2020年 1月 14日 火曜日 17:48:38 JST
% ^: B# r/ H+ T
no7 6 2020年 1月 14日 火曜日 17:48:42 JST
8 V0 U$ f5 ~7 X) N
no7 3 2020年 1月 14日 火曜日 17:48:39 JST
8 w3 b* f5 C0 Z' `1 x U% n6 Q
no7 7 2020年 1月 14日 火曜日 17:48:43 JST
4 M. T+ i# S5 p3 H) y1 q
no7 0 2020年 1月 14日 火曜日 17:48:36 JST
( n1 _6 y0 e0 f P1 y, Q
no7 4 2020年 1月 14日 火曜日 17:48:40 JST
1 _( p& I3 F y" d. p1 c0 E
no7 8 2020年 1月 14日 火曜日 17:48:44 JST
& ] g/ w" B' s7 F6 z8 I
no7 1 2020年 1月 14日 火曜日 17:48:37 JST
( b9 S; o/ K8 ^, y! i( F
no7 5 2020年 1月 14日 火曜日 17:48:41 JST
' B8 j- U& b7 V8 {$ H
no7 9 2020年 1月 14日 火曜日 17:48:45 JST
: S* l2 t% K- m' L
----------------------------------------------------------------------------
% a# }, Q% r# H2 z! H
' j2 S6 x& D+ J
可以看见，Logstash接受到的所有内容都是乱序排列，请问怎么才能让它按照Filebeat服务器里的顺序输出呢
) i; C" g. H' u( X& [9 O# B
请大家帮帮忙，麻烦了
4 `) x3 N1 _4 n! }
. i7 Z( o8 s; g P4 h! f, K
——————
% T z3 {1 d/ _" E
* @8 ~: X) `+ K/ _, A8 o( l% s3 c) W
有在网上搜过解决方法，都说是用filter的date来处理，但是按照目前能找到的所有回答都试了一遍，乱序问题依旧没有解决
作者:
SsaaM7
时间:
2021-8-18 15:13
问题贴也是太长了 ，看了半天了……
作者:
ExxNEN
时间:
2021-8-18 15:14
SsaaM7 发表于 2021-8-18 15:13
1 V k) X/ w3 [8 R) D& Q
问题贴也是太长了 ，看了半天了……
- `8 F$ n& b9 p
哈哈哈，我也看半天了，徘徊在ARM边沿的人啊
8 N; P6 p c8 `6 F4 s- C
作者:
uqHZau
时间:
2021-8-18 15:17
如果试了一遍没有解决，说明你并没有成功使用你的日志时间作为logstash时间戳解析，否则不会再乱序了。再尝试一下，看下是不是过程出错了
欢迎光临 EDA365电子论坛网 (https://bbs.eda365.com/)
Powered by Discuz! X3.2