Logstash接收到的日志时间顺序与Filebeat发出的顺序不一样

domenica

5 _! L' o$ ]; n8 H6 [( u用filebeat收集 /tmp/testlog/no7.log 的内容后，传送给Logstash服务器，Logstash把收到的内容输出为 /tmp/logstash/no7.log
" [; J% l! x7 h# @# N2 M. S) E8 c
传送没有出现日志缺失，但是发现时间顺序是混乱的，具体情况如下：
7 V% o: ^$ Q' b6 F& \
filebeat.yml
filebeat.inputs:

  M5 y7 P+ Z( x7 Wtype: log
5 E# ~, J. `5 H- y3 Q/ I& Fenabled: true
& x6 Y) V  d+ L" V9 j8 q$ ]paths:
$ b- `; E6 P6 {; {: Z+ F8 q/tmp/testlog/no7.log
output.logstash:
' H/ f1 x; y% R) N+ M' E. z2 B* hhosts: ["xxx.xx.x.xxx:5044"]
----------------------------------------------------------------------------
logstash.conf
+ I2 |! A4 N  i5 s; v! e9 N) Iinput {
' v( p. N4 B. u  g4 \) m# T! zbeats {
3 w) m6 W) _) b) v  C6 ?7 g) `port => 5044
8 N8 F% |5 R: _% o* a2 j}
}
5 p' y8 @0 u: _% y3 y/ H. Soutput {
file {
path => "/tmp/logstash/no7.log"
' ]3 n5 }8 ~8 s- h* x- ]3 H3 \codec => line { format => "%{message}"}
% \7 S0 e" M2 t: J}
}
( e, ?& H* ^% n+ W3 _- d; j- |----------------------------------------------------------------------------

时间乱序情况如下：
) E4 j8 i! f9 _
/tmp/testlog/no7.log(Filebeat服务器)
$ F7 ]! @  [' \4 I' }, i* \no7 0 2020年 1月 14日 火曜日 17:48:36 JST
- Y5 H- T& O0 A- G; Sno7 1 2020年 1月 14日 火曜日 17:48:37 JST
no7 2 2020年 1月 14日 火曜日 17:48:38 JST
& g+ g2 u9 r3 o# Y; k0 \: b) G: y9 S8 hno7 3 2020年 1月 14日 火曜日 17:48:39 JST
5 d; `: K4 l! H& b( Bno7 4 2020年 1月 14日 火曜日 17:48:40 JST
7 |4 o3 O1 W- p$ ~8 m) I" ]no7 5 2020年 1月 14日 火曜日 17:48:41 JST
no7 6 2020年 1月 14日 火曜日 17:48:42 JST
6 ^# @- |% \" @' Bno7 7 2020年 1月 14日 火曜日 17:48:43 JST
% B2 ?  F5 ?" Y  H4 j* G4 Uno7 8 2020年 1月 14日 火曜日 17:48:44 JST
' P: W' R, `4 yno7 9 2020年 1月 14日 火曜日 17:48:45 JST
----------------------------------------------------------------------------
! }0 _$ S6 G& x8 h
/tmp/logstash/no7.log(Logstash服务器)
no7 2 2020年 1月 14日 火曜日 17:48:38 JST
+ R/ z4 X1 W6 s- n& ^no7 6 2020年 1月 14日 火曜日 17:48:42 JST
) N/ Z6 l5 z) h  Vno7 3 2020年 1月 14日 火曜日 17:48:39 JST
: k+ B* ]1 e4 i" V. \no7 7 2020年 1月 14日 火曜日 17:48:43 JST
no7 0 2020年 1月 14日 火曜日 17:48:36 JST
no7 4 2020年 1月 14日 火曜日 17:48:40 JST
8 O  E4 n! S7 \$ Kno7 8 2020年 1月 14日 火曜日 17:48:44 JST
# a& D+ x. E" h  g3 J' Bno7 1 2020年 1月 14日 火曜日 17:48:37 JST
6 i! ]- u4 s" `* f) G6 c# s1 _no7 5 2020年 1月 14日 火曜日 17:48:41 JST
. D, G# z# v( dno7 9 2020年 1月 14日 火曜日 17:48:45 JST
----------------------------------------------------------------------------

可以看见，Logstash接受到的所有内容都是乱序排列，请问怎么才能让它按照Filebeat服务器里的顺序输出呢
请大家帮帮忙，麻烦了

——————
* H% t; V6 d; }& k8 i
有在网上搜过解决方法，都说是用filter的date来处理，但是按照目前能找到的所有回答都试了一遍，乱序问题依旧没有解决

SsaaM7

问题贴也是太长了 ，看了半天了……

ExxNEN

SsaaM7 发表于 2021-8-18 15:13
  i- I' V# s# R/ Y! d2 C; |: h  o4 w问题贴也是太长了 ，看了半天了……

- m. W- a- S+ F4 |% D9 X% N1 r3 I哈哈哈，我也看半天了，徘徊在ARM边沿的人啊
" p* p: i8 I6 }1 P/ k# {

uqHZau

如果试了一遍没有解决，说明你并没有成功使用你的日志时间作为logstash时间戳解析，否则不会再乱序了。再尝试一下，看下是不是过程出错了