|
|
EDA365欢迎您登录！
您需要 登录 才可以下载或查看，没有帐号？注册
x
1 `: q! H. g. W& |
用filebeat收集 /tmp/testlog/no7.log 的内容后，传送给Logstash服务器，Logstash把收到的内容输出为 /tmp/logstash/no7.log
5 `( r, N8 g4 W1 d8 c
- ?/ {6 q4 f# Q1 M, q传送没有出现日志缺失，但是发现时间顺序是混乱的，具体情况如下：
' ]( D A' J% l. s7 q+ m
/ e! G) r' i5 m9 x( K% F1 xfilebeat.yml7 Z+ E' n) _$ b3 I
filebeat.inputs:8 ]3 W" o7 y! i% ^( @6 _: W$ U2 n3 c
# e5 ?; ^6 ?! x9 P- N& b! _, @: @9 _type: log
. V7 ?: f! n5 m: n% ^4 }enabled: true$ ?2 l: `" e0 o1 h/ h
paths:1 o3 V% j) j4 u
/tmp/testlog/no7.log. w! K s) y3 w: n2 ?' b5 U, X7 Z; L
output.logstash:& Q% I- d# e4 L% J" H I- O6 D! G+ j4 O
hosts: ["xxx.xx.x.xxx:5044"]
' {/ W. W6 }/ F----------------------------------------------------------------------------8 P( }" n O w& B3 }$ j- k1 ~
logstash.conf
! N& }% V; L8 }% T" _$ p& oinput {
' q; w- m$ S I! F4 wbeats {
* t5 \9 E) N! Qport => 5044% Z. C5 T, q0 F5 F2 z
}! t) p+ q! V- k; Y& H0 ~
}7 z. B+ T/ Z1 q* \& M; [* U& Y
output {
& K9 y8 y; p& k) Y6 Z# C) tfile {" o; k4 Y( K1 R- J9 G& ?
path => "/tmp/logstash/no7.log" e, D+ F! j. }# @
codec => line { format => "%{message}"}
# m; Y: b* ^' B& {}
6 }" e" x4 v7 W6 z y3 Q}
; x) J" \) f$ y- u) c----------------------------------------------------------------------------
& O5 c/ ]/ u/ x B) L6 F' ~1 `3 k/ H4 \& E* G O1 s0 Q0 i% y
时间乱序情况如下：0 s; V: Y/ u) H. k9 N9 h. Z) p
, j, i% m7 ?8 o" ^2 `6 F4 M/tmp/testlog/no7.log(Filebeat服务器)
! Q, |0 _# m( x* ]no7 0 2020年 1月 14日 火曜日 17:48:36 JST$ ]! g7 ~: j R' T% ?4 j
no7 1 2020年 1月 14日 火曜日 17:48:37 JST" h( ]- L5 t& S8 j, `+ [6 w
no7 2 2020年 1月 14日 火曜日 17:48:38 JST5 Z% X' D2 t" V
no7 3 2020年 1月 14日 火曜日 17:48:39 JST
8 U1 f! P3 \/ Uno7 4 2020年 1月 14日 火曜日 17:48:40 JST
, G9 E2 G. z) @9 _- b7 xno7 5 2020年 1月 14日 火曜日 17:48:41 JST
+ P j+ k4 i# @no7 6 2020年 1月 14日 火曜日 17:48:42 JST5 [# T( N" S* a) S, C
no7 7 2020年 1月 14日 火曜日 17:48:43 JST
* H9 V e% i7 J0 L( @no7 8 2020年 1月 14日 火曜日 17:48:44 JST/ N% r: z$ y9 D5 X; `
no7 9 2020年 1月 14日 火曜日 17:48:45 JST, j2 v/ U0 I" e. Y
----------------------------------------------------------------------------& ^5 S8 G/ k4 ]6 }, W
8 f% Z! J/ p* k. K. Y/tmp/logstash/no7.log(Logstash服务器)
6 c" P( |" B- H2 j* l9 r$ o$ Cno7 2 2020年 1月 14日 火曜日 17:48:38 JST
0 T& m, g( V1 p/ T, v6 h) Yno7 6 2020年 1月 14日 火曜日 17:48:42 JST0 o, I: @& d9 o" Z& k) }" I% E
no7 3 2020年 1月 14日 火曜日 17:48:39 JST5 t+ R) G, K/ n& ~2 j2 m0 D' e
no7 7 2020年 1月 14日 火曜日 17:48:43 JST# C' k' J- |4 ?+ I: }+ d
no7 0 2020年 1月 14日 火曜日 17:48:36 JST
8 A$ w$ ?5 B) _no7 4 2020年 1月 14日 火曜日 17:48:40 JST% S+ U1 n, I1 L9 g: W6 B1 @2 l
no7 8 2020年 1月 14日 火曜日 17:48:44 JST, U; d1 ^3 t) X' E6 E6 }
no7 1 2020年 1月 14日 火曜日 17:48:37 JST- e5 x# ~6 u" O
no7 5 2020年 1月 14日 火曜日 17:48:41 JST
2 }" a# V v2 F8 m- X9 kno7 9 2020年 1月 14日 火曜日 17:48:45 JST
* A- I3 C) q6 F- f, Q# c/ L; e----------------------------------------------------------------------------
- t& S9 q( G4 u) _4 ~. {. W. ~ h8 m5 y) A6 _ ]* {- Y0 ^
可以看见，Logstash接受到的所有内容都是乱序排列，请问怎么才能让它按照Filebeat服务器里的顺序输出呢
- Y$ a) E& t0 o2 f. [! o请大家帮帮忙，麻烦了
. G, o) D' }, I; C/ {$ r& }7 k. h0 f; O
——————5 d' t/ R$ _& ^' o
% J2 Y8 s& b2 I. |有在网上搜过解决方法，都说是用filter的date来处理，但是按照目前能找到的所有回答都试了一遍，乱序问题依旧没有解决 |
|
/1 
发表于 2021-8-18 14:06
收藏
淘帖
支持！
反对！