|
|
EDA365欢迎您登录！
您需要 登录 才可以下载或查看，没有帐号？注册
x
% T" E5 d& e4 T/ }
用filebeat收集 /tmp/testlog/no7.log 的内容后，传送给Logstash服务器，Logstash把收到的内容输出为 /tmp/logstash/no7.log& }! ^% w6 N4 C, l
+ g" i8 o! P" @9 `! X0 R- @$ U( f
传送没有出现日志缺失，但是发现时间顺序是混乱的，具体情况如下：! F7 S0 H: I8 n
( z' Z8 S. C& Q. wfilebeat.yml3 G! c0 ?* Y: S- }: c
filebeat.inputs:5 D. w& G# T8 A8 O; b: z) g, r
/ Z: | G* v' vtype: log
% ~% O$ G `% S9 A zenabled: true
; K. i, \* f$ i/ @ p) z' K7 H* Epaths:/ s$ D& [, W8 E- P3 K4 ]6 y; Y
/tmp/testlog/no7.log# D1 ]# O* I& z: K& f
output.logstash:/ n, ~. n! ^' r4 C$ m+ r; h
hosts: ["xxx.xx.x.xxx:5044"]
+ s" r$ X; k& [9 L" G+ K5 a----------------------------------------------------------------------------
7 g& G1 H8 |9 w- M/ \; y7 E8 C4 Llogstash.conf: P7 ]) i7 G3 Q- f- I* g
input {- f m0 m8 r0 f+ L1 u6 Y3 w& N
beats {
) _4 v$ S2 Q# K1 h/ [port => 5044+ ^# \7 u. _ c# Q) M5 y$ e
}) ^9 a6 p' z0 I1 ?$ p
}
( Q4 k4 ?; o0 g4 W5 R% }output {
# m3 Y+ @8 J8 k* q3 d Efile {5 W2 }" F1 K8 c; i x
path => "/tmp/logstash/no7.log"
! S" p$ Y0 f. p P. `* Acodec => line { format => "%{message}"}
1 ^; Z S) t7 ?3 F2 B}
$ [! l: e; N* T% s}9 U- \6 u" o3 R5 ]* o
----------------------------------------------------------------------------) B0 ?( t( ]* @; I( E; K
) I$ R: w, }$ [9 q时间乱序情况如下：; l6 ?! V% Q, G. z/ A3 w1 _
1 u0 T: M1 R8 \' W1 f& U
/tmp/testlog/no7.log(Filebeat服务器)
4 }! O( I9 u% H, y3 J$ `( bno7 0 2020年 1月 14日 火曜日 17:48:36 JST0 Q$ u; J1 h! v+ t6 G* z2 c
no7 1 2020年 1月 14日 火曜日 17:48:37 JST8 k8 p# `; L& E% I* v/ w6 a
no7 2 2020年 1月 14日 火曜日 17:48:38 JST6 U6 N$ p2 x" n" n& b% J
no7 3 2020年 1月 14日 火曜日 17:48:39 JST
^; ~4 Q6 }/ d1 T- \no7 4 2020年 1月 14日 火曜日 17:48:40 JST1 g! J) q b' v9 s+ \8 B
no7 5 2020年 1月 14日 火曜日 17:48:41 JST
6 f" N9 ^$ O/ F0 \! }) i! hno7 6 2020年 1月 14日 火曜日 17:48:42 JST9 U! k% H. N2 s' _: p& i
no7 7 2020年 1月 14日 火曜日 17:48:43 JST v2 t: T: ?& _2 ^* F. o. i
no7 8 2020年 1月 14日 火曜日 17:48:44 JST. c% D9 p4 l1 \* u/ Y/ o
no7 9 2020年 1月 14日 火曜日 17:48:45 JST& N. c& d8 b. y# J
----------------------------------------------------------------------------/ D6 H1 R/ q/ l o, ^
/ s0 s# P0 Z8 S+ b2 l4 I) |. J/tmp/logstash/no7.log(Logstash服务器)
# K: c. o' J5 b& j3 r# G! Z1 Pno7 2 2020年 1月 14日 火曜日 17:48:38 JST
" M# b# i, ?0 }* N3 k& Z0 Rno7 6 2020年 1月 14日 火曜日 17:48:42 JST
c6 y5 B0 E7 y; e# N5 ~( q& u1 Jno7 3 2020年 1月 14日 火曜日 17:48:39 JST
) |, O+ \' x. u$ Jno7 7 2020年 1月 14日 火曜日 17:48:43 JST9 q# s! {0 O( J* @2 s: z- k
no7 0 2020年 1月 14日 火曜日 17:48:36 JST
: G$ o3 v- e+ l$ e2 u+ N- d& Tno7 4 2020年 1月 14日 火曜日 17:48:40 JST
) F5 F! J3 u9 |$ E! _) W! nno7 8 2020年 1月 14日 火曜日 17:48:44 JST/ n' Q& A* z6 _' m
no7 1 2020年 1月 14日 火曜日 17:48:37 JST$ u5 o& o, ^0 ~$ t: i& D
no7 5 2020年 1月 14日 火曜日 17:48:41 JST% Z9 V. r/ j. G4 i4 r" K
no7 9 2020年 1月 14日 火曜日 17:48:45 JST. L' j R! a8 l1 C; e: A
----------------------------------------------------------------------------* F) f. h4 ~4 `/ P
6 j# C/ y6 k. Q( i5 y可以看见，Logstash接受到的所有内容都是乱序排列，请问怎么才能让它按照Filebeat服务器里的顺序输出呢
1 C: ?8 E9 H3 i# R# F请大家帮帮忙，麻烦了/ a- K, Q. m+ e+ w2 J6 d
" F% n. i- v- }" d. [- V
——————; z) }$ ?/ M$ q2 y: m8 t
2 G# L- D) `7 o* e7 h8 Q- p F
有在网上搜过解决方法，都说是用filter的date来处理，但是按照目前能找到的所有回答都试了一遍，乱序问题依旧没有解决 |
|
/1 
发表于 2021-8-18 14:06
收藏
淘帖
支持！
反对！