|
|
EDA365欢迎您登录！
您需要 登录 才可以下载或查看，没有帐号？注册
x
7 x7 S& |9 `/ Z6 S
用filebeat收集 /tmp/testlog/no7.log 的内容后，传送给Logstash服务器，Logstash把收到的内容输出为 /tmp/logstash/no7.log5 w! [- L1 K) ]9 R$ ]
3 U; ?5 }5 n$ ]8 k6 q9 ~
传送没有出现日志缺失，但是发现时间顺序是混乱的，具体情况如下：
R1 l1 w0 @! T! z6 t& {+ p
7 U" d' |# {8 t% d8 b1 I V' N3 z efilebeat.yml9 _9 O6 x& C0 L4 B$ F7 S: h
filebeat.inputs:
. Y( g$ O6 A) x- e8 _/ J6 a$ k* m: r3 V+ }/ k% F& e
type: log
( z$ o7 v2 u$ d! s& U# [% cenabled: true
" g" B$ S* O+ {. z& {3 n# `paths:
. z+ f Z- {& ]3 E, g' Q/tmp/testlog/no7.log
6 N: y, h$ u0 `: y- v+ }" foutput.logstash:
! j3 |# ] {) i* T) i! Yhosts: ["xxx.xx.x.xxx:5044"]* Z; j' j; H7 O0 c, \
----------------------------------------------------------------------------
1 T, c; ]- e/ flogstash.conf) i8 K+ y1 s# J; }6 H1 f
input {. {) K7 c' K: F/ E( A( C2 H
beats {
2 f; }3 l/ Z I# h: A; A: Bport => 5044
: O" q+ T+ G" C i1 s5 Z- ^1 ]& S}
H* @( ^1 _$ q0 R, @0 I, P7 P}
6 n: E9 s- ~8 s# coutput {
4 P- K" X7 r2 C. Ifile {$ q* {- h8 i: \% s2 k2 W& P) @
path => "/tmp/logstash/no7.log"
% _/ X4 p% |# y% x, `7 F. Acodec => line { format => "%{message}"}# O+ p2 U. o H' g1 [
}, h) ]5 N/ p* S1 Y% |
}
, R2 \% I4 D. O) ?/ P- }! H& r3 \+ m----------------------------------------------------------------------------
* k0 ~! m, |) P& p& y( ]) Y4 ~' L% t, W# x7 l# U! V
时间乱序情况如下：
2 y' v6 d: y, l Q3 G8 n3 Y; j! `6 w+ `
/tmp/testlog/no7.log(Filebeat服务器)
- z- _9 k, K) W" eno7 0 2020年 1月 14日 火曜日 17:48:36 JST, r6 o2 W& O$ l
no7 1 2020年 1月 14日 火曜日 17:48:37 JST
0 S$ S! q# y6 k$ \( Zno7 2 2020年 1月 14日 火曜日 17:48:38 JST- C5 V& T$ I% h7 j$ F
no7 3 2020年 1月 14日 火曜日 17:48:39 JST
. D, h! h7 R4 L. N+ e+ J9 |no7 4 2020年 1月 14日 火曜日 17:48:40 JST
9 T. {0 p$ T% i/ T/ o& G: W" \no7 5 2020年 1月 14日 火曜日 17:48:41 JST3 H( O% J% s' z s8 n3 F
no7 6 2020年 1月 14日 火曜日 17:48:42 JST
% T& d: k, \) Z/ E" n9 O) |no7 7 2020年 1月 14日 火曜日 17:48:43 JST
8 z# a7 h' x* ^. k$ e) t5 Pno7 8 2020年 1月 14日 火曜日 17:48:44 JST( O! a: X0 i. c2 G: _7 K4 ]" M' \
no7 9 2020年 1月 14日 火曜日 17:48:45 JST
3 u6 _& o ?% \1 u----------------------------------------------------------------------------
6 k: v, N1 l W. s2 P6 `4 ?- g q1 {* ~- }2 n1 [1 F6 z
/tmp/logstash/no7.log(Logstash服务器)4 c% t3 I' M* g% A7 b$ U/ S; H
no7 2 2020年 1月 14日 火曜日 17:48:38 JST; w+ W% r$ p# @9 l$ _5 z
no7 6 2020年 1月 14日 火曜日 17:48:42 JST% O/ I4 _; l7 p9 o" e) c
no7 3 2020年 1月 14日 火曜日 17:48:39 JST$ y M0 ~# l4 o. q9 @
no7 7 2020年 1月 14日 火曜日 17:48:43 JST% Q. E& E; k; W' V9 S% r+ _1 Z
no7 0 2020年 1月 14日 火曜日 17:48:36 JST' T+ l* v+ c4 D6 b% W% q
no7 4 2020年 1月 14日 火曜日 17:48:40 JST, h% j# s9 U" Q/ I7 q
no7 8 2020年 1月 14日 火曜日 17:48:44 JST
' _3 K' a& O# C5 X! q" E4 pno7 1 2020年 1月 14日 火曜日 17:48:37 JST
+ [5 r' [& L9 T0 v' p$ j7 [7 `9 Gno7 5 2020年 1月 14日 火曜日 17:48:41 JST
. ]6 q6 |9 L$ Zno7 9 2020年 1月 14日 火曜日 17:48:45 JST9 Y1 u: h& T- f/ q- h# m1 _1 S
----------------------------------------------------------------------------
+ W. r" {6 N g8 C c4 I
1 _( ^% L! \/ t1 \4 d可以看见，Logstash接受到的所有内容都是乱序排列，请问怎么才能让它按照Filebeat服务器里的顺序输出呢
# e' V+ {8 u5 H( P7 D( U1 O* E请大家帮帮忙，麻烦了
! S" S4 h7 u8 `1 b6 S5 z9 c8 r! X" H \' x) ^/ d* P9 @8 H5 _" L2 }
——————2 R, X/ A" i5 s! I3 y
0 r9 i$ A# J+ D. [有在网上搜过解决方法，都说是用filter的date来处理，但是按照目前能找到的所有回答都试了一遍，乱序问题依旧没有解决 |
|
/1 
发表于 2021-8-18 14:06
收藏
淘帖
支持！
反对！