EDA365电子论坛网

标题: 自助Linux之strace问题诊断工具 [打印本页]

---

作者: haidaowang    时间: 2020-3-10 10:15
标题: 自助Linux之strace问题诊断工具

引言
8 r' l2 w$ ~7 w4 ]
“Oops，系统挂死了..."

“Oops，程序崩溃了..."
& f! L. V8 P  J7 T! r- B9 I
6 K- T5 l5 P3 x! `( {( e1 i“Oops，命令执行报错..."

/ C. Y* Q3 N0 c7 T) [6 k. Q$ i% k

对于维护人员来说，这样的悲剧每天都在上演。理想情况下，系统或应用程序的错误日志提供了足够全面的信息，通过查看相关日志，维护人员就能很快地定位出问题发生的原因。但现实情况，许多错误日志打印模凌两可，更多地描述了出错时的现象(比如"could not open file"，"connect to XXX time out")，而非出错的原因。

' O3 i1 B2 m5 u2 t: ]% k8 [2 G2 x

错误日志不能满足定位问题的需求，我们能从更“深层”的方面着手分析吗？程序或命令的执行，需要通过系统调用(system call)与操作系统产生交互，其实我们可以通过观察这些系统调用及其参数、返回值，界定出错的范围，甚至找出问题出现的根因。
& _. n$ u3 ]1 r$ q$ L- {/ [% i! t

) n9 Q8 r' y; q, k
在Linux中，strace就是这样一款工具。通过它，我们可以跟踪程序执行过程中产生的系统调用及接收到的信号，帮助我们分析程序或命令执行中遇到的异常情况。
3 P! B! y! q. j% H/ _, ]9 Q* j
7 t6 l9 s* H( J3 r

( N/ T3 ~2 \' W; \5 n2 L一个简单的例子
, V4 j; t" e2 W0 V: h: t- z
如何使用strace对程序进行跟踪，如何查看相应的输出？下面我们通过一个例子来说明。
7 ^. K5 C2 n/ r) G' X
1.被跟踪程序示例
: k: I$ A5 k- v, s, v; ^! k

• //main.c
• #include <sys/types.h>
• #include <sys/stat.h>
• #include <fcntl.h>
• int main( )
• {
• 　　int fd ;
• 　　int i = 0 ;
• 　　fd = open( “/tmp/foo”, O_RDONLY ) ;
• 　　if ( fd < 0 )
• 　　　　i=5;
• 　　else
• 　　　　i=2;
• 　　return i;
• }
  

以上程序尝试以只读的方式打开/tmp/foo文件，然后退出，其中只使用了open这一个系统调用函数。之后我们对该程序进行编译，生成可执行文件：
. z! \( E8 y3 O* g

• lx@LX:~$ gcc main.c -o main
  

$ G8 t8 m$ B! S
* |' F1 {- Y3 ?4 p# J2.strace跟踪输出

5 o& ~- A! X1 G4 J: e3 \使用以下命令，我们将使用strace对以上程序进行跟踪，并将结果重定向至main.strace文件：
- S! s) z$ y$ i0 B
* j( `( X, C+ h1 w

• lx@LX:~$ strace -o main.strace ./main
  ! t$ p4 t9 M% G0 K* P' N

% p: X* e$ _7 Q& o: I1 N0 w% _6 A接下来我们来看main.strace文件的内容：

• lx@LX:~$ cat main.strace
• 1 execve("./main", ["./main"], [/* 43 vars */]) = 0
• 2 brk(0)                                  = 0x9ac4000
• 3 access("/etc/ld.so.nohwcap", F_OK)      = -1 ENOENT (No such file or directory)
• 4 mmap2(NULL, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xb7739000
• 5 access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or directory)
• 6 open("/etc/ld.so.cache", O_RDONLY)      = 3
• 7 fstat64(3, {st_mode=S_IFREG|0644, st_size=80682, ...}) = 0
• 8 mmap2(NULL, 80682, PROT_READ, MAP_PRIVATE, 3, 0) = 0xb7725000
• 9 close(3)                                = 0
• 10 access("/etc/ld.so.nohwcap", F_OK)      = -1 ENOENT (No such file or directory)
• 11 open("/lib/i386-linux-gnu/libc.so.6", O_RDONLY) = 3
• 12 read(3, "\177ELF\1\1\1\0\0\0\0\0\0\0\0\0\3\0\3\0\1\0\0\0\220o\1\0004\0\0\0"..., 512) = 512
• 13 fstat64(3, {st_mode=S_IFREG|0755, st_size=1434180, ...}) = 0
• 14 mmap2(NULL, 1444360, PROT_READ|PROT_EXEC, MAP_PRIVATE|MAP_DENYWRITE, 3, 0) = 0x56d000
• 15 mprotect(0x6c7000, 4096, PROT_NONE)     = 0
• 16 mmap2(0x6c8000, 12288, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_DENYWRITE, 3, 0x15a) = 0x6c8000
• 17 mmap2(0x6cb000, 10760, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) = 0x6cb000
• 18 close(3)                                = 0
• 19 mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xb7724000
• 20 set_thread_area({entry_number:-1 -> 6, base_addr:0xb77248d0, limit:1048575, seg_32bit:1, contents:0, read_exec_    only:0, limit_in_pages:1, seg_not_present:0, useable:1}) = 0
• 21 mprotect(0x6c8000, 8192, PROT_READ)     = 0
• 22 mprotect(0x8049000, 4096, PROT_READ)    = 0
• 23 mprotect(0x4b0000, 4096, PROT_READ)     = 0
• 24 munmap(0xb7725000, 80682)               = 0
• 25 open("/tmp/foo", O_RDONLY)              = -1 ENOENT (No such file or directory)
• 26 exit_group(5)                           = ?
• //标红的行号为方便说明而添加，非strace执行输出
  % n) V5 l$ L& c1 B  i, m

; d& ~' @# W+ [
看到这一堆输出，是否心生畏难情绪？不用担心，下面我们对输出逐条进行分析。


  X, U. h% N( p  ^+ P% X
  r) H, s1 l5 D4 ]% sstrace跟踪程序与系统交互时产生的系统调用，以上每一行就对应一个系统调用，格式为：

6 O: i, l2 R9 N0 e; _系统调用的名称( 参数... ) = 返回值  错误标志和描述


2 K- Z: j$ H, Q; ?* j  MLine 1:  对于命令行下执行的程序，execve(或exec系列调用中的某一个)均为strace输出系统调用中的第一个。strace首先调用fork或clone函数新建一个子进程，然后在子进程中调用exec载入需要执行的程序(这里为./main)
  c: ~) Q; r) h
Line 2:  以0作为参数调用brk，返回值为内存管理的起始地址(若在子进程中调用malloc，则从0x9ac4000地址开始分配空间)
! ^: A' R5 P5 p. d: W& j
Line 3:  调用access函数检验/etc/ld.so.nohwcap是否存在

2 v6 o% N9 M. f3 a, v& mLine 4:  使用mmap2函数进行匿名内存映射，以此来获取8192bytes内存空间，该空间起始地址为0xb7739000，关于匿名内存映射，可以看这里
" z, T( Y* K6 B( E% t" [0 k# s, g
) E/ U" w' J& I8 j3 HLine 6:  调用open函数尝试打开/etc/ld.so.cache文件，返回文件描述符为3
8 _6 O9 m( ^# b/ M' y- R
Line 7:  fstat64函数获取/etc/ld.so.cache文件信息

Line 8:  调用mmap2函数将/etc/ld.so.cache文件映射至内存，关于使用mmap映射文件至内存，可以看这里
# O; `, S+ L* q( ^5 r4 g6 x
Line 9:  close关闭文件描述符为3指向的/etc/ld.so.cache文件
* D) N5 {- w8 e( k6 H0 y. Q4 I: w8 U# ]
Line12:  调用read，从/lib/i386-linux-gnu/libc.so.6该libc库文件中读取512bytes，即读取ELF头信息
* I/ e8 G# p6 C7 J3 n
1 L5 I: F3 X/ l% WLine15:  使用mprotect函数对0x6c7000起始的4096bytes空间进行保护(PROT_NONE表示不能访问，PROT_READ表示可以读取)
8 i; `" C) C: e" Y# V
9 y& u1 E7 q" J0 YLine24:  调用munmap函数，将/etc/ld.so.cache文件从内存中去映射，与Line 8的mmap2对应
: u' U$ X1 r5 w
Line25:  对应源码中使用到的唯一的系统调用——open函数，使用其打开/tmp/foo文件
8 A  o' v) G# Y
Line26:  子进程结束，退出码为5(为什么退出值为5？返回前面程序示例部分看看源码吧：)
; o! d& B# `1 W# b' J+ `- ?* t

3.输出分析
" @+ u' [( O2 U/ ~. a
0 q1 E3 r* A5 {0 X4 i6 o呼呼！看完这么多系统调用函数，是不是有点摸不着北？让我们从整体入手，回到主题strace上来。
' X4 i+ h6 L6 |2 ?
' j: S- h1 _6 j! R& Q) \  X  o从上面输出可以发现，真正能与源码对应上的只有open这一个系统调用(Line25)，其他系统调用几乎都用于进行进程初始化工作：装载被执行程序、载入libc函数库、设置内存映射等。


. I# p, ]$ ]9 m/ g. T$ \* f4 S源码中的if语句或其他代码在相应strace输出中并没有体现，因为它们并没有唤起系统调用。strace只关心程序与系统之间产生的交互，因而strace不适用于程序逻辑代码的排错和分析。
) z4 I* S( E3 q" s! s, r( I
0 K4 I5 }; c* l
对于Linux中几百个系统调用，上面strace输出的几个只是冰山一角，想要更深入地了解Linux系统调用，那就man一下吧！
: F+ ?$ s! W- j: k7 n/ |+ L0 ~
" v* I7 Y1 w: c; k  d! {

• man 2 系统调用名称
• man ld.so  //Linux动态链接的manpage
  : ^0 t) G- b. U  \) _: g: |

strace常用选项

' _  e+ v* W! J, E该节介绍经常用到的几个strace命令选项，以及在何时使用这些选项合适。
- [" G1 v" T& u( A) T
9 r: c. r, e2 i' ~% L& l; q! \1.跟踪子进程

默认情况下，strace只跟踪指定的进程，而不对指定进程中新建的子进程进行跟踪。使用-f选项，可对进程中新建的子进程进行跟踪，并在输出结果中打印相应进程PID：
6 h& C7 k5 r: F$ C, m

• mprotect(0x5b1000, 4096, PROT_READ)     = 0
• munmap(0xb77fc000, 80682)               = 0
• clone(Process 13600 attached
• child_stack=0, flags=CLONE_CHILD_CLEARTID|CLONE_CHILD_SETTID|SIGCHLD, child_tidptr=0xb77fb938) = 13600
• [pid 13599] fstat64(1, {st_mode=S_IFCHR|0620, st_rdev=makedev(136, 0), ...}) = 0
• [pid 13600] fstat64(1, {st_mode=S_IFCHR|0620, st_rdev=makedev(136, 0), ...}) = 0
• [pid 13599] mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0 <unfinished ...>
• [pid 13600] mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xb780f000
• ……
  6 ?9 }& S2 L+ L

: I5 U2 j/ O4 i6 U. g对多进程程序、命令和脚本使用strace进行跟踪的时，一般打开-f选项。
2 G7 b, |5 Z9 _+ ^$ P

5 Q( Q5 n: S% x+ U% S9 @7 M9 K2.记录系统调用时间

2 x5 ^$ f* X# Gstrace还可以记录程序与系统交互时，各个系统调用发生时的时间信息，有r、t、tt、ttt、T等几个选项，它们记录时间的方式为：

/ z7 D, a4 q5 [% N  o$ a$ G-T:   记录各个系统调用花费的时间，精确到微秒

" Y9 p  F" Q7 R4 X) B3 M3 ]; ~-r:   以第一个系统调用(通常为execve)计时，精确到微秒
( [. L* S0 s& w7 `/ C  @  R
-t:   时：分：秒

( \, |0 ^6 t! L7 r, E-tt:  时：分：秒 . 微秒

2 _0 a8 u! i' I) q8 n3 U-ttt: 计算机纪元以来的秒数 . 微秒
7 K/ C9 V  N( u4 k
比较常用的为T选项，因为其提供了每个系统调用花费时间。而其他选项的时间记录既包含系统调用时间，又算上用户级代码执行用时，参考意义就小一些。对部分时间选项我们可以组合起来使用，例如：
( g7 B, y6 u. O7 d
8 f. r4 w3 T7 J2 _' v+ C

• strace -Tr ./main
• 0.000000 execve(“./main”, [“main”], [/* 64 vars */]) = 0
• 0.000931 fcntl64(0, F_GETFD)= 0 <0.000012>
• 0.000090 fcntl64(1, F_GETFD)= 0 <0.000022>
• 0.000060 fcntl64(2, F_GETFD)= 0 <0.000012>
• 0.000054 uname({sys=”Linux”, node=”ion”, ...}) = 0 <0.000014>
• 0.000307 geteuid32()= 7903 <0.000011>
• 0.000040 getuid32()= 7903 <0.000012>
• 0.000039 getegid32()= 200 <0.000011>
• 0.000039 getgid32()= 200 <0.000011>
• ……
  

最左边一列为-r选项对应的时间输出，最右边一列为-T选项对应的输出。
! X; p, c" q! Z9 Y
8 ~# m4 I# R6 h! l' ]4 T; ^
3.跟踪正在运行的进程
8 v. q* J; p" J+ `
使用strace对运行中的程序进行跟踪，使用命令“strace -p PID”即可，命令执行之后，被跟踪的进程照常执行，strace的其他选项也适用于运行中的进程跟踪。

9 F( c) W$ V: G2 [  |
; Y+ y3 q& _6 ^, V. k使用strace处理程序挂死

1 ~5 S1 W8 p4 x( L5 i最后我们通过一个程序示例，学习使用strace分析程序挂死的方法。
7 N2 o0 s* a4 a: }/ q
1.挂死程序源码
+ T, L% |/ O2 G* ?. j* [
- |. R: s: A& i. q

• //hang.c
• #include <stdio.h>
• #include <sys/types.h>
• #include <unistd.h>
• #include <string.h>
• int main(int argc, char** argv)
• {
•     getpid(); //该系统调用起到标识作用
•     if(argc < 2)
•     {
•         printf("hang (user|system)\n");
•         return 1;
•     }
•     if(!strcmp(argv[1], "user"))
•         while(1);
•     else if(!strcmp(argv[1], "system"))
•         sleep(500);
•     return 0;
• }
  ; F: z6 ]0 [* v) V9 Q

可向该程序传送user和system参数，以上代码使用死循环模拟用户态挂死，调用sleep模拟内核态程序挂死。

& }/ S0 N: R* ~2 B# Z/ Y
2.strace跟踪输出

用户态挂死跟踪输出：
+ H. _' Q3 b, R
7 T3 D2 L7 ~. v% J: L

• lx@LX:~$ gcc hang.c -o hang
• lx@LX:~$ strace ./hang user
• ……
• mprotect(0x8049000, 4096, PROT_READ)    = 0
• mprotect(0xb59000, 4096, PROT_READ)     = 0
• munmap(0xb77bf000, 80682)               = 0
• getpid()                                = 14539
  5 }/ A% N" ^8 O/ D; d

+ `8 _7 _2 t' l% J. T+ p9 L
内核态挂死跟踪输出：

  y2 l; b  y" L! e2 r2 _# V

• lx@LX:~$ strace ./hang system
• ……
• mprotect(0x8049000, 4096, PROT_READ)    = 0
• mprotect(0xddf000, 4096, PROT_READ)     = 0
• munmap(0xb7855000, 80682)               = 0
• getpid()                                = 14543
• rt_sigprocmask(SIG_BLOCK, [CHLD], [], 8) = 0
• rt_sigaction(SIGCHLD, NULL, {SIG_DFL, [], 0}, 8) = 0
• rt_sigprocmask(SIG_SETMASK, [], NULL, 8) = 0
• nanosleep({500, 0},
  # y0 V$ I. _: k

8 g0 G8 [# h& Q0 {" m1 F
9 N% h8 ~& L: I# j3.输出分析
+ o1 G4 M2 b) V% d* t
用户态挂死情况下，strace在getpid()一行输出之后没有其他系统调用输出；进程在内核态挂死，最后一行的系统调用nanosleep不能完整显示，这里nanosleep没有返回值表示该调用尚未完成。
7 S  u) {# i5 t; T+ j
! ^/ B3 a4 Q4 M
因而我们可以得出以下结论：使用strace跟踪挂死程序，如果最后一行系统调用显示完整，程序在逻辑代码处挂死；如果最后一行系统调用显示不完整，程序在该系统调用处挂死。

2 T5 F0 c3 N' t5 I7 N" F0 a4 u( c6 `
当程序挂死在系统调用处，我们可以查看相应系统调用的man手册，了解在什么情况下该系统调用会出现挂死情况。另外，系统调用的参数也为我们提供了一些信息，例如挂死在如下系统调用：

• read(16,
  3 i+ B$ ?  {2 J) G5 \4 z

( x3 L2 x) J/ V% G* Y1 X! d那我们可以知道read函数正在对文件描述符为16的文件或socket进行读取，进一步地，我们可以使用lsof工具，获取对应于文件描述符为16的文件名、该文件被哪些进程占用等信息。


! `3 L& d7 c; R- {( R5 S小结
) g2 w2 \. B( X8 Z( v) \9 R
+ `5 C% E# z! s) w/ o  n; y本文对Linux中常用的问题诊断工具strace进行了介绍，通过程序示例，介绍了strace的使用方法、输出格式以及使用strace分析程序挂死问题的方法，另外对strace工具的几个常用选项进行了说明，描述了这几个选项适用的场景。

1 P& [; A9 n1 m8 {" b- B下次再遇到程序挂死、命令执行报错的问题，如果从程序日志和系统日志中看不出问题出现的原因，先别急着google或找高手帮忙，别忘了一个强大的工具它就在那里，不离不弃，strace一下吧！
! n1 ], h7 ~; C1 N) B

---

作者: CCxiaom    时间: 2020-3-10 16:41
自助Linux之问题诊断工具strace

---

作者: NNNei256    时间: 2020-3-11 16:35
自助Linux之strace问题诊断工具

---

欢迎光临 EDA365电子论坛网 (https://bbs.eda365.com/)

Powered by Discuz! X3.2