用全志A40i开发板玩转FFmpeg

罗罗诺亚

1. FFmpeg的安装

FFmpeg是用来记录、转换数字音频、视频的开源软件，它支持文件和网络流操作。它支持以函数库的方式使用，所以有很多软件都依赖它，比如VLC、暴风影音、腾讯会议等。它的命令行程序也非常强大，各种命令行选项学起来虽然困难，但是几乎能够满足日常对音视频的各种处理需求。今天我们就通过飞凌嵌入式OKA40i-C开发板保定飞凌嵌入式技术有限公司来介绍它的命令行工作方式。

$ L! j4 p4 Y  s( w1 k

FFmpeg提供了全部源代码，所以在网上可以找到很多教程是关于交叉编译ARM版本的。我们测试的版本使用的是FFmpeg-release-armel-static.tar.xz。解压缩以后拷贝到飞凌嵌入式OKA40i-C开发板上并设置好权限就可以使用了。

4 f( ]+ u* ]! R% ?

2. USB摄像头测试

OKA40i-C开发板接口丰富，它支持USB摄像头、CMOS-OV5640摄像头、模拟摄像头。把USB摄像头插入开发板，然后使用

• 
  

v4l2-ctl --list-devices

可以看到/dev/video0就是我们的USB摄像头，如下图。

使用下面的命令可以看到该摄像头的全部参数：

• 
  $ }3 U( T8 A5 |6 ~

v4l2-ctl -d  /dev/video0 --all

• 
  

• 
  
  ) l4 o/ [& A/ c* p9 t
  $ z2 T7 x$ l4 q( l# x
    O) Q$ z: b$ p4 M# c& o
• 
  - `, m4 b$ ^2 A
  Driver Info (not using libv4l2):
  # p% Z% \6 T4 L4 n
  % K5 `$ e: O! R! D+ D) i
• 
  
  7 D* E$ b9 o: Y. C6 N  R      Driver name   : uvcvideo
    \( ^" f3 G. A$ H0 Z' e/ a
  # H  B6 [: E. ?% R, O
• 
  + l$ g  S& l0 T, p2 Q8 c& I
        Card type     : USB2.0 PC CAMERA
  ) b/ O2 e6 J9 i
  - x) q, M3 u& s! @; v' c
• 
  
        Bus info      : usb-sunxi-ehci-1
  
  
• 
  
        Driver version      : 3.10.65
  / g- v' O; O4 E2 V5 r
  
• 
  ' k- r7 \. D( [! U% ~
        Capabilities      : 0x04000001
  
  
• 
  
    Q/ u! P4 a# p" [: E: W              Video Capture
  
  
• 
  4 U( L3 m3 o0 _9 x$ t! |
                Streaming
  , X+ d: f* I' b4 V
  
• 
  
  Video input : 0 (Camera 1: ok)
  
  
• 
  
  Format Video Capture:
  ; Y# y4 M! K  v; m8 {
  
• 
  
  " o; b( J: ^" R# b( L$ _* U" }; l      Width/Height    : 640/480
  
  
• 
  
  * }! q( H9 h6 M      Pixel Format    : 'YUYV'
  
  
• 
  7 ~' ?( P& K0 x
  0 j7 ^5 s  u2 r- [/ C      Field      : None
  2 X2 b/ z% _; \2 E
  + s- N& E5 \! Z5 q. q) g+ S) b
• 
  2 t8 b8 w+ a% |% m* W! v. J
        Bytes per Line      : 1280
  3 e8 ]/ g; e8 g8 |2 w. c0 Q
  
• 
  
        Size Image      : 614400
  , f: H7 u% C8 s
  . |( @; U: X) E! g6 ^  C6 k
• 
  
        Colorspace      : Default
  
  
• 
  2 n2 g) n' D) Y4 y- c
        Transfer Function     : Default
  
  
• 
  1 T/ Q) B, b8 l0 g- w- a" |
        YCbCr Encoding      : Default
  
  
• 
  : r" Y6 `8 r. r' M: m' T  B
  1 b8 T; o5 K1 {: y. S  J' m      Quantization      : Default
  
  # D" }) m* f" x9 c
• 
    M! Z. H) z( r6 p
  Crop Capability Video Capture:
  
  - `: R; [8 j) i! \
• 
  
        Bounds     : Left 0, Top 0, Width 640, Height 480
  # f/ ~4 e- F2 U; _7 v3 o% c* {
  
• 
  
  6 C, A: ]$ e9 e( a& Y$ e      Default    : Left 0, Top 0, Width 640, Height 480
  4 p# V  w' a) x0 r+ j4 ^# f( Y
  4 G4 R+ ^1 ]2 z0 t& v# x' N1 E0 @
• 
  2 u, v7 W. ]* }* R. O0 u/ a
        Pixel Aspect: 1/1
  
  
• 
  
  , m1 w  f5 i( f+ x* Z. C. QStreaming Parameters VideoCapture:
  
  
• 
  & B) p) ?+ _1 p: m
        Capabilities    : timepeRFrame
  1 O5 R, E; B) K8 t# i$ U; v$ F4 s
  
• 
  % b* r2 h3 M" j$ L9 T" c4 W4 j3 @
  4 L# P7 X: \6 _; ^- e) @4 w8 h      Frames per second: 30.000 (30/1)
  
  ; [! g8 q' K/ q& T' E6 B$ \
• 
  * G+ I1 f* S4 t: J
  $ @) i# [6 d# j      Read buffers     : 0               
  . Q9 S3 c2 f% x2 ?% w7 J
  
• 
  
  brightness (int)    : min=0 max=255 step=1 default=128value=128               
  1 @/ r8 P- ~, C# L% u" B! ~4 F
  
• 
  , S) y/ f, `& D4 y) |
     contrast (int)    : min=0 max=255 step=1 default=135value=135                 
  
  
• 
  ! s7 e1 z- z' q2 o, k  g
  saturation (int)    : min=0 max=255 step=1 default=75 value=75                 
  
  
• 
  
          hue (int)    : min=-127 max=127 step=1 default=0 value=0               
  5 D- G" U* t1 t9 s  p( M
  0 U8 A9 R" K5 ]4 ^5 e5 _0 G5 U
• 
  
        gamma (int)    : min=1 max=8 step=1 default=4 value=4        
  
  
• 
  2 s' ?1 g" A  [
  9 u! b2 g% M1 S  t4 `& L; ppower_line_frequency (menu)   : min=0 max=2 default=1 value=1                 
  
  / }2 i( q2 t" ^
• 
  / G6 g+ `  W- e+ q
  sharpness (int)    : min=0 max=15 step=1 default=5 value=5
  
  + C' j% X% I2 O) Y% c& q) b8 d
• 
  
  ' Z; H5 U. @$ j- t$ [; ybacklight_compensation (int)    : min=1 max=5 step=1 default=1 value=1
  
  5 z" B3 P6 l1 ~
  $ w# w% O# _) L

我们使用了两种型号的USB摄像头，按照手册说明使用内置的uvccamera程序进行测试，不过都没有成功，得到的错误信息如下图所示。

我们使用FFmpeg可以抓取视频，命令行如下：

• 
  

ffmpeg -f video4linux2 -s 640x480 -pix_fmt yuyv422 -i /dev/video0 out.yuv

使用Windows版本的ffplay可以正常播放抓取的视频，命令行如下：

• 
  0 U* _3 ~- z% C) v' G7 u

ffplay -s 640x480 -pix_fmt yuyv422 out.yuv

上面保存的是YUV格式的原始视频，如果要保存压缩视频，可以用下面的命令行：

• 
  4 V( L# u( B' c0 R; ?. J

ffmpeg -y -t 15 -r 25 -f video4linux2  -i /dev/video0 out3.mp4-timestamps bs

其中的-r 25表示每秒采样25帧，这个参数必须有，否则FFmpeg可能会不断地采集并压缩同一视频帧。-r参数超过30没有什么意义，因为USB摄像头的最大能力就是30fps。

' l, H6 N/ y$ o7 u

飞凌嵌入式OKA40i-C开发板可以对于1080P的视频压缩达到45fps，所以对USB摄像头的视频压缩应该没有什么压力。

; u9 }' c6 p  q7 ]/ \  w+ b- r: ~8 |

3. FFmpeg性能测试

FFmpeg有个benchmark参数可以方便进行性能测试。我们对A40i开发板自带的一个MP4视频就行解码测试，命令行如下：

• 
  # w1 h( ]5 Z; J- |5 v" G/ I

ffmpeg-benchmark -i translate.mp4 -f null –
* N7 z( D+ s6 q! N; Q

得到的测试数据如下：

• 
  
  , D& N. B$ j- m" P8 X% pvideo:
  ) G/ N( [* N) x
  & _7 Y+ Q: N' g5 I" P' u* v
• 
  
  148kB
  
  # \+ }$ x5 G6 X9 j  ^" T+ ?
• 
  
  - B( o4 Y+ J* e' _- l- ]audio:
  
  8 K0 Z4 I4 C3 f8 W% ~
• 
  , O: T. D& }" r1 w) G7 v
  ) O, X6 F9 _* N! Y) G3 |! N( C2 ?3428kB subtitle:0kB other streams:0kB globalheaders:0kB muxing
  
  ! W4 @( Y* P1 g; [% c) m( _% T
• 
  : P' G9 u7 P4 g! g
  ; n2 l7 m2 U' O' Moverhead:
  ; g+ q4 m' H2 }( M8 I
  
• 
  
  unknown
  
  2 p- ]: ]  a( c
• 
  $ V( N8 {  u" `; X8 b4 e+ p( a
  9 d3 T) W9 c. o& A4 {2 `& c  u% c5 abench:
  
  
• 
  & B' A3 z5 S2 u) v8 r% k" C
  utime=2.820s stime=0.110s rtime=0.956s
  
  
• 
  % Y) y8 X" F9 t9 ^( y- _0 N$ U
  bench:
  : D9 }% F$ y& o6 Q, X5 Z
  
• 
  % ~* F4 D' a* O) E  W$ i. j
  maxrss=14208kB
  1 @1 z0 i9 q" ^. S" C" H7 G
  
  ( U' L1 G. o: p

' j4 Q  S, G2 u6 r2 ]# n/ o

由于我手上暂时没有其他的开发板可以对比，于是就通过我用了5年的i7-6500笔记本测试了一下，测试结果如下：

• 
  
  5 S5 n) G( x. q. gvideo:
  ' Y) ?4 t& o0 g$ |6 E
  * `: A( E4 I6 S$ p! K, Q
• 
  ; O& i1 {# u  {& W. K6 x9 U
  4 \. j" e0 X$ @. e- N0 W241kB
  
  ! N1 ]( `# w) Z
• 
  7 B. r7 b8 _+ D  `/ x6 Y
  audio:
  2 b( ?' o/ r  _& W4 A! V; Q/ Z: s
  + W' l3 M5 q- v, a
• 
  
  & L* p" z: J% [3428kB subtitle:0kB other streams:0kB globalheaders:0kB muxing
  3 s! j& v; f5 l$ d5 ?$ }
  8 K2 H4 H2 u1 h
• 
  3 y/ W( c7 ]0 Z0 I0 u% N- V5 I
  overhead:
  ( G: U7 t6 ?5 |2 Z0 f7 v+ a
  
• 
  
  unknown
  - ?7 D" @# R  {' o* d
  
• 
  ! P& F7 s1 X0 G8 I4 f9 }
  5 z; g$ i+ X! Y6 L6 l5 Sbench:
  
  
• 
  7 Y* U& l' x( j/ w
  6 l; o. V3 H% s  Rutime=0.391s stime=0.000s rtime=0.228s
  7 {% n! J' [9 b# y. O
  + [; J6 g' j' Z1 d  {
• 
  % Q; ]8 L4 b+ z( S+ i
  - N: u* m9 S* \5 nbench:
  7 P8 s# O- A6 Z
  + ]9 ^! z6 {" N0 J$ p3 n3 u
• 
  " x" d# ?6 u( m; ^1 p7 P7 f* d
  maxrss=20316kB
  
  " d5 n$ o+ T6 J5 r
  6 S2 r; C# c0 U1 U% w+ b, M/ Z. ^

  t9 q/ u3 Z2 R( f9 t! d. t9 U1 ]

4.  FFmpeg产生实时视频流

FFmpeg可以支持实时视频流的发送和接收，从而可以把OKA40i-C开发板上的视频实时发送到PC上，由PC上的软件实时接收并显示。我们可以使用下面的命令将OKA40i-C开发板上的一个MP4转换为RTP码流发送的PC上：

• 
  , c0 K8 c/ h6 q

ffmpeg -re -i test.mp4 -an -c copy -f rtp rtp://192.168.0.105:1234

使用Wireshark可以看到在PC机的1234端口收到大量来自OKA40i-C开发板的H.264视频流。

8 M4 V) J3 J% n: H7 @

如果想在PC上显示视频流，需要建立一个SDP文件，它描述视频流中的端口和编码信息。

: s$ ?% j- H' B5 l- e% _) ]; M

SDP是来自SIP标准中定义，目前VLC、Apple QuickTime和ffplay等很多软件都可以打开SDP文件，并按照SDP中的描述显示视频流。SDP文件并不需要手工编写，在ffmpeg运行时它会显示命令行所对应的SDP定义，如下图所示。

也可以用重定向将输出写入一个SDP文件，如：

• 
  0 H5 E9 K# N. ~" K8 V% y

ffmpeg -re -i test.mp4 -an -c copy -f rtp rtp://192.168.0.105:1234 > rtp.sdp
% [9 N# |- Y& D

下面就是使用VLC显示的接收到的视频流。

# G& H9 J' V; d* w% w$ v2 g
. g$ b: h" f0 q9 Q6 j+ P$ a

5.  FFmpeg转发USB摄像头的视频流

前面演示了将MP4文件转换为视频流，我们也可以将USB摄像头采集的内容实时转发到PC上，使用下面的命令行即可。

ffmpeg -y -t 15 -r 25 -f video4linux2  -i /dev/video0 -f rtprtp://192.168.0.105:1234 > usb.sdp
4 I' E3 i) w3 A1 ^

somethingabc

步骤很详细，小白式操作