arm mini2440 基于v4l2 ffmpeg x264的视频远程监控

ulppknot

( @3 k9 ~- j2 ^; `网络上盛传的基于mini2440的摄像头监控一般是基于 MJPEG-Streamer。

- T4 T! q; Y1 o7 w8 ?; D这种方法利用的是V4L2的底层驱动，然后配合mjpeg这种格式的流传输，然后通过浏览器浏览视频和控制。
' ~3 ]4 ?+ \$ j6 X
下面用一个更接近真实的IP-camera的方案来实现。
( Z. ^/ @) o* W! T7 ~# M) s
, f, [% [$ u( |# f% Q( X; n这种方案是用的V4L2的视频驱动，然后配合ffmpeg、x264的软件编解码，通过udp上传至pc显示，视频的编解码真的非常麻烦，幸好有很多开源的编解码库可以使用，几百行的代码就可以实现h.264的流编码与传输。
2 G' @: v0 u7 Z+ F( }
usb摄像头得到的数据格式一般是YUV422，如果用的是cmos 摄像头可能是raw原始数据格式，YUV422，是在raw基础上色彩抽点编码，因为人眼对亮度的敏感大于对色彩的敏感，所以并非对所有的色彩编码，这样的数据量会非常的大，视频编解码格式就不讨论了，很多很复杂，当然，你会了，就不会觉得难。
" U; B6 U% h' v) O. F+ d
* o+ D& B7 l% H- J- p) ?6 [5 k8 L/ effmpeg和x264的作用是将YUV422再编码成H.264
# r7 A' Q& ]$ \, y

+ d: g! B3 N  k& ?) [, g6 D3 c+ V上图看效果，这是在linux中接的图，窗口中显示的是从2440usb摄像头上传上来的视频

2 k9 Y) J  S7 o9 e
  {& ?& c' l; V
3 w7 A, Y, `2 J* N2 c1 S/ N* A7 U这是实物图，手机拍的
+ N& k' Z2 }/ o9 {. a0 y' f: J4 L
4 h* o. l# g7 ^; ]$ ?' C4 p8 s$ B
, J( e' f6 d7 l) J, [$ E
7 j6 ^4 O+ B0 L- _7 g) P% O1 A废话少说，一步一步实现
$ n) n6 Q( Y7 y9 k
1、平台
2 i4 {0 T( B& z" g& R
硬件：ARM mini2440，usb摄像头

( s5 k: }. p6 m, W9 c软件：fedora14，arm-linux-gcc v4.4.3
8 G. L; {: h/ V. w
2、源文件

ffmpeg-0.10.1.tar.gz
- c3 h8 [7 \, s2 i2 `
last_x264.tar.bz2
% s6 G2 b& v1 |" A% U! ]zlib-1.2.5.tar.gz (mini2440中没有libz.so，但是程序运行时需要这个库支持，所以下载源文件交叉编译）
: T$ O$ m7 m1 _: S以上文件只要会搜索的人都能找到
, \$ |7 J' ~) n" [( {2 ~; N
6 ^% x: h3 d4 v$ R下面开始交叉编译，编译过程中会遇到几个小问题，一一解决

2 z4 N, Y6 _; o/ M& o1、编译zlib
; L: O1 J  q* q9 p- a
) }+ K# B: O( J0 u% x) q解压zlib-1.2.5.tar.gz
" E8 d1 J( {$ s. Y
#tar -xzvf zlib-1.2.5.tar.gz
2 b3 B/ `5 p7 d5 P! p/ [9 v  A* j
进入源文件目录

9 m5 g( \4 o, }3 A" v. T. Q#cd zlib-1.2.5
; f8 c4 X5 |6 h- ^; U: x0 k: r
! v% u) `. F. ?运行configure配置makefile
  D6 ?0 L! G9 `" F( D+ Q
#./configure --prefix=/opt/webcam/ffpeg
0 c' a, A; T$ F( ?$ A
--prefix=/opt/webcam/ffpeg的意思是最后执行make install时，将文件安装在/opt/webcam/ffmpeg，不然会默认安装在/usr/local/lib中，其实这里不写这个参数，最后一起在makefile中修改也可以的。

配置后会在当前目录下生成Makefile
/ L* J9 v  o! i2 Q% K$ l
修改Makefile以便能够用arm-linux-gcc编译，其实就是把gcc 改成arm-linux-gcc，ar改成arm-linux-ar等

' D& c0 @% b" \; J) q下面是改好的makefile部分

SFLAGS=-O3 -fPIC -D_LARGEFILE64_SOURCE=1
* x, p+ l/ v0 }. ?2 ~LDFLAGS= -L. libz.a
3 I" \* j* \. [3 a' k; qTEST_LDFLAGS=-L. libz.a
LDSHARED=arm-linux-gcc -shared -Wl,-soname,libz.so.1,--version-script,zlib.map
CPP=arm-linux-gcc -E

% M, q) W/ O0 J, a2 u( C+ USTATICLIB=libz.a
( z) @" t' e! \9 _4 V% DSHAREDLIB=libz.so
SHAREDLIBV=libz.so.1.2.5
4 t- N6 X+ Y( \; }' tSHAREDLIBM=libz.so.1
% {1 l0 ^" m3 ?: o3 H6 OLIBS=$(STATICLIB) $(SHAREDLIBV)
. ?) }2 l, |! Z
) H( O# N) a) I$ kAR=arm-linux-ar rc
RANLIB=arm-linux-ranlib
! W! c6 q* V7 i' d7 U; y$ t* m  xLDCONFIG=ldconfig
LDSHAREDLIBC=-lc
TAR=tar
SHELL=/bin/sh
EXE=

prefix =/opt/webcam/ffmpeg
运行configure是的--prefix 就是最后这个参数，这里修改也行的
, S# |5 _0 P+ c) w' I2 B然后make，make install

#make

6 x, j& L; k/ p; q/ v#make install

" a: v3 b) {/ Kzlib的编译应该不会出现问题，在/opt/wecam/ffmpeg中是编译好的文件，在子文件夹lib中的.so文件最后要复制到2440里
( ?  L/ q8 ~8 A! ]

2、编译x264
% Y' o+ K5 a/ q6 R7 k6 `. }6 _! X
4 I% Y7 p) x. X/ B% @/ {8 i应为编译ffmpeg时需要要添加对x264的支持，所以要先编译好x264，一边让编译ffmpeg时能够找到它

解压last_x264.tar.bz2
# B' ^" i9 u+ e* o! n. K! N( o' o, {
# @" N4 g5 p( o0 m, w* g#tar -xvzf last_x264.tar.bz2

- h& W; D5 I8 A% l/ A+ Q#cd x264-snapshot-20120316-2245
' g4 n/ I) W1 x
8 K) O6 X/ r6 H7 {& U# ./configure --host=arm-linux --prefix=/opt/wecam/ffmpeg --enable-shared --disable-asm

9 h  A+ h" i9 D1 ?配置选项中已经添加了host的选项，所以makefile就不用再修改了，但是要修改config.mak

SRCPATH=.
% o# w4 R" Y  l" J! ^prefix=/opt/webcam/ffmpeg
9 ~' s/ F! x+ o7 Uexec_prefix=${prefix}
bindir=${exec_prefix}/bin
libdir=${exec_prefix}/lib
includedir=${prefix}/include
ARCH=ARM
SYS=LINUX
' p( E' Y$ Q2 F7 v( n: KCC=arm-linux-gcc
6 k5 R5 i8 f" k: |4 n/ _: W* `1 P8 L" PCFLAGS=-Wshadow -O3 -fno-fast-math  -Wall -I. -I$(SRCPATH) -std=gnu99 -fPIC -fomit-frame-pointer -fno-tree-vectorize
DEPMM=-MM -g0
: s7 c4 T; j# TDEPMT=-MT
LD=arm-linux-gcc -o
LDFLAGS= -lm -lpthread
: ], ~" K; \4 D" a# G1 yLIBX264=libx264.a
& H, Q7 ?, z& s* J* A: O  GAR=arm-linux-ar rc
( r; J/ ]/ z/ M) eRANLIB=arm-linux-ranlib
STRIP=arm-linux-strip
#make
5 ^# `4 A. D* }/ j* `# d- r6 q; S
#make install

& K% J0 V, w/ s4 z) l" j  w, Hx264编译也不会出现问题的，如果有，把之前安装的pc端的x264全部删掉
& d& ^! u6 B& Q& [! Y

3、编译ffmpeg
7 }3 Y. A; O. H* o" F" z) F8 [
解压ffmpeg-0.10.1.tar.gz

#tar -xzvf ffmpeg-0.10.1.tar.gz
+ k8 U2 r# ]# x
#cd ffmpeg-0.10.1
' G1 O+ H# `# g! o' M/ S; I- M
/ q6 q9 i8 u- a7 W3 t& `. ~( h#./configure --enable-cross-compile --target-os=linux --cross-prefix=arm-linux- --cc=arm-linux-gcc --enable-shared --arch=armv6 --enable-gpl --enable-libx264 --prefix=/opt/webcam/ffmpeg --extra-cflags=-I/opt/webcam/x264/include --extra-ldflags=-L/opt/webcam/x264/lib/

; C$ t3 C2 k+ s0 I配置需要注意的是--extra-cflags=-I/opt/webcam/ffmpeg/include --extra-ldflags=-L/opt/webcam/ffmpeg/lib/ 指定x264库的位置
7 A) a2 {5 V& ?; `$ c5 k* x
% c2 U% M) }$ Z6 P  V#make
" U* C" ~. }% I5 b/ |0 y
! h3 ?; Q% y4 i# I& x" f# G#make install
4 g* W! G* ~0 N* g2 v5 o/ f3 d  e
# E0 B$ e3 h# ]$ Q$ h以上，所有依赖的库就都编译好了，下面编译webcam应用程序


8 n4 r( v8 z$ [& K0 M& }  ]( b5 A所有的源文件不做除了修改udp上传用的ip地址和makefile文件外，不做任何修改，源码存放位置/opt/webcam

+ K1 E+ p, F+ \) S4 p" x; m1、修改server.cpp ip

7 p) w+ A' b0 D) H+ {7 V- n1 f  s将#define TARGET_IP "192.168.1.220" 后面的ip改成你的pc linux的ip，依旧是客户端webcam_shower所在的pc的ip地址

. f' B  T3 {" N2、修改shower.cpp中的

inet_addr("192.168.1.220"); 将ip修改为pc linux的ip，就是自己的ip，socket绑定端口用

2 }3 c+ J  E0 H3、修改makefile，以便交叉编译webcam_server，注意，之前编译zlib x264 ffmpeg都在放在webcam/ffmpeg中了

all: webcam_server
#webcam_shower
' v' Q9 o3 E0 G9 W. L8 l' ~+ p# \! XCC=arm-linux-g++
LD=arm-linux-ld
* H, h8 i* c4 u" W1 `9 ^CXXFLAGS=        -c -g -O0 -fPIC -I./ffmpeg/include -L./ffmpeg/lib
( w: a: m7 ]- K& I3 f* Z" t4 Q
OBJS_SERVER=        capture.o vcompress.o sender.o server.o
$ G! @. O7 {3 H5 {; `2 NOBJS_SHOWER=         vshow.o recver.o shower.o
LIBS_SERVER=        -lavcodec -lswscale -lavutil -lx264 -lpthread -lz
LIBS_SHOWER=    -lavcodec -lswscale -lavutil

! N( W+ R$ Q5 y5 C! s7 ].cpp.o:
        $(CC) $(CXXFLAGS) $<
9 i" ]; h# N; E; Q
6 |- H7 B7 Y. R- P1 Lwebcam_server: $(OBJS_SERVER)
        $(CC) -o $@ $^ -L./ffmpeg/lib $(LIBS_SERVER)

$ D' ]; {, `" u/ f" awebcam_shower: $(OBJS_SHOWER)
        $(CC) -o $@ $^ $(LIBS_SHOWER)

clean:
) F. H, v; m3 e4 Q        rm -f *.o
/ c' `& J5 h4 D% l        rm -f webcam_server
( J7 O% k6 n: ?- n" Z0 ^        rm -f webcam_shower

- j5 e: E$ u* `7 b- F' Y, s; b#make
* Q( `, g  p) Z& o- e3 W, q这一步会出错，报c与c++兼容问题，在include/libavutil/common.h中添加如下，即可
; u: e. C/ r0 I" ]  U- ]4 z( M. g
#ifndef   UINT64_C
4 N7 w/ @" j; ^: k0 b6 b#define   UINT64_C(value)__CONCAT(value,ULL)
#endif
: \: L- S" [: H- X$ i& s2 j# L

最后就得到了编译好的web_server了，将web_server复制到mini2440中，并且将之前编译的第三方编解码库/lib下的所有.so文件复制到mini2440的 /usr/lib中
) M6 |: D+ z& p: j
  y5 I4 T" ~+ S& I) i6 M: ~* T插上usb摄像头，webcam_server就可以再mini2440中运行了
1 v  W" {+ y- L4 _7 m8 N

最后是编译pc端的webcam_shower，这个很简单，按顺序从头编译就好了

regngfpcb

arm mini2440 基于v4l2 ffmpeg x264的视频远程监控