基于ZYNQ的CameraLink图像采集与边缘检测开发详解

Tronlong小分队

1.案例说明

• PL端接入CameraLink相机，通过Base模式采集图像（1280*1024），然后通过VDMA缓存到PS端DDR。
• 使用AXI4-Stream Switch IP核将图像复分成两路，一路用于边缘检测处理（Sobel算法），另一路直接回显。
• 利用Video Mixer IP核将图像叠加，通过HDMI输出原始图像或者算法处理后的图像。本案例支持CameraLink Base/Full模式、彩色/黑白相机。
  6 e# h+ F3 [+ v- q

此开发详解基于创龙ZYNQ Z-7045/Z-7100评估板TLZ7xH-EVM展开。
8 `7 E1 }9 G4 g3 z$ y# W3 N$ G
2.案例框图

$ x: P) V/ b3 S; r" T* H. m
1 l9 W! O* q3 p# P$ S3.申请IP核license
/ S5 I. K8 y# i- Y; w) _" m6 k/ ~本开发案例使用的Video Mixer和Chroma Resampler IP核，需要到官网下载IP核免费license，否则将无法通过TcL脚本生成Vivado工程。
请参照创龙TLZ7xH-EVM评估板（ZYNQ Z-7045/Z-7100）用户手册《Xilinx Vivado 2017.4及License安装教程》文档，导入IP核。
7 s4 I& {  M- U5 b. @0 p& _2 i

; o# A8 @: `# O+ O4 Z成功导入后，点击View License Status可以查看新添加的IP核license如下图。
- |) x: N0 S' I& O* O4 h3 J


4.Vivado工程说明
参照创龙TLZ7xH-EVM评估板（ZYNQ Z-7045/Z-7100）《基于TcL脚本生成Vivado工程及编译》文档，使用TcL脚本生成Vivado工程。
5 a' I9 B& Y5 z. w. ^（1）生成评估板TLZ7xH-EVM、ZYNQ型号为xc7z100的Vivado工程：
! `2 F# \$ d6 I4 b+ \- \7 [Vivado# vivado -mode batch -source tl_cameralink_edge_display_project.tcl  -tclargs tlz7xh-evm  xc7z100ffg900-2
（2）生成评估板TLZ7xH-EVM、ZYNQ型号为xc7z045的Vivado工程：
, f! b6 ?7 q4 p0 L4 a4 e8 h' UVivado# vivado -mode batch -source tl_cameralink_display_project.tcl  -tclargs tlz7xh-evm  xc7z045ffg900-2
6 C# ~7 C. ~& w! B2 a) k% P7 c进入Vivado工程所在的runs路径，双击.xpr文件打开工程。
. [; X) U1 t/ I: f' D
4 h2 N6 B$ c1 z: _5 K- m* g$ O
0 y' I% G6 L4 p点击"IP INTEGRATOR -> Open Block Design"，打开Vivado工程如下图所示。

# ]5 j" h& }( m8 hBase模式
: f8 D7 b+ ^- o* {
9 H9 R+ u' P& G* C8 u' a- {点击Address Editor选项，可以看到IP核分配的地址，在PS端可以通过配置这些地址（寄存器）来控制IP核。

; f. j  N* W" U7 P+ t, E

4 ^  m4 M. k3 ?0 a1 A8 w% N( ^5.案例演示
实验硬件说明
8 s/ Z9 I/ l" F& i) {3 fCameraLink相机参考型号：
% ]# O  `4 b/ ?, i+ ^

• 彩色RS-A5241-CC107-S00，支持Full/Base，分辨率2560*2048，帧率107Hz
• 黑白RS-A5241-CM107-S00，支持Full/Base，分辨率2560*2048，帧率107Hz
  8 ~# n* G2 D# I$ E- o4 r

参考下表和图将相机接到评估板CameraLink接口，显示器接到HDMI OUT接口。
1 `. R# _9 ~0 m8 O" g1 @
7 f+ D7 G" _: Q9 L9 w# m, t

模式	接口（相机-评估板） 0 H' F5 N% j/ G& Z6 F* D# p& f
Base / K- ?# r, _2 b& t	CL0-CON18

0 y. z" k$ `9 h5 Q- a( `! H1 g
Base模式
7 x2 Q: q7 ]- ^. w/ Z5 k, t5 \, I
基于Linux系统测试
$ J9 w5 a1 |+ w8 N% y评估板上电启动进入文件系统，执行如下指令新建一个"/lib/firmware"文件夹。将由Vivado工程编译生成的xxx.bin文件传送到评估板文件系统的"/lib/firmware/"目录下，并重命名为system_wrapper.bin。
参考创龙TLZ7xH-EVM评估板（Z-7045/Z-7100）用户手册《生成PL设备树及动态加载PL程序和设备树》文档，生成设备树，然后将编译好的dtbo文件拷贝到文件系统"lib/firmware"目录下。
$ ]6 J- i5 V/ ]' ?2 y) DTarget# mkdir -p /lib/firmware/
. U7 V4 o- j/ Y. b  Y6 V$ ]+ w. p

0 `% V$ s# s0 s9 y
( Q- K8 S5 }' D2 }; SHDMI OUT芯片接的是PS端的I2C，需要加载PS端设备树，加载成功后如下图所示。
3 v; ^: E9 P4 T( d" q/ f+ fTarget#mkdir /configfs
Target#mount -t configfs configfs /configfs
; E' M9 C5 ]( e* x7 _Target#mkdir /configfs/device-tree/overlays/full
Target#echo -n zynq-zc706-overlay.dtbo >  /configfs/device-tree/overlays/full/path

- \8 x& c4 E1 ^, j
: F! l' Z7 ]8 p' G& p; q& A/ }再加载PL端程序和设备树。可以看到AXI UART对应的节点为/dev/ttyUL1。
Target#mkdir /configfs/device-tree/overlays/cameralink
+ e. z" W$ A$ i9 XTarget#echo -n "pl.dtbo" > /configfs/device-tree/overlays/cameralink/path
  n- T5 g  c) ^3 H5 Q% q/ X) K6 E


' r1 Y8 o$ N7 s8 \将例程image目录下的脚本拷贝到文件系统，执行脚本进行配置，即可在显示器看到相机采集的视频。
Target#./camera_init.sh base //初始化CameraLink相机

Base模式

9 [! f: v* k( v; q9 X8 m: g: a脚本说明：
4 I, q  K% S3 a% L! h

Target#./sil9022_i2c_1080p.sh //初始化HDMI OUT
Target#./axi_vdma_cameralink.sh //初始化VDMA
Target#./switch_video.sh 1 //配置AXI4-Stream Switch IP核，参数1为原始图像
5 Q& S3 O- G7 iTarget#./mixer_init.sh 1 //初始化Video Mixer IP核，参数1为原始图像

* d) F3 E$ B3 I1 o' z

( v7 m% }6 i* [% q! `! ?. s
* {0 Z- ]% O3 f3 [" U
Target#./sobel_filter_init.sh //初始化Image_filter IP核
, i/ L9 l6 n0 Y6 m3 b5 B8 q9 wTarget#./mixer_init.sh 2 && ./switch_video.sh 2 //切换到算法处理后的图像
2 n2 x. o4 Q$ }# X  T* ]8 L) |



$ R9 _  J4 N4 V6 C5 O对于RS-A5241的相机，Base模式下，1280*1024的分辨率状态下，图像帧率有120+帧，所以图像曝光短，图像较暗，增大Image_filter IP的阈值可以获得更好的效果。
Target#devmem 0x43c000b4 w 0xff //设置高阈值为0xff
: M- T" g4 S" C- d5 U# L) aTarget#devmem 0x43c000bc w 0xa0 //设置低阈值为0xa0
1 |* x9 d0 \' N8 d  f3 I, C5 s8 K

# G  \3 e+ Z" R. O! s) O( s# O
4 l2 U% l9 j% Q7 H! U设置颜色反转：
. S) f, K8 y% C3 QTarget#devmem 0x43c000c4 w 1  //0xc4寄存器设置为1，边缘为白色，若为0；边缘为黑色
8 u7 g7 u) ~7 A
4 e9 Z+ ^8 g) W2 d& j
2 J: ?8 m1 [9 m. j

lihongfei_sky

请教一个问题，咱们这个板子相机与ZYNQ相连，即Cameralink相连，采用是直接连接的方式，还是通过芯片转换一下，看到你的那个框图，好像是应该是LVDS相连，我最近也在做FPGA接收Cameralink数据程序，但是LVDS接收哪里，没有成功，请问硬件哪里有什么需要注意的地方吗

silenced

很详细   有没有文件格式的呢？