|
|
EDA365欢迎您登录！
您需要 登录 才可以下载或查看，没有帐号？注册
x
ISP是Image Signal Processor 的简称，也就是图像信号处理器。
1 J# A" B+ Z" ?2 U! iDSP是Digital Signal Processor 的缩写，也就是数字信号处理器。
& {( k9 P+ q) h& q6 f, T5 NISP一般用来处理Image Sensor（图像传感器）的输出数据，如做AEC（自动曝光控制）、AGC（自动增益控制）、AWB（自动白平衡）、色彩校正、Lens Shading、Gamma 校正、祛除坏点、Auto Black Level、Auto White Level等等功能的处理。. ?: S4 n- r' \2 x9 ^
而DSP功能就比较多了，它可以做些拍照以及回显（JPEG的编解码）、录像以及回放（Video 的编解码）、H.264的编解码、还有很多其他方面的处理，总之是处理数字信号了。ISP是一类特殊的处理图像信号的DSP。9 q5 K( ~) m! O+ g( m! N
ISP架构方案：分为独立（外置）与集成（内置）两种形式。
& j& }, Z# j* B: U7 G3 N+ a& H1 oCPU处理器包括：AP、BP、CP。其中BP：基带处理器、AP：应用处理器、CP：多媒体加速器。6 z8 h6 {9 A, a2 y8 `( f1 _
" F! ]' P8 h" n& H u: ?* X
ISP的主要内部构成
' `5 W S- S7 N/ ^" d' Q如下图所示，ISP内部包含 CPU、SUP IP、IF 等设备，事实上，可以认为 ISP 是一个 SOC（system of chip），可以运行各种算法程序，实时处理图像信号。. N+ @2 m" A; `3 S# `8 P
$ h6 [, e4 r* {' lCPU：CPU即中央处理器，可以运行AF、LSC等各种图像处理算法，控制外围设备。现代的ISP内部的CPU一般都是ARMCortex-A系列的，例如Cortex-A5、Cortex-A7。$ L: E9 g" o w; v
SUBIP：SUBIP是各种功能模块的通称，对图像进行各自专业的处理。常见的SUBIP如DIS、CSC、VRA等。
* F0 t' S3 k B6 ~5 O% f" I图像传输接口：图像传输接口主要分两种，并口ITU和串口CSI。CSI是MIPICSI的简称，鉴于MIPICSI的诸多优点，在手机相机领域，已经广泛使用MIPI-CSI接口传输图像数据和各种自定义数据。外置ISP一般包含MIPI-CSIS和MIPI-CSIM两个接口。内置ISP一般只需要MIPI-CSIS接口。
8 Y" `& r# E; c% Q1 Q1 l; q通用外围设备：通用外围设备指I2C、SPI、PWM、UART、WATCHDOG等。ISP中包含I2C控制器，用于读取OTP信息，控制VCM等。对于外置ISP，ISP本身还是I2C从设备。AP可以通过I2C控制ISP的工作模式，获取其工作状态等。
- Q- E7 \& c+ g& @! A$ w* z" J4 m" Z$ `) Z/ Q
ISP的控制结构
/ y" J% _$ ~4 |8 f7 SISP包括：1、ISP逻辑 2、运行在其上的firmware0 ~) M7 ?1 f4 }2 T
如图所示，lens 将光信号投射到sensor 的感光区域后，sensor 经过光电转换，将Bayer 格式的原始图像送给ISP，ISP 经过算法处理，输出RGB空间域的图像给后端的视频采集单元。在这个过程中，ISP通过运行在其上的firmware（固件）对ISP逻辑，从而对lens 和sensor 进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能。其中，firmware的运转靠视频采集单元的中断驱动。PQ Tools 工具通过网口或者串口完成对ISP 的在线图像质量调节。5 O$ v, A+ g0 Q9 U4 @4 U& a
ISP 由ISP逻辑及运行在其上的Firmware组成，逻辑单元除了完成一部分算法处理外，还可以统计出当前图像的实时信息。Firmware 通过获取ISP 逻辑的图像统计信息，重新计算，反馈控制lens、sensor 和ISP 逻辑，以达到自动调节图像质量的目的。6 T$ _! Y/ f: B. _+ o) q$ c1 v
( {* F$ d( ^* K1 ~( E: ?# n& F
ISP 的Firmware包含三部分，一部分是ISP 控制单元和基础算法库，一部分是AE/AWB/AF 算法库，一部分是sensor 库。Firmware 设计的基本思想是单独提供3A算法库，由ISP控制单元调度基础算法库和3A 算法库，同时sensor 库分别向ISP 基础算法库和3A 算法库注册函数回调，以实现差异化的sensor 适配。ISP firmware 架构如图所示。
5 s2 f# ^( W2 I( y' q不同的sensor 都以回调函数的形式，向ISP 算法库注册控制函数。ISP 控制单元调度基础算法库和3A 算法库时，将通过这些回调函数获取初始化参数，并控制sensor，如调节曝光时间、模拟增益、数字增益，控制lens 步进聚焦或旋转光圈等。
' W# X, Y* J( b
n( @! s% L, xAP对ISP的操控方式
4 W" T3 M! `7 i8 d
' m. X7 `' x3 A( n) l- a) ^( `
CPU处理器包括：AP、BP、CP。BP：基带处理器、AP：应用处理器、CP：多媒体加速器, F5 A" W. u& J
这里所说的控制方式是AP 对 ISP 的操控方式 。$ O5 J+ |# E8 `9 a9 F
I2C/SPI：这一般是外置 ISP 的做法。SPI 一般用于下载固件、I2C 一般用于寄存器控制。在内核的 ISP 驱动中，外置 ISP 一般是实现为 I2C 设备，然后封装成 V4L2-SUBDEV。9 e% |! b2 ~4 p1 p+ x+ k: j, h3 ?& n
MEM MAP：这一般是内置 ISP 的做法。将 ISP 内部的寄存器地址空间映射到内核地址空间，
# h: ?" |# T9 |1 D2 ~. J; nMEM SHARE：这也是内置 ISP 的做法。AP 这边分配内存，然后将内存地址传给 ISP，二者实际上共享同一块内存。因此 AP 对这段共享内存的操作会实时反馈到 ISP 端。 k; Q% x' a) z) A* Q1 e
4 B3 @ F; ~1 [* y' o
外置 ISP 架构的优点主要有：
$ Q' a/ t! f$ u6 t2 [/ W- c能够提供更优秀的图像质量：在激烈的市场竞争下，能够存活到现在的外置 ISP 生产厂商在此领域一般都有很深的造诣，积累了丰富的影像质量调试经验，能够提供比内置 ISP 更优秀的性能和效果。因此，选用优质的外置 ISP 能提供专业而且优秀的图像质量。/ [7 I1 L' z! O8 B+ C
能够支援更丰富的设计规划：外置 ISP 的选型基本不受 AP 的影响，因此魅族可以从各个优秀 ISP 芯片供应商的众多产品中甄选最合适的器件，从而设计出更多优秀的产品。
" H1 H: Y& H5 v9 H) F# h能够实现产品的差异化：内置 ISP 是封装在 AP 内部的，是和 AP 紧密的联系在一起，如果 AP 相同，那么 ISP 也就是一样的。因此基于同样 AP 生产出来的手机，其 ISP 的性能也是一样的，可供调教的条件也是固定的，这样就不利于实现产品的差异化。而如果选择外置 ISP，那么同一颗 AP，可以搭配不同型号的 ISP，这样可以实现产品的差异化，为给用户提供更丰富和优质的产品。/ y# g0 {, {6 U: m
% e0 y2 n5 X) _" W9 W$ M外置 ISP 架构的缺点主要有：
* t4 K8 p4 F @1 A5 r& \# N3 M成本价格高：外置ISP需要单独购买，其售价往往不菲，而且某些特殊功能还需要额外支付费用。使用外置ISP，需要进行额外的原理图设计和layout，需要使用额外的元器件。) @2 l, o# j. ^ H& p: U
开发周期长：外置 ISP 驱动的设计需要多费精力和时间。使用外置 ISP 时，AP 供应商提供的 ISP 驱动就无法使用，需要额外设计编写外置 ISP 驱动。另外，为了和 AP 进行完美的搭配，将效果最大化，也往往需要付出更多的调试精力。上文也提到，使用外置 ISP，需要进行额外的原理图设计和 LAYOUT，需要使用额外的元器件，这也是需要花费时间进行处理的。
$ r) J2 N3 e% s( J) m3 w |
|
/1 
发表于 2022-8-11 09:49
收藏
淘帖
支持！
反对！
谢谢分享