|
|
EDA365欢迎您登录！
您需要 登录 才可以下载或查看，没有帐号？注册
x
机器学习的本质是让计算机能够更有效率的模仿人类的行为，特别在图像分类、图像识别、语音识别等领域，机器学习能够在分秒之间，集中处理数以百万计的计算。过去在合理的成本下，这样的处理能力是无法想象的，直到最近几年才能够实现。这主要是因为，如若这些处理不在边缘实现，就要放到云端来进行。数据要被上传到云端，这样的话，我们就会担心谁会看到这些数据。我们相信云端服务期的运营商和负责人吗？显然答案是否定的，因此在本地进行边缘计算，用户隐私就能够更好的被保护，响应速度也会更快，可靠性也会更强，因为即便服务器断电，本地设备依然可以稳定工作，甚至设备可以在没有网络的偏远地区正常工作。4 {& J" f$ e3 q7 ?9 p9 L7 S
2 U- j, d G* @, ~' V( ]% K; h
4 T' Y: f) o( g% [9 G1 ]/ [
" x+ |. x' `8 D0 s
. v: e' [* O2 O0 A% w, |7 V4 s1 p# l' l1 @' B, N- j9 Z. i
+ c0 |+ w3 x/ M
% k7 O! Z/ e2 z4 M' d/ a# K9 k
![]() $ z. |1 A7 }5 @0 J5 n! Z
' I$ y* f4 K1 e: v) s5 O* _
% B- K0 W- L$ M3 a- q
; u$ |" ^% J# _& {
4 R2 d( h# d. i- Y& C' i) w+ h/ [0 Y3 [5 `( o" A2 m/ f7 U) x
; N' r% B- L" H' `. b& }
8 p; X: n. P$ p" W7 Y
: U! }7 {0 g4 G+ l7 P5 `
7 F$ _, {4 I. O7 D0 k. fi.MX8M Plus 应用处理器
& [, k9 r" H# D5 q* \ t2 ?% A; b( z
2 v3 o* m8 Y5 N& W/ o+ X* s1 C% \$ \" x6 p2 t$ J# L) o! B
通过i.MX8M Plus ，NXP将机器学习带到了边缘设备中，这款产品不仅仅是达到了2万亿次每秒这样的强大计算能力。只是做到这样的计算性能并不困难，但NXP所实现的是带来了模型压缩的优化以及针对稀疏性的优化，稀疏指的是机器学习算法参数或者数据中有大量权重为0，进而能够避免在推理时支付这些模型系数的存储费用，计算效率将会大大增加。模型压缩同样也很重要，鉴于计算过程中存在大量的数据交换，如果足够压缩，那么对于系统内存的占用就会降到最低。另外同样牵涉到系统内存的一点是i.MX8M Plus 搭载 DRAM 控制器能够进行每秒4G 处理，是 NXP有史以来 DRAM 速度之最。
/ u3 Y3 M B& W/ Z' u1 V. Q
$ O1 N: ~* p+ \- W0 t. @
# I3 n5 { b- e5 k% L
$ N: ]# P; a; S0 Li.MX8M Plus 与机器学习、机器视觉
" n& k2 j% R$ A' O- N5 X4 {" \/ \! w& m( n0 U6 P
2 K6 P; U+ b+ }3 r
1 V- [) r( g) R机器学习是基于图像数据的，数据的来源通常是一个系统中的摄像头模块，而摄像头模块需要一个图像处理单元，也就是ISP。谈到 i.MX8M Plus 的ISP 单元，在很多系统中，摄像头可能距离目标非常远，为了得到你需要的细节，其分辨率必须足够高，比如4K分辨率，也就是800万像素。$ X% ]4 T2 _- G; D4 E# }7 _
1 L- Y1 x3 C y9 j# D I/ g& d2 P# T
, P3 U+ ~9 P2 i0 b$ n
0 ^! m, v$ u( j5 F' O6 K3 u1 |6 H
" S1 I' ?" u; Y
: N0 L5 T( X) n5 }' A$ F7 w5 V% Y: K" n: Y
6 R+ W! A/ g+ U
![]() + A, ]: X* G( d/ T, S
) e3 {1 a* T/ e# B6 S+ m2 R3 ^' a
6 \& [1 L" T( H
+ O6 [1 d$ Q0 Q0 ~
; {* k3 n" E( l8 I7 |% \
) S- W2 ]0 f+ \4 B! B% G$ \$ J. C" J& l; k! d1 W" w6 |! o
* N# f R% ^- T
X; L6 j' v" u' z- z0 z6 W, L* q0 b7 o3 J
处理如此高清的影像数据，就需要ISP 的协助。可能对于低分辨率的视频，ISP 并非必需，在很多系统中，用户可能并没有意识到，摄像模块是否集成ISP。但在高分辨率下，就需要 ISP 被集成在处理器中，就像i.MX8M Plus 这样。有趣的是，NXP i.MX8MPlus 中实际上集成了两个 ISP，两路摄像头输入。因而在大多数的应用场景下，将会获得更立体的图像，就像人的两只眼睛一样，可以感知图像的深度。另外一个应用是两路摄像头，其一作为广角或者鱼眼视角，另一路则聚焦某一场景的特写。除此之外，还有其它的应用需要用到这样的功能。
1 G( H: i# V( ^
: w1 _9 `6 }/ f7 `- ]7 x& H) V+ l图像处理需要很强的计算能力，ISP的功能理论上也可以由 CPU 或 GPU 来实现，但要将这样的计算量，将这些数据转化为系统可识别的形式和参数再进行计算和处理，涉及到的工作量太大了。因此在这样的系统下，必须使用一个专门处理图像任务的单元，也就是 ISP，就像 i.MX8M Plus所做的那样。
% L; `1 x( O& N9 b2 j# F! N
7 u) O6 x6 A' v3 q9 u$ a
' k5 h$ p+ g! t7 _$ @# v- T* H6 N" O7 p4 o4 M
i.MX8M Plus 高动态范围（HDR）支持3 N' \" {3 a) {6 Q
8 C4 I% \9 R, j$ U- `* s* u( ^: h3 \% u' x3 `
& O* y. R* Y. o3 [5 z& i- Q% `. f$ F& T& Q i.MX8MPlus还有一个重点是HDR，也就是高动态范围，你可能在很多手机上看到过这个词，但在嵌入式应用以及消费类产品甚至工业应用中HDR 都非常重要。HDR 主要是融合多重曝光的图像，具体表现为拍摄亮度不同的两张图像，一张是长曝光，一张是短曝光，其中一张能够帮助获得更好的高光部分的细节，另一张则获得更好的低亮度区域的细节。甚至可以拍三张或者更多，来融合成为一张图像。这样高光和暗部的细节都可以保留，这在某些特定场景中非常重要，比如在家里，窗户边很亮，有的地方却很暗，有了 HDR，所有的细节你都可以看清楚。
# s$ Z q) R+ P* Y# y$ I
* F1 o) ^6 M. }% c! Q2 R) p
1 D% x8 q' B! u$ I2 g% b0 r
, H0 N1 N- G6 K5 O5 J( n) _7 P( j
! G3 ~: g+ z5 f
9 H1 E4 S' v5 A5 t$ Z# }' x' n( K& b
2 M- j9 `/ G3 ~
: j4 M- l) H8 `0 v/ L0 P c![]()
% F; p `- ?' h4 ]: Y" M1 l/ T' [& _& O3 U$ L+ p
' {3 o0 ^. m3 D& A' K, o0 L- U
. k/ g1 w5 g1 d
4 G. T/ h& k+ h$ K
* w; ?3 B' \6 k5 ^6 p' |* K3 B1 [" f+ V7 ?
) k' u1 R7 A. _) {8 J7 X
/ _! L5 l+ R, @+ b% ` }; k+ x/ r4 S4 j) T# V
扭曲矫正带来更好的图像
& ~& q3 z- V. f/ i! T
/ f0 g# X# h$ f& e. Y) B2 j \5 n0 z* P# h* n, J
* U1 \6 I7 G! Z6 Z K. l6 H在摄像头相关应用中，扭曲矫正是一个非常重要的功能。摄像头接收到的图像可能是扭曲的，类似观看鱼缸的场景。你可以看到很多的东西，但它们都是扭曲的。扭曲矫正，可以将图像恢复为人类、机器学习可以识别的正常形状，直线曲线区别分明，也没有倒置的现象，这就是扭曲矫正引擎所负责的。但引擎能做的不仅仅是这些，除了能够矫正这些意外的干扰，同时它也可以矫正由于摄像头问题导致的图像不清晰、变形等。
3 f, ^; l3 v' J# ^5 q$ M3 `' {
) o3 _7 y. {* P- n$ R引擎同样可以对像素进行处理，获得更好的图像质量。针对i.MX8MPlus 的 ISP 架构我们的设计保证了所有的处理都以流的形式进行，也就是说ISP直接从摄像头接收图像进行处理，将它们输出到系统内存。ISP 几乎不需要从系统重新构建图像再进行处理输出，这样就可以带来非常低的延迟表现，以及非常高效的针对图像的处理表现。iSP 针对图像增强，进行了非常多的处理，比如降噪处理，这在暗光环境中非常重要。在这样的环境下，很多像素都会被进行涂抹，但你不能对太多区域都进行涂抹，否则你的图像将会变得非常模糊。所以你必须使用 ISP 来分辨，哪里是可以进行涂抹处理的，哪里则是需要清晰呈现的内容。其它的处理任务包括，检测图像传感器的坏点，确保正常工作，以及白平衡的调节，分辨出不同的光照环境，例如日光、灯光等等。还有提供信息，帮助自动曝光以及对焦，所有的这些都是由ISP 来完成的。
! y# G& I. R( o( }& j$ c" s* m; ^" W) I0 u0 f9 A6 ~- P! R
1 r4 c2 q& j8 m
2 B1 S @ U3 N R. |, n9 ^H.265视频编码
) F. m0 b' c A* A$ Y
+ D) h8 _+ H- e5 S) S; @) \( w, C4 T( @8 l- {5 ?0 n _% p9 ~+ W5 ]
. n8 E7 M% M" f( u8 h" c8 f s3 [在许多应用中，摄像头接入系统，数据被送入机器学习算法或是直接被存储在网络中。不管图像被送入何处，它们还是需要被存储在某些地方，比如服务器或者是本地设备。你不可能直接保存原始文件，因为原始的文件实在是太大了，因此必须对数据进行编码，i.MX8M plus 的视频编码是非常高效的。我们支持 h.265编码算法，比起业内广泛使用的 h.264更加先进和高效。
3 w. R; n8 w* Z8 |. U
- `9 d: _6 S X/ H7 S* F' B0 a; e4 t' E$ i/ n, R7 N
2 d# i0 u$ N X9 x
# M6 o2 {, V' d7 A
- k2 p7 X4 O% g5 ^9 P' p8 m
& `) U2 S$ O4 d3 A4 B8 P& }0 D/ y8 H
![]()
& }/ u C" T0 M% E% l+ u# |/ y: q7 k1 ^$ F- f1 Q4 f' g
4 N: }/ H1 L5 I* q6 A
8 @0 n% a4 d: a2 J! a- K8 Z4 U- L3 ^4 f( i1 Y4 W
" e" N3 O2 H0 `& R5 Q; E: r. S1 o w' i; W# i2 I! U/ a
. q- I! M0 F v
: [, G/ h n; ^' D4 ^/ r
0 ~2 C5 d3 c& {, Y, \9 c( \iMX8M Plus在工业应用中的特色
* u' c% X- w6 q. G0 w: d5 R+ K0 N( S* x s" N
& p3 k( k$ B) g% }+ i. Q- W# i4 @" ?/ N& m$ | g/ s) G7 F
i.MX8M Plus有一些针对工业应用的特色，其一就是 ECC，也就是错误纠正代码。用来在用户无需感知的情况下，检测出内存的错误，甚至进行修复。
* W# }' |. q& h( q) b8 Z: ^9 N* h/ Y1 \
这异常的重要，因为在某些应用中内存的错误会带来严重的后果，虽然不会导致硬件的永久损坏，但当读取内存的软件和程序时有可能会崩溃。( }& |7 [' B9 [
2 h' {' h6 x- R" Z
为了避免这些情况的发生，你就需要ECC 来进行检测和修复，这样软件的错误率，也就是我们常说的 SER将会大大降低。i.MX8M Plus在缓存和片上RAM 中都带有ECC，而DRAM 总线还支持在线 ECC，它不需要存储任何额外的位，就能够将ECC 算法与主数据同时发送出去。
$ j5 b2 D, z' R3 C; \5 x6 }! S
: q; r! g: u; V3 R: t3 H4 L# T' G* d
TSN也是 i.MX8M plus 中的亮点，tsn 指的是时间敏感网络。在工业应用中你希望可以确保能够在对的时间点将数据发送出去，而通常以太网中任何人在任何时间都有可能正在发送数据。可能会造成拥堵，可能你需要晚一些再发一次，在工业应用中，这无疑是会带来问题的。而 TSN 则能够很好的解决这样的困扰。i.MX8M Plus同样也支持一些工业级的外设，我们甚至集成了800MHz的 Cortex-M7协处理器来协助组合。组合运行操作系统，M7内核同时可以进行一些实时性的控制，来确保低延迟。我们还有两路 CANFD用于本地与系统或是与网络低延迟的通信。
9 n. D$ X( y# K+ b7 w9 {8 H0 g; Y8 ]! s9 g5 z# y1 }# J5 c
i.MX8M Plus所提供的所有的这些特性和外设，能够助力工业及应用的设计为工业应用带来无限的可能。1 t6 I9 }& F1 M# a6 F( {% m
8 A1 O% t5 L6 N4 `8 U
& ?/ n( s) [% d8 s, S5 i7 z4 `4 T4 T/ c) z Q8 i3 `$ Q
如何测评 i.MX8MPlus" D# [/ W z+ n" d/ m4 ^
% _8 g8 u- G. {
1 @7 p4 d8 W+ I' n) l" V1 ~
9 s" T9 }9 P% P作为NXP官方金牌合作伙伴，飞凌嵌入式与NXP深入合作，推出了基于i.MX 8M Plus处理器的开发套件OKMX8MP-C开发板与FETMX8MP-C核心板，除了继承了上述CPU能力外，飞凌嵌入式在iMX8MPlus核心板上还集成了LPDDR4、eMMC、PMIC等关键元器件，形成了可以独立运行的最小系统；同时，考虑低成本基础应用以及高端NPU应用的不同需求，DDR可选择2GB、4GB、6GB、8GB多种版本；这款核心板的优势不仅仅在于性能上，其功能也是十分的丰富，双千兆以太网、双CAN-FD、2个USB3.0、PCIe3.0、LVDS、HDMI、MIPI-DSI、MIPI-CSI等接口面面俱到。
1 y. b1 z7 l! j& h
; F) H) p1 S5 {7 V# x/ J
. R* o( s8 K# [/ i: g- z4 x' f6 n# j5 o
6 E, Q0 s$ |; v4 n7 |" g![]() % l* q1 N; q9 Y* u. @/ [& O
3 v) d: l5 f; }, r G' a( V
- g1 d4 Z( G* y4 ?, T h; p+ J
$ J' i# `# ~( E
3 o d1 |; E. T, _0 ?# [
+ E% q- n; g' ^" X- r2 m' M( L+ X9 T0 c) A
|
|
/1 
发表于 2021-12-18 16:11
收藏
淘帖
支持！
反对！