|
|
EDA365欢迎您登录！
您需要 登录 才可以下载或查看，没有帐号？注册
x
本帖最后由 Heaven_1 于 2022-1-26 11:16 编辑
* v- g6 A% w/ u
( z& V% y" i, u& U# S机器学习的本质是让计算机能够更有效率的模仿人类的行为，特别在图像分类、图像识别、语音识别等领域，机器学习能够在分秒之间，集中处理数以百万计的计算。过去在合理的成本下，这样的处理能力是无法想象的，直到最近几年才能够实现。这主要是因为，如若这些处理不在边缘实现，就要放到云端来进行。数据要被上传到云端，这样的话，我们就会担心谁会看到这些数据。我们相信云端服务期的运营商和负责人吗？显然答案是否定的，因此在本地进行边缘计算，用户隐私就能够更好的被保护，响应速度也会更快，可靠性也会更强，因为即便服务器断电，本地设备依然可以稳定工作，甚至设备可以在没有网络的偏远地区正常工作。- d$ f- {3 ]3 S+ @! P: P1 O
% O7 W( C; C9 F y- ?8 x
" z {5 P0 b+ |: T' L
- {! B% A1 u, W/ ^. t+ i
4 Y* j2 D7 p3 e, |4 q' ~/ S5 d. t: O9 j& K' f& F# v
0 Y; _3 X+ B4 H! v3 i$ n, X! Z
) I1 i( n# O6 `; h7 l
![]() [backcolor=rgba(18, 18, 18, 0.5)] " ~% D1 g! T5 t3 @6 w7 t& o8 e8 P
3 X- i" ~% w7 U' ?& g
5 ]. N/ w7 t" z1 c# b% ^编辑切换为居中
" R7 ^+ d5 G0 ]! j; M, N1 b2 k. R+ n
5 c/ U- F' y- E3 f/ ~4 S
3 b$ X. i( R+ a' v2 t
# c- H+ M/ b; X; w3 Z添加图片注释，不超过 140 字（可选）$ [' \8 B9 O; V
: w1 S& f3 q2 O+ [2 i2 P6 d* F' Y7 P
1 {* ~$ ^) `+ ?) e, \. P" ]0 P0 G0 v/ W. X: I
4 K6 E7 }5 C7 N( N& Q; a
, P. |/ t% T( L, r
7 E, t# i9 `+ v1 u7 Ji.MX8M Plus 应用处理器
3 y2 A/ K8 Y. ]. o# k6 B! S9 M, J) ]2 R
% C* W4 _3 z1 U8 j
) ^9 F1 n1 ~; M) D通过i.MX8M Plus ，NXP将机器学习带到了边缘设备中，这款产品不仅仅是达到了2万亿次每秒这样的强大计算能力。只是做到这样的计算性能并不困难，但NXP所实现的是带来了模型压缩的优化以及针对稀疏性的优化，稀疏指的是机器学习算法参数或者数据中有大量权重为0，进而能够避免在推理时支付这些模型系数的存储费用，计算效率将会大大增加。模型压缩同样也很重要，鉴于计算过程中存在大量的数据交换，如果足够压缩，那么对于系统内存的占用就会降到最低。另外同样牵涉到系统内存的一点是i.MX8M Plus 搭载 DRAM 控制器能够进行每秒4G 处理，是 NXP有史以来 DRAM 速度之最。
6 ]/ w3 @- k7 W2 s0 l0 M+ e; h/ Y$ f, D: [' u# V
: ]* X6 t: S, E0 b' l" R, ~* `- B8 u, _
i.MX8M Plus 与机器学习、机器视觉( Z1 L$ C3 P6 _! b& B: F
- q `: O6 L% |/ \0 M- g3 D. A
$ c' d4 m" J' ~5 r H9 ?5 B8 }
0 q' y, {9 n _1 y# E机器学习是基于图像数据的，数据的来源通常是一个系统中的摄像头模块，而摄像头模块需要一个图像处理单元，也就是ISP。谈到 i.MX8M Plus 的ISP 单元，在很多系统中，摄像头可能距离目标非常远，为了得到你需要的细节，其分辨率必须足够高，比如4K分辨率，也就是800万像素。& `3 e5 S; x# @' ~) e
; y% H' m: f- G( u2 L. W1 X/ j
' Y; V g. z6 ]! f8 e
1 i: Y+ B, F% j( `# F& t( u
( w/ \' U% e. k% C
, W/ t: I* ], y; U0 L/ t* h9 A+ i0 ?' X1 {
! b/ z) i. M c# O
![]() [backcolor=rgba(18, 18, 18, 0.5)]
$ [8 o6 a, E$ o# y$ P
! z# P- v& [4 e* w" \
! H& k) l( _/ D) t' d
编辑切换为居中" O( K) j# u% L
; p# f" P4 P1 Q
O# y) F( i. }) S* O! f$ w
& u& o4 F# J3 ] n0 y, {! s
# v( `7 X8 U& b* y
添加图片注释，不超过 140 字（可选）
! J6 `$ u% k; y; M( s
# [. E& T2 Z* v& x
3 o { |/ G( r$ I8 R
1 L9 u$ w1 p: M* ^* p) ^9 K( ]' w/ N0 W. \& {2 O5 Z9 D q( Y& P
l2 {1 X4 W- W
; J( h2 ]! y! k) T# b/ R
8 f- c- F0 D% v; N6 _
处理如此高清的影像数据，就需要ISP 的协助。可能对于低分辨率的视频，ISP 并非必需，在很多系统中，用户可能并没有意识到，摄像模块是否集成ISP。但在高分辨率下，就需要 ISP 被集成在处理器中，就像i.MX8M Plus 这样。有趣的是，NXP i.MX8MPlus 中实际上集成了两个 ISP，两路摄像头输入。因而在大多数的应用场景下，将会获得更立体的图像，就像人的两只眼睛一样，可以感知图像的深度。另外一个应用是两路摄像头，其一作为广角或者鱼眼视角，另一路则聚焦某一场景的特写。除此之外，还有其它的应用需要用到这样的功能。
$ n: K+ v* b1 D. r
" x9 c3 c! _7 o/ k0 I( Z! b% t图像处理需要很强的计算能力，ISP的功能理论上也可以由 CPU 或 GPU 来实现，但要将这样的计算量，将这些数据转化为系统可识别的形式和参数再进行计算和处理，涉及到的工作量太大了。因此在这样的系统下，必须使用一个专门处理图像任务的单元，也就是 ISP，就像 i.MX8M Plus所做的那样。0 B: P U( v; w M+ e" t" {* C/ @1 m
; a( |+ i4 ?/ E: F) ~' X4 D ( K. y) {' p/ O
3 P# n1 |8 S+ A/ _8 [
i.MX8M Plus 高动态范围（HDR）支持
# s( L( w. i( ^$ T9 }; N; {# B, D' U v
: Q$ Y( [% k8 l) m
8 x8 P0 r/ s+ K3 v
i.MX8MPlus还有一个重点是HDR，也就是高动态范围，你可能在很多手机上看到过这个词，但在嵌入式应用以及消费类产品甚至工业应用中HDR 都非常重要。HDR 主要是融合多重曝光的图像，具体表现为拍摄亮度不同的两张图像，一张是长曝光，一张是短曝光，其中一张能够帮助获得更好的高光部分的细节，另一张则获得更好的低亮度区域的细节。甚至可以拍三张或者更多，来融合成为一张图像。这样高光和暗部的细节都可以保留，这在某些特定场景中非常重要，比如在家里，窗户边很亮，有的地方却很暗，有了 HDR，所有的细节你都可以看清楚。8 p( n: }/ p6 j& Z
0 u3 T, R7 B) O w8 u
) s5 [8 e( d U3 H. B, v0 M6 P5 j- D; t& ^; L, q
; y8 c- |( t" c5 N# j- g2 c2 e
/ a% i9 T* t6 x6 p4 B6 C
8 y, z- o4 v" @4 E
- Z: w* Q8 n# r, _$ _![]() [backcolor=rgba(18, 18, 18, 0.5)]
5 s$ w l% A5 D: h" h* [' o& l* _" E
' | m# d3 ~, K3 f. d$ u2 k, m% U1 O' O2 s0 F
编辑切换为居中- @2 S" H3 W" r
2 O7 S: i0 S. |; G' |' y" g' |7 ?
' C# J+ C3 B8 E; @& i7 O& }" Z! J* c) \4 c$ J
( C. d) d# a/ L+ g
添加图片注释，不超过 140 字（可选）$ r: v, ~& c4 K0 ?7 w
4 b/ |4 K2 b0 t; m+ A0 q0 m, W. u% o* Y/ Q
1 s [( [; n3 l, o3 c
: b5 g( i6 S( {/ u) [9 W 7 b% b' t7 L1 G$ }4 \2 l" _
' N( @* t1 [- p
扭曲矫正带来更好的图像
3 w+ B+ {' k, E% Q6 e3 U
% s! T- `% M& ?5 i8 D6 F; j! M0 [6 T: Z6 R: M5 z" U* {+ t
- F' w& d) ?" P4 B8 \ q R! b% q' S
在摄像头相关应用中，扭曲矫正是一个非常重要的功能。摄像头接收到的图像可能是扭曲的，类似观看鱼缸的场景。你可以看到很多的东西，但它们都是扭曲的。扭曲矫正，可以将图像恢复为人类、机器学习可以识别的正常形状，直线曲线区别分明，也没有倒置的现象，这就是扭曲矫正引擎所负责的。但引擎能做的不仅仅是这些，除了能够矫正这些意外的干扰，同时它也可以矫正由于摄像头问题导致的图像不清晰、变形等。
. b; I$ S* S! B% h" `" {4 V. W2 P/ O8 g/ l3 R Z2 \
引擎同样可以对像素进行处理，获得更好的图像质量。针对i.MX8MPlus 的 ISP 架构我们的设计保证了所有的处理都以流的形式进行，也就是说ISP直接从摄像头接收图像进行处理，将它们输出到系统内存。ISP 几乎不需要从系统重新构建图像再进行处理输出，这样就可以带来非常低的延迟表现，以及非常高效的针对图像的处理表现。iSP 针对图像增强，进行了非常多的处理，比如降噪处理，这在暗光环境中非常重要。在这样的环境下，很多像素都会被进行涂抹，但你不能对太多区域都进行涂抹，否则你的图像将会变得非常模糊。所以你必须使用 ISP 来分辨，哪里是可以进行涂抹处理的，哪里则是需要清晰呈现的内容。其它的处理任务包括，检测图像传感器的坏点，确保正常工作，以及白平衡的调节，分辨出不同的光照环境，例如日光、灯光等等。还有提供信息，帮助自动曝光以及对焦，所有的这些都是由ISP 来完成的。
' m/ \: [2 }1 w# ?3 @% c8 q# P4 O) k
( K) M% W' @' g
1 C1 D6 W% q& h0 T& ]H.265视频编码( L- I/ P" J) q' s- Q
% A3 L0 d( q% Z
) Q+ N4 B; i# e' `4 ^( G
1 @: x0 n4 [$ Y, z$ W" O在许多应用中，摄像头接入系统，数据被送入机器学习算法或是直接被存储在网络中。不管图像被送入何处，它们还是需要被存储在某些地方，比如服务器或者是本地设备。你不可能直接保存原始文件，因为原始的文件实在是太大了，因此必须对数据进行编码，i.MX8M plus 的视频编码是非常高效的。我们支持 h.265编码算法，比起业内广泛使用的 h.264更加先进和高效。. c2 x) K6 g1 {! u
1 D% \8 a' Z6 i3 \8 s
5 D& H* C1 s5 z# V8 M2 X1 j
; _2 Y* }' }% o, {- V- D
% N0 K! R" ?( r- k5 n1 B
" E* x; M8 L6 y4 W
: v- ]& q2 v' }6 z: z
" g3 d: ^4 d) P6 y" G. z9 u![]() [backcolor=rgba(18, 18, 18, 0.5)]
" S' h- x4 ]9 e; z* Q9 Q. w* D) V/ j2 F3 j8 J4 D6 a
j; l) \# D6 G7 ]: V
编辑切换为居中; Y+ f. ?5 p# Z' m3 V
( @0 Z, ?: d: o/ V" ^3 g( @0 S
# j) `+ E5 K) v* H
1 o8 z3 T# s. x: o0 j# Y% X! T& K
& U$ g4 K5 ]: j9 k添加图片注释，不超过 140 字（可选）# n* b B8 [1 ?& v- [* X
( ~2 {4 X6 S% s+ y3 z+ o6 i
" E$ S5 L, G6 o& n0 u
4 s1 S$ D* R- {( o
* M5 ~* E L% b; p 3 ^7 m* z) n' ^1 e) [( {
$ x# A( {# n, Q2 T w/ P
iMX8M Plus在工业应用中的特色
0 \; E3 q T5 O( L5 `' f1 z% `
& N4 Q& B- ^5 M; v( m9 W9 U$ a! ^5 P4 C$ `/ Y
5 J! ? B& t# B- \ t- o: |i.MX8M Plus有一些针对工业应用的特色，其一就是 ECC，也就是错误纠正代码。用来在用户无需感知的情况下，检测出内存的错误，甚至进行修复。9 ~! v- v3 @3 P; g0 f. r2 @
* f8 c t& }$ v1 e+ v
这异常的重要，因为在某些应用中内存的错误会带来严重的后果，虽然不会导致硬件的永久损坏，但当读取内存的软件和程序时有可能会崩溃。
; u( J$ w, X+ R, A( {8 ?) H3 _1 @- c7 z/ t4 \5 _! |+ I3 I7 t
为了避免这些情况的发生，你就需要ECC 来进行检测和修复，这样软件的错误率，也就是我们常说的 SER将会大大降低。i.MX8M Plus在缓存和片上RAM 中都带有ECC，而DRAM 总线还支持在线 ECC，它不需要存储任何额外的位，就能够将ECC 算法与主数据同时发送出去。
4 {" J: X2 Q* w$ M
5 ?% c5 _, L! Q B) B- g
9 J6 Y/ h% \/ Z2 |4 j/ U3 o. |$ w' d+ x: F
TSN也是 i.MX8M plus 中的亮点，tsn 指的是时间敏感网络。在工业应用中你希望可以确保能够在对的时间点将数据发送出去，而通常以太网中任何人在任何时间都有可能正在发送数据。可能会造成拥堵，可能你需要晚一些再发一次，在工业应用中，这无疑是会带来问题的。而 TSN 则能够很好的解决这样的困扰。i.MX8M Plus同样也支持一些工业级的外设，我们甚至集成了800MHz的 Cortex-M7协处理器来协助组合。组合运行操作系统，M7内核同时可以进行一些实时性的控制，来确保低延迟。我们还有两路 CANFD用于本地与系统或是与网络低延迟的通信。& H$ x4 f7 k9 ~! i/ o5 w5 q6 H
4 a0 U# ]+ H7 F. k' I v( }i.MX8M Plus所提供的所有的这些特性和外设，能够助力工业及应用的设计为工业应用带来无限的可能。
" X0 e' z* |! L# N. j
9 Y: N( y5 F6 W 3 a0 K, C( T* \+ @
v. d; c! L+ ?( q. V2 h4 O Y7 Z
如何测评 i.MX8MPlus
, A I' V' H: Z) u& _ O9 ~2 n
, y4 L. X# R/ l! J0 R
5 Z/ t( s! v) v) R
) c+ k- x# h" N+ ^6 f5 Q% p, U- O作为NXP官方金牌合作伙伴，飞凌嵌入式与NXP深入合作，推出了基于i.MX 8M Plus处理器的开发套件OKMX8MP-C开发板与FETMX8MP-C核心板，除了继承了上述CPU能力外，飞凌嵌入式在iMX8MPlus核心板上还集成了LPDDR4、eMMC、PMIC等关键元器件，形成了可以独立运行的最小系统；同时，考虑低成本基础应用以及高端NPU应用的不同需求，DDR可选择2GB、4GB、6GB、8GB多种版本；这款核心板的优势不仅仅在于性能上，其功能也是十分的丰富，双千兆以太网、双CAN-FD、2个USB3.0、PCIe3.0、LVDS、HDMI、MIPI-DSI、MIPI-CSI等接口面面俱到。
' s! Z5 R- N( F7 u6 t8 P. _3 Y7 c g1 b- A. d- q' I( K
原文链接：NXP（恩智浦）iMX8M Plus 处理器介绍 完整版
3 I+ n4 o( A' |& Y
2 s* V* L8 ?6 @: `1 Y8 o7 r* ~" A
|
|
/1 
发表于 2022-1-22 10:14
收藏
淘帖
支持！
反对！