EDA365电子论坛网

标题: NXP（恩智浦）iMX8M Plus 处理器介绍 [打印本页]
作者: 祢豆子    时间: 2022-1-22 10:14
标题: NXP（恩智浦）iMX8M Plus 处理器介绍
本帖最后由 Heaven_1 于 2022-1-26 11:16 编辑
7 u4 |! P( j) Z
* N+ H- g+ y1 j# U* z4 `机器学习的本质是让计算机能够更有效率的模仿人类的行为，特别在图像分类、图像识别、语音识别等领域，机器学习能够在分秒之间，集中处理数以百万计的计算。过去在合理的成本下，这样的处理能力是无法想象的，直到最近几年才能够实现。这主要是因为，如若这些处理不在边缘实现，就要放到云端来进行。数据要被上传到云端，这样的话，我们就会担心谁会看到这些数据。我们相信云端服务期的运营商和负责人吗？显然答案是否定的，因此在本地进行边缘计算，用户隐私就能够更好的被保护，响应速度也会更快，可靠性也会更强，因为即便服务器断电，本地设备依然可以稳定工作，甚至设备可以在没有网络的偏远地区正常工作。) a9 o( {' G1 v( F$ z+ v

. R1 O$ s4 g- [+ }5 Z: z& G5 ?* J& A3 [4 g( R( `& L8 w

8 C3 A- P3 M% c, n# X7 Q; Z+ L5 C. G+ U: f, _5 X0 O" B

, E6 [$ r' I1 m4 c9 O
$ g) w' ^1 G1 w# g
" p3 V' h; X7 \% P; _
[backcolor=rgba(18, 18, 18, 0.5)]​, V, m. L' ^9 X9 s
7 W5 G* O& D/ _& ]% \

3 M0 A" o6 h7 m( J: M1 o2 ~4 f! a  t5 o; Y' ]9 ]4 J5 t
编辑切换为居中2 x1 w" e4 H+ f

: `! h$ s" e2 f. G) [* i* G* J! j% L7 l: E1 L

/ {( J0 V; ~6 _5 n( C( k+ q, \
) l. s: ^/ l4 H添加图片注释，不超过 140 字（可选）
3 R) ^/ P% [. H: l4 h) G+ r" I( @$ o
3 D! W5 A& W4 P/ O( `, j4 W8 u! R3 Z

* J1 S) J$ k" @+ ?6 w; o/ }% F' r3 d- g9 q5 [( J
! }: q+ _  y# W$ p

2 G* v5 `( O5 k) Q# L( ^" d% ~" ?# oi.MX8M Plus 应用处理器
' B7 l) B3 t2 d* Y, S5 z
# x: Y; i/ H! p) K
9 x2 Z' q& ?' h6 q, y! D4 W- {
3 x8 P# n: G' @! F9 z5 o+ B通过i.MX8M Plus ，NXP将机器学习带到了边缘设备中，这款产品不仅仅是达到了2万亿次每秒这样的强大计算能力。只是做到这样的计算性能并不困难，但NXP所实现的是带来了模型压缩的优化以及针对稀疏性的优化，稀疏指的是机器学习算法参数或者数据中有大量权重为0，进而能够避免在推理时支付这些模型系数的存储费用，计算效率将会大大增加。模型压缩同样也很重要，鉴于计算过程中存在大量的数据交换，如果足够压缩，那么对于系统内存的占用就会降到最低。另外同样牵涉到系统内存的一点是i.MX8M Plus  搭载 DRAM 控制器能够进行每秒4G 处理，是 NXP有史以来 DRAM 速度之最。
- _% A- r+ L. |) c! @) e2 S" m4 u- Z  r( P5 I* h9 w5 w4 [4 W

0 D+ q4 q- |8 u6 G! F- ?) V8 e. K- ~; F3 {( b2 H
i.MX8M Plus 与机器学习、机器视觉
  @. R+ g' I5 w- d
" W+ c$ j/ j2 C0 S! T* @
; }9 x* s$ ^% j- S; p
( _; V; I# u" u5 h: C* H2 k机器学习是基于图像数据的，数据的来源通常是一个系统中的摄像头模块，而摄像头模块需要一个图像处理单元，也就是ISP。谈到 i.MX8M Plus 的ISP 单元，在很多系统中，摄像头可能距离目标非常远，为了得到你需要的细节，其分辨率必须足够高，比如4K分辨率，也就是800万像素。
% g! e! y( E* N1 V; L$ O: D
1 L2 F# C& X. U; m' i! j' i' K1 W: B4 z9 W
0 B/ L8 Q( _- Z" J. u
+ t, ~5 p0 K  M3 u" @2 ^" r& \) U1 h

; I6 J7 l) ~  R0 P! z; S4 f1 K6 Q+ H/ u% Q' L, B' a+ O
! \. ]; f0 l) N2 M& K9 z3 }, q
[backcolor=rgba(18, 18, 18, 0.5)]​6 z; ?5 ^% Q- d1 _2 Y* _3 ?4 E
) o& @6 s7 E2 w; R# ?, j0 l
6 N; E5 F# T/ {/ p( c+ r+ t

" ]; @% ~2 q0 H, `编辑切换为居中
- k$ P& `5 c, I5 v( m! A- ^
; ^/ }. Z+ {( P' J- Q  Z, ^; l7 v- L! ^" d! b3 w1 G8 z7 p

, r5 C  k: `8 Y% ~+ _6 j
/ T/ X/ b6 C0 g添加图片注释，不超过 140 字（可选）
7 s2 G2 u$ u8 [, s
3 n2 O* s. z9 Z7 q6 U; M% d( t9 J( x$ Z7 |

/ ?% j$ Z$ |9 i4 k. d! w- B% \* E# ~
( O2 z4 T& W- V$ F& ]$ U
. W* b: K$ J5 t1 X
- v6 H8 V" U; t( d4 P  W+ B, l. A$ i( U2 P% f4 F
处理如此高清的影像数据，就需要ISP 的协助。可能对于低分辨率的视频，ISP 并非必需，在很多系统中，用户可能并没有意识到，摄像模块是否集成ISP。但在高分辨率下，就需要 ISP 被集成在处理器中，就像i.MX8M Plus 这样。有趣的是，NXP i.MX8MPlus 中实际上集成了两个 ISP，两路摄像头输入。因而在大多数的应用场景下，将会获得更立体的图像，就像人的两只眼睛一样，可以感知图像的深度。另外一个应用是两路摄像头，其一作为广角或者鱼眼视角，另一路则聚焦某一场景的特写。除此之外，还有其它的应用需要用到这样的功能。: @) |( `' Q: O% u: w2 c

! q* d' I; B- O: Z' X5 {, l图像处理需要很强的计算能力，ISP的功能理论上也可以由 CPU 或 GPU 来实现，但要将这样的计算量，将这些数据转化为系统可识别的形式和参数再进行计算和处理，涉及到的工作量太大了。因此在这样的系统下，必须使用一个专门处理图像任务的单元，也就是 ISP，就像 i.MX8M Plus所做的那样。
# p& C9 k. N* w' v# k. z9 J1 o7 }# s4 L
7 h& k; h; G6 g9 r+ @. U: \: ]

, a# M5 L8 l& y# H2 B" Vi.MX8M Plus 高动态范围（HDR）支持
5 f4 m+ e( p; H2 U
3 L8 D) y; y$ K
* N) c) s% O  r* ?$ G- X" Q; x: H. S1 J+ Z- o1 f) s3 @, C& w# \
i.MX8MPlus还有一个重点是HDR，也就是高动态范围，你可能在很多手机上看到过这个词，但在嵌入式应用以及消费类产品甚至工业应用中HDR 都非常重要。HDR 主要是融合多重曝光的图像，具体表现为拍摄亮度不同的两张图像，一张是长曝光，一张是短曝光，其中一张能够帮助获得更好的高光部分的细节，另一张则获得更好的低亮度区域的细节。甚至可以拍三张或者更多，来融合成为一张图像。这样高光和暗部的细节都可以保留，这在某些特定场景中非常重要，比如在家里，窗户边很亮，有的地方却很暗，有了 HDR，所有的细节你都可以看清楚。; v7 A$ p$ S. _2 C8 z/ d

3 d7 N/ Y$ S+ X: s, W4 L
* b" D3 _( P. ?
$ D: S: }0 u2 H6 {* p/ ~1 L( N
! Q" K4 [7 ~/ n9 Z, d4 K0 u
) b; o( X% p4 w  M+ @1 q  p9 S, P, o# H1 a) `

6 b# q; c& n0 J2 W
[backcolor=rgba(18, 18, 18, 0.5)]​
% E6 R* t. W: S8 ~$ T7 _6 F0 c* }! e5 y+ e

  B1 Y$ ?+ @" H7 T; ^. G. R9 Y0 X5 ^# ]. m( |
编辑切换为居中; t' x: O/ R% K% K( `0 a/ u

, a/ Q7 U# \/ V
: @0 q  Y7 u  F( [# M: p& S* R; [. D1 d. r" t5 C2 E7 _

! W* z$ Z% j6 S9 j6 b! m# ?添加图片注释，不超过 140 字（可选）6 y( \9 z2 @$ f2 o3 L

! Z; a0 ?. m5 x5 O) E
7 z! v- A. D! z9 ]+ B- z
* ~3 s3 T! U+ b& E9 L5 l
; Z' U8 a0 A9 K9 j
8 k8 \( c) \# w7 i4 E& f* R
+ j& Z& d+ P( ?. }, D/ {扭曲矫正带来更好的图像
4 o; ?( D6 Q' Z, ~
9 |2 ^. G) |" K+ H2 ]# x* |% t/ @! S7 A$ V1 k; |

7 p- F6 G, U8 U9 |4 D& g( Y在摄像头相关应用中，扭曲矫正是一个非常重要的功能。摄像头接收到的图像可能是扭曲的，类似观看鱼缸的场景。你可以看到很多的东西，但它们都是扭曲的。扭曲矫正，可以将图像恢复为人类、机器学习可以识别的正常形状，直线曲线区别分明，也没有倒置的现象，这就是扭曲矫正引擎所负责的。但引擎能做的不仅仅是这些，除了能够矫正这些意外的干扰，同时它也可以矫正由于摄像头问题导致的图像不清晰、变形等。. @: j5 L9 b$ l/ A  o" y8 a; X
7 M4 x4 f& C3 H6 l: Z/ Z
引擎同样可以对像素进行处理，获得更好的图像质量。针对i.MX8MPlus 的 ISP 架构我们的设计保证了所有的处理都以流的形式进行，也就是说ISP直接从摄像头接收图像进行处理，将它们输出到系统内存。ISP 几乎不需要从系统重新构建图像再进行处理输出，这样就可以带来非常低的延迟表现，以及非常高效的针对图像的处理表现。iSP 针对图像增强，进行了非常多的处理，比如降噪处理，这在暗光环境中非常重要。在这样的环境下，很多像素都会被进行涂抹，但你不能对太多区域都进行涂抹，否则你的图像将会变得非常模糊。所以你必须使用 ISP 来分辨，哪里是可以进行涂抹处理的，哪里则是需要清晰呈现的内容。其它的处理任务包括，检测图像传感器的坏点，确保正常工作，以及白平衡的调节，分辨出不同的光照环境，例如日光、灯光等等。还有提供信息，帮助自动曝光以及对焦，所有的这些都是由ISP 来完成的。
$ R3 J( F9 c/ u
; h4 k' @4 o- w1 _3 i
; A  A! q) \5 n& p2 U; r* s. ]
% F$ S3 G5 O1 a* v; R# GH.265视频编码) n2 S) @* V2 R  V9 e1 x

8 m" }9 ]! S% ?9 x: @# h, q' V- _5 _7 X5 l! l8 K% h
1 e+ T4 [& |. y  t1 Z# H
在许多应用中，摄像头接入系统，数据被送入机器学习算法或是直接被存储在网络中。不管图像被送入何处，它们还是需要被存储在某些地方，比如服务器或者是本地设备。你不可能直接保存原始文件，因为原始的文件实在是太大了，因此必须对数据进行编码，i.MX8M plus 的视频编码是非常高效的。我们支持 h.265编码算法，比起业内广泛使用的 h.264更加先进和高效。, ]9 [# F# j# t9 B; i8 ?

5 P& V, f% R2 q' N
+ \  {. M0 K0 X# `( O
- Y, O! M6 j9 t7 k" w8 w6 P1 L5 h  R% G$ G+ O: D, s
* p3 n( G* _. L8 S; o! d
. B/ M# {2 [& \9 l6 Y9 v$ C

9 V+ }% N5 P3 j, ?5 k
[backcolor=rgba(18, 18, 18, 0.5)]​# e" h% f4 F  Q1 X' ~$ M
7 S! S* [4 [7 j0 F! S# b1 Y

6 Y) ~  l; r8 J+ Q+ M; F2 E/ L" J3 w$ r7 ]/ w3 M6 ~
编辑切换为居中
# B, r) R3 A* p
, p+ T" L$ M% q4 Y8 J
0 p' W9 R: ]: d: \( P) R6 M2 y! J+ S: t
! O. \% a( A: o) I9 Y
添加图片注释，不超过 140 字（可选）
: S: M$ j5 N( W) f( o( J/ m2 x/ S7 I! ]* r, y
8 Z1 Z3 K$ ]; J) v$ M. z) ]. i

5 Q% C0 f* n. D+ q. M7 V7 i$ ]2 @1 ^

% c$ B: A3 u  I! ^4 S( S  u" }
, n/ \3 ^8 e& G+ d  H1 G3 ?9 w. {% DiMX8M Plus在工业应用中的特色
3 u# p7 r5 ^! G) d; i3 G1 K/ D

1 m! K' w4 T# M( @) U
) F( j: k4 e: t6 e- |1 m: ~8 ~# ]i.MX8M Plus有一些针对工业应用的特色，其一就是 ECC，也就是错误纠正代码。用来在用户无需感知的情况下，检测出内存的错误，甚至进行修复。3 J. H, m. K4 T
! h# Q, l9 A, K1 {- X
这异常的重要，因为在某些应用中内存的错误会带来严重的后果，虽然不会导致硬件的永久损坏，但当读取内存的软件和程序时有可能会崩溃。
- D- T* c5 o8 j- E$ {- I' u6 b3 z* F5 M
为了避免这些情况的发生，你就需要ECC 来进行检测和修复，这样软件的错误率，也就是我们常说的 SER将会大大降低。i.MX8M Plus在缓存和片上RAM 中都带有ECC，而DRAM 总线还支持在线 ECC，它不需要存储任何额外的位，就能够将ECC 算法与主数据同时发送出去。
2 Y% X& [6 z( x6 g2 F; @2 J( V$ b  P9 A' Z+ V5 D" t5 K8 O
9 R% f8 ^* F( ]
# S9 u! d  J( ]/ `( L6 ^
TSN也是 i.MX8M plus 中的亮点，tsn 指的是时间敏感网络。在工业应用中你希望可以确保能够在对的时间点将数据发送出去，而通常以太网中任何人在任何时间都有可能正在发送数据。可能会造成拥堵，可能你需要晚一些再发一次，在工业应用中，这无疑是会带来问题的。而 TSN 则能够很好的解决这样的困扰。i.MX8M Plus同样也支持一些工业级的外设，我们甚至集成了800MHz的 Cortex-M7协处理器来协助组合。组合运行操作系统，M7内核同时可以进行一些实时性的控制，来确保低延迟。我们还有两路 CANFD用于本地与系统或是与网络低延迟的通信。! a/ g# q3 R5 g2 g+ \
, \, W9 q  @( Y" B
i.MX8M Plus所提供的所有的这些特性和外设，能够助力工业及应用的设计为工业应用带来无限的可能。
: k6 E; |% C  L& x: \$ f0 }4 |) L9 ]; G( I
' p7 @/ r6 O- F; x

' n* I# f2 G+ _3 ]/ B7 k9 g( s8 I如何测评 i.MX8MPlus
6 e" g4 ]# C/ ?2 t6 d0 d: S4 {5 R" d# V! F% V3 p, k/ I
1 E6 N, z6 c) |: Z. v. g3 [/ C
( W+ u# ~2 i3 k1 T8 m
作为NXP官方金牌合作伙伴，飞凌嵌入式与NXP深入合作，推出了基于i.MX 8M Plus处理器的开发套件OKMX8MP-C开发板与FETMX8MP-C核心板，除了继承了上述CPU能力外，飞凌嵌入式在iMX8MPlus核心板上还集成了LPDDR4、eMMC、PMIC等关键元器件，形成了可以独立运行的最小系统；同时，考虑低成本基础应用以及高端NPU应用的不同需求，DDR可选择2GB、4GB、6GB、8GB多种版本；这款核心板的优势不仅仅在于性能上，其功能也是十分的丰富，双千兆以太网、双CAN-FD、2个USB3.0、PCIe3.0、LVDS、HDMI、MIPI-DSI、MIPI-CSI等接口面面俱到。
; e) Z5 u8 ^' ^, B4 L( _
5 y: C3 l! v3 P- c/ D原文链接：NXP（恩智浦）iMX8M Plus 处理器介绍 完整版; T( y" N. u0 Z
$ {" P# \  l, |) E* q

) z; A1 o8 V8 z- n' x
作者: Happyday@    时间: 2022-1-26 11:06
机器就是在模仿人类



欢迎光临 EDA365电子论坛网 (https://bbs.eda365.com/) Powered by Discuz! X3.2