EDA365电子论坛网

标题: NXP（恩智浦）iMX8M Plus 处理器介绍 [打印本页]
作者: ningmengzier    时间: 2021-12-18 16:11
标题: NXP（恩智浦）iMX8M Plus 处理器介绍
机器学习的本质是让计算机能够更有效率的模仿人类的行为，特别在图像分类、图像识别、语音识别等领域，机器学习能够在分秒之间，集中处理数以百万计的计算。过去在合理的成本下，这样的处理能力是无法想象的，直到最近几年才能够实现。这主要是因为，如若这些处理不在边缘实现，就要放到云端来进行。数据要被上传到云端，这样的话，我们就会担心谁会看到这些数据。我们相信云端服务期的运营商和负责人吗？显然答案是否定的，因此在本地进行边缘计算，用户隐私就能够更好的被保护，响应速度也会更快，可靠性也会更强，因为即便服务器断电，本地设备依然可以稳定工作，甚至设备可以在没有网络的偏远地区正常工作。
5 D; J5 C+ ?3 E# e% A7 u" c+ }6 U: l7 b) o: i9 J+ R
5 g0 F9 n& ^8 z, g% p" N# q
% K8 x# z' Y( _. q3 P6 P
  t4 k; {$ v. ?# Y  r! s
- m9 m7 W. Y1 y6 S! `

2 w2 B; O! u4 z4 E1 {* ~' {( j+ i# X2 S9 ?6 }  w% j) |+ R* d# S
  [! t/ d6 t4 R4 D4 s( z

/ l; H  O- {) i' N: d" h. C0 z5 B1 }2 f- w' ?. Z5 x
& J$ y+ E' _- [; L: b

  U8 W4 Z+ y" }: E8 \6 n* D' K* |( l( E: `6 f2 _

0 q( `9 g  b0 f( i0 `0 |# u- x& ~: N3 v, M; N" m; V

; m; ~( r- x+ Z+ N6 U# R3 \: ]9 W# {
i.MX8M Plus 应用处理器
2 q/ Y# B1 L# F5 q5 G7 ~1 f  q& u6 b/ h1 ~8 S! J

0 e  F9 W7 u+ o) x, y) ^2 H. [% ^" h/ m& A5 Q  K; c
通过i.MX8M Plus ，NXP将机器学习带到了边缘设备中，这款产品不仅仅是达到了2万亿次每秒这样的强大计算能力。只是做到这样的计算性能并不困难，但NXP所实现的是带来了模型压缩的优化以及针对稀疏性的优化，稀疏指的是机器学习算法参数或者数据中有大量权重为0，进而能够避免在推理时支付这些模型系数的存储费用，计算效率将会大大增加。模型压缩同样也很重要，鉴于计算过程中存在大量的数据交换，如果足够压缩，那么对于系统内存的占用就会降到最低。另外同样牵涉到系统内存的一点是i.MX8M Plus  搭载 DRAM 控制器能够进行每秒4G 处理，是 NXP有史以来 DRAM 速度之最。
/ k7 u# h. W: R# q4 V3 Z
+ v2 D* Z+ p) K! c8 F4 G8 q' \: ^
0 G; F& l  e4 e( |
8 R( }( K* f, ?- s' Ri.MX8M Plus 与机器学习、机器视觉
' _2 _. Q  X, X: v# e, F; ^9 v4 v- r
. F/ _3 k5 ~0 r. Y/ B% A
$ S* D4 a' s3 C
机器学习是基于图像数据的，数据的来源通常是一个系统中的摄像头模块，而摄像头模块需要一个图像处理单元，也就是ISP。谈到 i.MX8M Plus 的ISP 单元，在很多系统中，摄像头可能距离目标非常远，为了得到你需要的细节，其分辨率必须足够高，比如4K分辨率，也就是800万像素。
6 N+ `& h3 s8 T
8 c# {3 x& C& f* @0 M, c7 l) m4 `4 `# n* m  i# U* C
. Z1 o1 v3 D0 c& ^4 m2 m- `" o

2 i$ q$ O: r5 @4 A
# w4 s/ y! Z" \
2 R0 d7 o7 [; J. z, |. |, P$ v. Q: W
2 J: M4 j- h5 R, R5 k" q

1 {4 m5 ^5 E+ e8 b, D9 K: x) r8 q5 k; l1 s4 X$ ]/ [
2 k) n3 M/ u* {, E& I. T: A
4 L( K# M5 j( W4 ^
6 T& C- G: c: l) V  D6 x) ~3 ?' d

+ \3 r- w& p4 s( p1 n! }. Z7 ]+ |" U# A9 G4 d) c) M
; A( M% V% g2 B) R% b9 H' v7 h1 a. u

  d- C! V/ T3 T9 M/ y0 i: U% U9 `; d7 D+ E9 W$ y9 R
处理如此高清的影像数据，就需要ISP 的协助。可能对于低分辨率的视频，ISP 并非必需，在很多系统中，用户可能并没有意识到，摄像模块是否集成ISP。但在高分辨率下，就需要 ISP 被集成在处理器中，就像i.MX8M Plus 这样。有趣的是，NXP i.MX8MPlus 中实际上集成了两个 ISP，两路摄像头输入。因而在大多数的应用场景下，将会获得更立体的图像，就像人的两只眼睛一样，可以感知图像的深度。另外一个应用是两路摄像头，其一作为广角或者鱼眼视角，另一路则聚焦某一场景的特写。除此之外，还有其它的应用需要用到这样的功能。& C( D7 s$ v7 \

$ P: q* j$ T* S图像处理需要很强的计算能力，ISP的功能理论上也可以由 CPU 或 GPU 来实现，但要将这样的计算量，将这些数据转化为系统可识别的形式和参数再进行计算和处理，涉及到的工作量太大了。因此在这样的系统下，必须使用一个专门处理图像任务的单元，也就是 ISP，就像 i.MX8M Plus所做的那样。. E( P1 j5 i* A
" j  Y8 D! d9 h# l0 @$ D0 C2 r

9 J/ B# [2 l2 k" [; S' K/ w
$ g) Q' u5 O) `) a( Qi.MX8M Plus 高动态范围（HDR）支持
' U$ r  r( [3 Z3 T5 c8 k7 k9 s3 s( y& m0 f/ N2 `* b
+ ?& q6 n& J1 `+ G

) A: `6 r1 g9 v: s7 | i.MX8MPlus还有一个重点是HDR，也就是高动态范围，你可能在很多手机上看到过这个词，但在嵌入式应用以及消费类产品甚至工业应用中HDR 都非常重要。HDR 主要是融合多重曝光的图像，具体表现为拍摄亮度不同的两张图像，一张是长曝光，一张是短曝光，其中一张能够帮助获得更好的高光部分的细节，另一张则获得更好的低亮度区域的细节。甚至可以拍三张或者更多，来融合成为一张图像。这样高光和暗部的细节都可以保留，这在某些特定场景中非常重要，比如在家里，窗户边很亮，有的地方却很暗，有了 HDR，所有的细节你都可以看清楚。
. r6 v" l- @" K& \5 n% t* o; o. r9 `, c( Q5 o% r
7 B3 X% z: L! }8 f, g5 u

1 d2 q- }* C  |8 w8 Z* r; o- N
; N2 }9 P- F8 R! ?9 V
0 \9 }; i" n! a: w* C2 o3 r: H
0 j) C1 w- ~2 j! a- E! m: l, i; S- B% n! A  M8 Z

% @7 \7 p0 m* V, A: u* w4 l2 S7 @$ W
8 u. h- n/ E  T3 k
1 i' m; @( ?9 O! o; r+ X7 P2 W9 Q/ Z
) F# }; S$ q" `  `# e0 g0 G, V( m) b9 e

6 ?+ \3 m$ A/ Q4 b  Q8 ^. `$ R5 B" P1 G8 V* n+ B' t; A
- q7 T+ l; N, }
6 D2 [4 x( e$ p5 B) C- `9 Y

# _/ k- J* }. L4 r  P6 H扭曲矫正带来更好的图像; U% @! o8 S$ H3 `* S

7 R0 o) P3 `+ K% G" l- Q
# d8 h8 q# O$ a0 F4 l$ g( H( w& X+ n) H4 {
在摄像头相关应用中，扭曲矫正是一个非常重要的功能。摄像头接收到的图像可能是扭曲的，类似观看鱼缸的场景。你可以看到很多的东西，但它们都是扭曲的。扭曲矫正，可以将图像恢复为人类、机器学习可以识别的正常形状，直线曲线区别分明，也没有倒置的现象，这就是扭曲矫正引擎所负责的。但引擎能做的不仅仅是这些，除了能够矫正这些意外的干扰，同时它也可以矫正由于摄像头问题导致的图像不清晰、变形等。
6 f7 m" Z, w3 x1 X. @, \4 T! t
  ^/ V. J; ]: t+ `8 v引擎同样可以对像素进行处理，获得更好的图像质量。针对i.MX8MPlus 的 ISP 架构我们的设计保证了所有的处理都以流的形式进行，也就是说ISP直接从摄像头接收图像进行处理，将它们输出到系统内存。ISP 几乎不需要从系统重新构建图像再进行处理输出，这样就可以带来非常低的延迟表现，以及非常高效的针对图像的处理表现。iSP 针对图像增强，进行了非常多的处理，比如降噪处理，这在暗光环境中非常重要。在这样的环境下，很多像素都会被进行涂抹，但你不能对太多区域都进行涂抹，否则你的图像将会变得非常模糊。所以你必须使用 ISP 来分辨，哪里是可以进行涂抹处理的，哪里则是需要清晰呈现的内容。其它的处理任务包括，检测图像传感器的坏点，确保正常工作，以及白平衡的调节，分辨出不同的光照环境，例如日光、灯光等等。还有提供信息，帮助自动曝光以及对焦，所有的这些都是由ISP 来完成的。9 d  K/ T8 ~/ _, r3 H

9 B# Z. O$ _" C ' B/ Q3 R/ R" O  P

, _5 ]9 F4 p& F$ f4 u3 I7 jH.265视频编码
; m$ ~0 p7 \" m
8 A! \/ r- E4 N3 c/ ^+ O" A- j/ C6 u& X
0 q8 C$ ]" M5 e; l
在许多应用中，摄像头接入系统，数据被送入机器学习算法或是直接被存储在网络中。不管图像被送入何处，它们还是需要被存储在某些地方，比如服务器或者是本地设备。你不可能直接保存原始文件，因为原始的文件实在是太大了，因此必须对数据进行编码，i.MX8M plus 的视频编码是非常高效的。我们支持 h.265编码算法，比起业内广泛使用的 h.264更加先进和高效。
- D$ r( |1 s) n* C$ N" ^7 p( e8 Q" ^
8 P7 l/ H$ f" E$ M  {9 ~

3 G0 p* `: m% V1 }% ~7 I1 D( x+ s4 S7 f& O; `
+ j4 Y8 y( a* D/ [, j4 i7 U
  o, o' _: K2 N9 r2 o' y- A7 {  r+ l
+ Z9 _! a2 U- O3 z7 W
2 ^0 |7 j. y) d: f
( ^* j' o: t5 R1 X8 ~3 ]6 Y7 v( q7 P

9 {$ E. u2 \: X! n" [' S' P' E2 I2 V6 Z$ [2 g- v* T
5 s7 b$ q, U6 v. G+ v; o% i
- e/ y3 p2 h; F+ ]5 r' R

" X4 A* ]& B' c! e& S9 Z- K* H
; j! l; G2 D( B9 K
# y8 l, [( T2 R6 T5 l& r: M  |. m/ ?5 Q5 S: |
iMX8M Plus在工业应用中的特色0 ^" K( e! g2 K# c

# B/ e2 @  `+ o% r5 A  h
' V8 ?8 e& |: L1 {6 a5 ?/ y" M% U+ p% Z1 J' N
i.MX8M Plus有一些针对工业应用的特色，其一就是 ECC，也就是错误纠正代码。用来在用户无需感知的情况下，检测出内存的错误，甚至进行修复。3 H) |  J. X* k+ s1 d

3 F1 u$ m8 D' a: z) n这异常的重要，因为在某些应用中内存的错误会带来严重的后果，虽然不会导致硬件的永久损坏，但当读取内存的软件和程序时有可能会崩溃。
) N1 [# q( g! P- m$ ]7 ^, X% T( p6 j7 z7 M) @
为了避免这些情况的发生，你就需要ECC 来进行检测和修复，这样软件的错误率，也就是我们常说的 SER将会大大降低。i.MX8M Plus在缓存和片上RAM 中都带有ECC，而DRAM 总线还支持在线 ECC，它不需要存储任何额外的位，就能够将ECC 算法与主数据同时发送出去。1 |' M( W9 A* d6 g! z  b  d
1 K7 f' M5 X' K0 o  w5 n
( g+ p  p8 R+ Q4 u, ?( N$ u
; f* h2 p- Q- a
TSN也是 i.MX8M plus 中的亮点，tsn 指的是时间敏感网络。在工业应用中你希望可以确保能够在对的时间点将数据发送出去，而通常以太网中任何人在任何时间都有可能正在发送数据。可能会造成拥堵，可能你需要晚一些再发一次，在工业应用中，这无疑是会带来问题的。而 TSN 则能够很好的解决这样的困扰。i.MX8M Plus同样也支持一些工业级的外设，我们甚至集成了800MHz的 Cortex-M7协处理器来协助组合。组合运行操作系统，M7内核同时可以进行一些实时性的控制，来确保低延迟。我们还有两路 CANFD用于本地与系统或是与网络低延迟的通信。
- @# ^" }3 R- @8 e1 L/ D# x9 b8 N
8 e& `7 Y& n' X! {9 E) x- ci.MX8M Plus所提供的所有的这些特性和外设，能够助力工业及应用的设计为工业应用带来无限的可能。) t: t# j7 f. j( ?9 s. @# g" u
- y, J$ q5 ]* h

/ y3 F4 O' Y0 W/ J% }* H( E2 O2 o2 Q' x! \5 d+ f
如何测评 i.MX8MPlus
  i7 U9 q1 W: Z- Z& P& R9 w7 g2 c; k1 P" m$ l: `# H5 L

: c  w( A/ W) a$ J3 D! R. f) J1 l" G. ^
作为NXP官方金牌合作伙伴，飞凌嵌入式与NXP深入合作，推出了基于i.MX 8M Plus处理器的开发套件OKMX8MP-C开发板与FETMX8MP-C核心板，除了继承了上述CPU能力外，飞凌嵌入式在iMX8MPlus核心板上还集成了LPDDR4、eMMC、PMIC等关键元器件，形成了可以独立运行的最小系统；同时，考虑低成本基础应用以及高端NPU应用的不同需求，DDR可选择2GB、4GB、6GB、8GB多种版本；这款核心板的优势不仅仅在于性能上，其功能也是十分的丰富，双千兆以太网、双CAN-FD、2个USB3.0、PCIe3.0、LVDS、HDMI、MIPI-DSI、MIPI-CSI等接口面面俱到。# e# ]" {2 D/ i; X

* H- _% L5 l# i/ p8 e' ^' P1 T
7 h! x% [' D4 ^$ p5 B# j
: [+ w8 l  A& x% q6 H
) A. V6 y2 R' Z  x5 u8 A7 y& n+ q/ D7 L9 T8 T7 P8 z7 O1 ]

" d. _* @$ ~; I+ P6 i+ a. H7 H7 o! v$ I/ {. f( s0 c7 m+ a$ v

  G+ T$ }$ n' b/ R+ V& O- `$ F7 J8 A% Q
% u6 P/ r4 g- z+ b  O7 Q0 j& D$ _9 s& L* G
. n  V( R* v% V+ C6 \& j6 R
作者: limerence    时间: 2021-12-18 19:56
它的有时还有哪些？
, v* g  ?0 T% }4 N8 U
作者: nuiga    时间: 2021-12-22 18:20
摄像头是需要一个图像处理单元的



欢迎光临 EDA365电子论坛网 (https://bbs.eda365.com/) Powered by Discuz! X3.2