EDA365电子论坛网

标题: RK3588开发板上部署DeepSeek-R1大模型的完整指南 [打印本页]
作者: 罗罗诺亚    时间: 2025-2-27 16:46
标题: RK3588开发板上部署DeepSeek-R1大模型的完整指南
DeepSeek作为国产AI大数据模型的代表，凭借其卓越的推理能力和高效的文本生成技术，在全球人工智能领域引发广泛关注。DeepSeek-R1作为该系列最新迭代版本，实现了长文本处理效能跃迁、多模态扩展规划、嵌入式适配等技术维度的突破。: v1 x0 E! a& E  t9 W9 B

  t' e8 \! J4 q9 t8 pRK3588作为瑞芯微推出的旗舰级芯片，凭借多核异构计算能力以及强大的CPU、GPU和NPU性能，成为嵌入式AI应用的理想平台。DeepSeek-R1与OK3588-C开发板的深度融合，标志着国产AI大模型从云端向边缘端的延伸。这种“先进算法+定制化芯片”的协同模式，不仅解决了边缘侧实时性、隐私保护等关键需求，更构建起从技术研发到产业赋能的完整价值链条，为各行业智能化转型提供可复用的创新范式。接下来，让我们深入探讨这一过程是如何具体实现的。' E7 w$ }: o( G( Y! _$ {* G. v

- E4 i1 [0 Z- v' e2 m& `; F( C一、移植过程) e) h, S$ t: p, f$ Q, y8 D/ S
（1）下载DeepSeek-R1源码 2 F, G. _0 j+ R
在Ubuntu虚拟机上从DeepSeek-R1官网地址下载DeepSeek-R1-Distill-Qwen-1.5B权重文件。
  V& h) g+ i4 }4 L, L9 [( m; U2 b$ b# r6 f
（2）安装转换工具 - q5 N3 h5 H- j, m' Q# G; m
在Ubuntu创建虚拟环境并安装RKLLM-Toolkit，以便将DeepSeek-R1大语言模型转换为RKLLM模型格式和编译板端推理的可执行程序。& p0 [5 |: n$ X% `6 X, x+ R
. j/ k5 H* B" Z0 `
（3）模型转换
$ Q/ n( c, R' ?( |$ t/ i% m使用RKLLM-Toolkit对模型进行转换，RKLLM-Toolkit提供模型的转换、量化功能。作为RKLLM-Toolkit的核心功能之一，它允许用户将Hugging Face或GGUF格式的大语言模型转换为RKLLM模型，从而将RKLLM模型在Rockchip NPU上加载运行。$ a7 }( M( m" i" ?
3 R3 U: S- v+ Q# s( F1 }7 N" y
（4）编译DeepSeek-R1程序 # ?, J7 v" \. d* z* d; h
安装交叉编译工具链，以编译RKLLM Runtime可执行文件，该程序包含模型初始化、模型推理、回调函数处理输出和模型资源释放等全部流程。
! t" y  l# x- \) `8 j, j5 V6 S6 A6 s3 [  p9 A
（5）模型部署
8 f# G% l3 A- S, D- J# M2 F将编译好的RKLLM模型和可执行文件上传至板端即可执行，这样就可以在OK3588-C开发板的调试串口上和DeepSeek-R1对话了，而且无需联网。; F! o& W( Q2 f4 n1 o; W- e
# L1 U6 P0 ?$ v- d8 Q( M9 O" Z
二、效果展示- F  y( j' Y' ?
DeepSeek-R1是一款多功能的人工智能助手，它在多个领域内均能提供高效而全面的支持。即便是本地离线版本，无论是日常的信息检索需求、专业设备的维修指导建议、复杂数学问题的解答，还是编程任务的辅助完成，R1都能凭借其强大的数据处理能力和广博的知识储备库，给出既准确且实用的建议，成为用户在各领域探索时的可靠伙伴。
. d: l: P5 ]! ?7 D) }' d% w9 T3 Z4 q: D9 T
（1）普通信息搜索
" c0 M# q# J7 G0 rDeepSeek-R1能够快速检索并提供准确的信息。例如，当询问“保定飞凌嵌入式技术有限公司”时，DeepSeek-R1可以详细介绍该公司的背景、主营业务、产品特点等，帮助用户全面了解该公司的情况。
. b: e. d  n. P! o# N
3 r: x2 E5 d& }) a ) ^/ D% N" O" C; X7 _

7 c, R1 K' V2 z9 `( a  u[backcolor=var(--GBK09A)]
* j2 B7 |, C9 z8 l
( A! @2 f# _4 g. E0 _% Z
[color=var(--GBK99A)]上传视频封面
. q( b% ]6 l9 N2 R8 c+ R/ @
$ C) _2 r( n: L2 x% ?

: z! ?( G; f# p, g- o+ V3 x
  \0 Q5 A  `: k  T2 i1 @' c
3 C' O( Y; d5 ~
/ \) X) c  H: z$ o3 e+ M. p) L) ]( g5 j! G* ]
​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
& F1 T+ o  S2 @: N5 P  U: X; u: a8 C: T& Y0 w8 G& Z/ I: _. [' v

& m% T4 C* Z* V) z" [' |9 Y/ Z7 m  I( A8 n# u# [. i. a
0 D2 y  F! u# ~' v6 j0 T
! n. x6 l  h: A4 ^9 i; w( |# P7 E* W, t

  ?+ w, C* w  `/ c5 i8 M0 i( d  x& z) x9 o
（2）专业设备问题维修意见
, U2 e. r3 Z- M: T& ]0 F! `对于专业设备问题，DeepSeek-R1能够提供详细的故障分析和解决方案。例如，针对PLC报错误码E01的问题，R1分析可能造成故障的原因，如电源问题、接线错误或硬件故障，并提供相应的解决步骤，帮助用户快速排除故障。
; w$ u  D6 h  @  s' V( ]8 P4 \2 z" y# W5 _( A! X, M
8 F7 e9 u2 Z; v+ L9 g  d

3 J9 K& P( O! R4 i" c2 ?3 ?[backcolor=var(--GBK09A)]
. p9 O( r5 a8 F( g- @; B# q8 t5 F% W* n6 T$ I+ {% ~. _
[color=var(--GBK99A)]上传视频封面
- o4 {1 f) M* V: R  V) e& L1 ]

% Z, ~. Y0 |/ U8 C  q9 Q4 W, u* ^& |2 L2 k: E
. M9 n; G/ q0 ]* i. R
$ |8 b3 {- A! g* W) R* H; N# n1 p8 A

, {( ?4 r" H2 k0 E( Q5 G( `5 s' o2 G/ e1 T) \+ Y$ ^% b
​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
' F" m# T5 ]5 C& e4 U' Y, t" X
4 c* t9 o; m8 `( k& _9 S3 Z* \
( `0 s3 u6 g/ V) m
5 f: d, }- h0 [# R3 o
7 _" r7 r  O4 b3 |: T* n" l1 U7 a1 Y) x7 m# t+ A/ Q
: z1 D8 A& C) C
1 _5 y+ o. ~  k8 [* f# V/ S
（3）数学题解答
; L: Z) Z- X" \6 F: g+ ]6 e& S* @! yDeepSeek-R1拥有卓越的数学运算能力，擅长解决各类数学难题。举例来说，在面对红蓝铅笔的采购问题时，它能够巧妙地构建方程组并迅速求解，精确计算出红铅笔与蓝铅笔的应购数量，为用户提供即时且准确的解决方案。不仅如此，DeepSeek-R1还附带了详尽的验证步骤，确保结果的准确无误。( i- R7 Z+ ?$ Z. A
7 X2 {' R( i" O4 W8 _8 a

9 M3 D7 F7 a5 v. P' [9 R* v
1 ]1 F' B2 B6 d) S[backcolor=var(--GBK09A)]
2 @6 p* p  w0 k/ b3 K+ z/ z/ L9 s$ |) l& h( u
[color=var(--GBK99A)]上传视频封面
0 K8 p' _  q! z& \# j

) ^3 ]9 G1 p3 n. n" @" e; @# L( y' N+ H6 q# U3 q5 Y" _0 K; f

' x2 L' Q" O( s5 f' K$ r8 k
: ~. c) ]* _/ O/ W! G
' U7 `' w9 U  u( x+ T  y
# \. I+ s7 y5 X' M) ^, h​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
/ P& _) `5 b1 Q. Q9 B$ |! @4 P; L, F* R6 C- _

( R& V2 i$ u. c2 {
7 c6 z3 o# K) Q: p
9 l1 g, I. `0 u( E% I( D
; h5 O& x( X! z* M0 f3 Z, _- a8 A
5 p9 I- |; G0 h4 O# t$ Q  e5 @
4 T2 s. v7 c3 ~1 ^& Y$ U9 |（4）编程任务1 ]2 u: |5 n. J7 Y3 K
DeepSeek-R1在编程方面表现出色，能够根据用户需求编写代码。例如，针对OK3588-C开发板的串口通信需求，R1可以提供完整的C语言示例程序，包括串口初始化、数据接收和发送等功能，帮助用户实现串口通信。9 i5 w: V! f6 V2 T) |3 t- R
% S. q. a% E" m( ]* N0 i% d

7 ^) c6 D- ^) C; `2 N( c# [3 F, [1 L7 \1 {/ d( |
[backcolor=var(--GBK09A)]: e5 R8 v% s; i9 j6 \

3 D% {& K9 F# \2 N. n
[color=var(--GBK99A)]上传视频封面
$ P: K. Z8 R4 L# N: u
( g5 U- l1 |5 e
; B; G8 M  |0 U) ~6 a! i
. ]0 d$ f: X; x' y7 _, N, N, S- N
5 F4 j, v1 Z$ O/ h- `7 A& g
: r. @) f/ X* _. e! ~  x, i

- N+ F2 h6 I6 j8 i+ M" M$ O1 Q​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
( D  G3 C8 P" g3 X/ Y) J$ F; E
- S( J2 k# E1 M+ v( W4 D! d6 ~
% w; W) q" O: M3 g/ }
9 Q2 M" m6 J' v2 f8 I
) \2 O1 D1 k9 X# L5 s1 B- P; b' f- Z, a

$ k: k2 u5 `+ G, ?% h1 E8 K. j% Z) p# N" w/ c7 R- h
从上述视频中不难发现，DeepSeek-R1在众多领域内彰显了其卓越的实用价值与高效性能，已然成为用户工作中不可或缺的智能伙伴。
: O& H4 i1 P! t6 _4 R
8 p3 v. S/ H. `; M$ z  v6 F3 h' v2 u5 ]三、性能测评
3 t% m$ b5 U3 ?; t6 ^在完成移植后我们进行了全面的性能评测，以验证 DeepSeek-R1在OK3588-C开发板上的运行效果。经过详细的测试与对比，归纳了以下几个关键性能指标：实时性：从上文视频播放中可以看到，DeepSeek-R1输出的回答结果清晰且流畅，未出现任何延迟或卡顿现象。CPU占用：DeepSeek-R1在OK3588-C开发板上运行的CPU占用为12%~17%，这一表现证明了框架的高效性，使其即便在资源受限的设备上也能顺利运行，扩展了其应用场景和商业潜力。
- \; b  u% b0 J2 {5 C6 a5 B
0 }0 {% p' _% n* H: Z6 J/ V8 C+ z1 f6 d+ z& d7 y7 V6 C
% n2 @2 {, ?& X; W! j7 ]" V

: `+ u0 ]6 c( [9 j$ r7 ^( ?
[backcolor=rgba(0, 0, 0, 0.1)]# o7 N4 u+ i3 ]" [. _
[backcolor=rgba(0, 0, 0, 0.1)]
: V- ?4 R6 H  w' c1 n
5 o5 O) i0 J# }" R& Q; D# K
, v5 D3 G4 A1 f# Z
3 q, Y' G% L( t5 E

' q# s6 }3 N2 z7 b: |' g$ ]
; B- x% Z1 K$ o$ f
. H; G% Q' f$ N  _$ U  t添加图片注释，不超过 140 字（可选）
1 N: z( [) t/ p. ?. c0 y! R" t4 P3 i- F

, ^! Z: o. u2 x4 b) [: _7 q& Q- \; B# d
* N& p% A* v) Z
内存占用：在进行上述功能测试时，DeepSeek-R1的内存使用量约为825MB。这保证了系统的流畅运行，避免了由于内存不足引起的性能问题，使得用户的应用体验更加顺畅。
6 w( F5 {% ?0 q6 |4 s, c; N
2 y* v0 Y. X2 s. V+ j, K
2 ^1 V9 ~3 j$ w1 j1 G8 Q) C6 p+ o, p& A) v- i6 c: k, l

; k0 u+ I4 A% B; |' R% E7 u5 Y
[backcolor=rgba(0, 0, 0, 0.1)]6 @1 ?4 g  @5 L. y9 t4 c4 r7 J3 R
[backcolor=rgba(0, 0, 0, 0.1)]
' U7 h" l- e6 a  T! e
4 @0 p, m! L2 x, D+ e' A
( d1 U/ f8 h+ a* A; R( _
1 Y6 Y) N# K) y2 A% ~) w5 ~

, u) N- h2 S. b! |2 ~" }& D. s# v' ?; B7 h* g. p& w
6 k8 V; f! {! \$ D
添加图片注释，不超过 140 字（可选）
. x) @2 y! m9 A$ e( |7 Z% g; n/ w+ b! Q

& U$ E* F5 ?8 r* S$ L& n# k1 M: H( a

: p, h' v8 J3 V  H" UNPU占用：由下图可见DeepSeek-R1在OK3588-C开发板上运行时，能够更高效地分配计算资源，其NPU（神经处理单元）的三个核心负载均达到了83%。
3 y+ D9 ?/ Z! L+ @! G) p
6 x) o, G5 y0 S  z( B& z5 `$ x" u2 t& n/ x1 _7 _1 C$ T1 z

# Q3 [! p  L) f4 |# }3 ]/ g; g0 i
[backcolor=rgba(0, 0, 0, 0.1)]
6 W( }" T9 v$ U; V% ^  }[backcolor=rgba(0, 0, 0, 0.1)]
& q) d9 k) z7 u& y
  A8 S  t8 S9 [( f
: A" O! I+ V- D  y5 F. @% k  k0 ]! b5 N

; c2 b5 v% y3 T! k7 g6 ]7 D
$ G5 q/ M  v5 O2 [4 `; A) `" L# Q, o$ Y
! T- e* U7 H. V+ V; o4 F# }1 e
添加图片注释，不超过 140 字（可选）
1 r( k. P* A2 K8 c" s$ ]+ p5 D7 S- W7 _' @# N9 M0 t1 Q
; g8 m3 O8 K, L$ b
0 K2 U! @9 M' S" ^+ m
作者: kingweison    时间: 2025-3-8 22:16
:):)
作者: kingweison    时间: 2025-5-10 08:03
:):):)
作者: kingweison    时间: 2025-7-15 09:08
:):)



欢迎光临 EDA365电子论坛网 (https://bbs.eda365.com/) Powered by Discuz! X3.2