RK3588开发板上部署DeepSeek-R1大模型的完整指南

罗罗诺亚

DeepSeek作为国产AI大数据模型的代表，凭借其卓越的推理能力和高效的文本生成技术，在全球人工智能领域引发广泛关注。DeepSeek-R1作为该系列最新迭代版本，实现了长文本处理效能跃迁、多模态扩展规划、嵌入式适配等技术维度的突破。
; X. V) A6 F) @3 Z0 g
RK3588作为瑞芯微推出的旗舰级芯片，凭借多核异构计算能力以及强大的CPU、GPU和NPU性能，成为嵌入式AI应用的理想平台。DeepSeek-R1与OK3588-C开发板的深度融合，标志着国产AI大模型从云端向边缘端的延伸。这种“先进算法+定制化芯片”的协同模式，不仅解决了边缘侧实时性、隐私保护等关键需求，更构建起从技术研发到产业赋能的完整价值链条，为各行业智能化转型提供可复用的创新范式。接下来，让我们深入探讨这一过程是如何具体实现的。

" B& [% Z% s3 b3 H% }一、移植过程
( R: q( r4 f7 m（1）下载DeepSeek-R1源码
) h7 k* K7 ~0 r) o; T- J3 k% \在Ubuntu虚拟机上从DeepSeek-R1官网地址下载DeepSeek-R1-Distill-Qwen-1.5B权重文件。
% E6 J0 l; I- o3 D
（2）安装转换工具
在Ubuntu创建虚拟环境并安装RKLLM-Toolkit，以便将DeepSeek-R1大语言模型转换为RKLLM模型格式和编译板端推理的可执行程序。

* b- p* L: {& p! P* o& m5 n3 V# m（3）模型转换
) n2 x* g" Y: d6 R使用RKLLM-Toolkit对模型进行转换，RKLLM-Toolkit提供模型的转换、量化功能。作为RKLLM-Toolkit的核心功能之一，它允许用户将Hugging Face或GGUF格式的大语言模型转换为RKLLM模型，从而将RKLLM模型在Rockchip NPU上加载运行。

（4）编译DeepSeek-R1程序
) u/ r) M2 C3 i/ T5 x0 G3 Z7 h5 p安装交叉编译工具链，以编译RKLLM Runtime可执行文件，该程序包含模型初始化、模型推理、回调函数处理输出和模型资源释放等全部流程。

. G# l& O4 t  H7 V' R: Y（5）模型部署
将编译好的RKLLM模型和可执行文件上传至板端即可执行，这样就可以在OK3588-C开发板的调试串口上和DeepSeek-R1对话了，而且无需联网。
9 H4 d8 ?; K) t
二、效果展示
DeepSeek-R1是一款多功能的人工智能助手，它在多个领域内均能提供高效而全面的支持。即便是本地离线版本，无论是日常的信息检索需求、专业设备的维修指导建议、复杂数学问题的解答，还是编程任务的辅助完成，R1都能凭借其强大的数据处理能力和广博的知识储备库，给出既准确且实用的建议，成为用户在各领域探索时的可靠伙伴。

7 w% z5 [! x7 N- x. N（1）普通信息搜索
DeepSeek-R1能够快速检索并提供准确的信息。例如，当询问“保定飞凌嵌入式技术有限公司”时，DeepSeek-R1可以详细介绍该公司的背景、主营业务、产品特点等，帮助用户全面了解该公司的情况。

2 b' y/ n& y; @! @/ h) b
0 ?  f& L% p& z( }
, E" y  o! J% T$ T* q" t$ k. i( _0 L9 }[backcolor=var(--GBK09A)]

4 Q, ?; _9 a' n5 Y/ J( Y+ T, \; E

[color=var(--GBK99A)]上传视频封面

8 w4 S" @: ^  c+ E# J/ E0 B
/ r" N/ l- d' w



$ ?* Y4 D: l' \8 w, r! t​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
0 x8 X% O6 E/ T; F3 S% V. C
/ B/ J" i# D( A/ A0 J


& o, O4 |/ W: c6 ^0 \0 K' y8 P& Z/ Q


（2）专业设备问题维修意见
对于专业设备问题，DeepSeek-R1能够提供详细的故障分析和解决方案。例如，针对PLC报错误码E01的问题，R1分析可能造成故障的原因，如电源问题、接线错误或硬件故障，并提供相应的解决步骤，帮助用户快速排除故障。

- n# |8 T1 f1 o, \3 x9 |

+ y( t6 v0 b+ _. z$ B" n[backcolor=var(--GBK09A)]
- b2 Y% R2 t9 A' i( g2 x

[color=var(--GBK99A)]上传视频封面

+ Q  s, Y4 Z8 l# F$ c% _  H& v" N

; C& _: }) J7 _: P4 ~
  e/ o8 u, d4 p+ [5 a. {: X# u
' P( C9 h7 T( Q/ w$ n; M
' z) c) O# r% S3 g% Q
​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者

: q- K* a+ B4 ]: a4 k0 V3 q
9 @$ L# B5 k: K9 i& B* `
# ~; t7 \/ \$ R* A* s5 j

8 M+ y/ @0 q& _% A

# x; O  O* T) V& {$ q（3）数学题解答
  V) c- S% Z$ f* [- x9 {; K0 x" \DeepSeek-R1拥有卓越的数学运算能力，擅长解决各类数学难题。举例来说，在面对红蓝铅笔的采购问题时，它能够巧妙地构建方程组并迅速求解，精确计算出红铅笔与蓝铅笔的应购数量，为用户提供即时且准确的解决方案。不仅如此，DeepSeek-R1还附带了详尽的验证步骤，确保结果的准确无误。
5 j2 h4 t: c! ^6 W; D( U
  D/ x, X: M$ ?3 L  [# n

. J$ e( n5 b; @( Z( ^[backcolor=var(--GBK09A)]
6 G; |" z% z' M# m" f. x

[color=var(--GBK99A)]上传视频封面

" V' P! r5 H5 l; K$ |& Y
( B/ ~; L  A7 _) w

( Z4 b  V; C- l' i

: v; ?8 M& d7 t, M3 U1 b
+ T* ~( F) h5 @  x4 ^​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
! [, K2 ]7 |) ]/ P
8 i5 |/ N5 [0 X, I6 x8 w. }; M




% @% {3 F! N. c, t
（4）编程任务
6 ]* Y: x, n& i$ qDeepSeek-R1在编程方面表现出色，能够根据用户需求编写代码。例如，针对OK3588-C开发板的串口通信需求，R1可以提供完整的C语言示例程序，包括串口初始化、数据接收和发送等功能，帮助用户实现串口通信。
+ p" Q1 a6 i& @& G0 j

4 K8 x. J  @3 c1 W: \+ l! x" m2 h
; y4 G( @" C! `* L* c7 W[backcolor=var(--GBK09A)]

3 `, u% ?9 @7 h2 T7 B8 U) D

[color=var(--GBK99A)]上传视频封面

+ j" k1 G, I/ F1 E& Q

) b- p! X/ z* r% {- [
8 M7 Q" k9 f8 w3 ?
​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者

) c- ~7 w1 `1 }: E+ @
/ W, [8 e4 G  F6 l! S  S" U



! G! f; P4 t  A8 v
) R0 e- ~, H# Q从上述视频中不难发现，DeepSeek-R1在众多领域内彰显了其卓越的实用价值与高效性能，已然成为用户工作中不可或缺的智能伙伴。
& J) C7 W% A6 i# P2 I' g2 O
% V* c1 u0 h5 @/ a三、性能测评
在完成移植后我们进行了全面的性能评测，以验证 DeepSeek-R1在OK3588-C开发板上的运行效果。经过详细的测试与对比，归纳了以下几个关键性能指标：实时性：从上文视频播放中可以看到，DeepSeek-R1输出的回答结果清晰且流畅，未出现任何延迟或卡顿现象。CPU占用：DeepSeek-R1在OK3588-C开发板上运行的CPU占用为12%~17%，这一表现证明了框架的高效性，使其即便在资源受限的设备上也能顺利运行，扩展了其应用场景和商业潜力。
  N0 Y1 F: _* t4 {& \- C

  i  ^) {2 ~, J" I+ i
& ]0 F8 t+ W  n# M" f
& {, h: j/ J8 ?) j

[backcolor=rgba(0, 0, 0, 0.1)]
& y0 v8 A: E. ?3 V: u  P  \% l[backcolor=rgba(0, 0, 0, 0.1)]
0 E: j) v, F5 N: C6 L

/ I; [+ c6 X0 q2 C) q9 z/ h
2 I" B/ A/ d2 K; y6 C1 W; {, \

添加图片注释，不超过 140 字（可选）




内存占用：在进行上述功能测试时，DeepSeek-R1的内存使用量约为825MB。这保证了系统的流畅运行，避免了由于内存不足引起的性能问题，使得用户的应用体验更加顺畅。

) Q* C2 |) V9 b+ m5 z- e
: j! {' n6 E) w4 Z  l
- S" w, x3 T+ K5 A

[backcolor=rgba(0, 0, 0, 0.1)]
[backcolor=rgba(0, 0, 0, 0.1)]

  i2 J  w0 h/ r6 G
2 n9 \9 M8 w2 x( P* o/ q% \
4 B* @  |/ {2 v0 V

添加图片注释，不超过 140 字（可选）

; Q0 [9 ~) U" v
: n/ A' h3 K: z7 i- P- n- C! P4 ?
* {  j6 J% k! z: ~! Z( n
2 o; `2 F& X3 [$ s6 s1 [NPU占用：由下图可见DeepSeek-R1在OK3588-C开发板上运行时，能够更高效地分配计算资源，其NPU（神经处理单元）的三个核心负载均达到了83%。



# {8 o5 T; B' |, U
% g: P% L4 _( H4 ?

[backcolor=rgba(0, 0, 0, 0.1)]
[backcolor=rgba(0, 0, 0, 0.1)]

- Y/ _, `. M) P7 R

添加图片注释，不超过 140 字（可选）
2 U; L( ~. g/ |2 c, o

kingweison

:):)

kingweison

:):):)

kingweison

:):)