RK3588开发板上部署DeepSeek-R1大模型的完整指南

罗罗诺亚

DeepSeek作为国产AI大数据模型的代表，凭借其卓越的推理能力和高效的文本生成技术，在全球人工智能领域引发广泛关注。DeepSeek-R1作为该系列最新迭代版本，实现了长文本处理效能跃迁、多模态扩展规划、嵌入式适配等技术维度的突破。
/ U8 s1 s& C9 I) _9 s
RK3588作为瑞芯微推出的旗舰级芯片，凭借多核异构计算能力以及强大的CPU、GPU和NPU性能，成为嵌入式AI应用的理想平台。DeepSeek-R1与OK3588-C开发板的深度融合，标志着国产AI大模型从云端向边缘端的延伸。这种“先进算法+定制化芯片”的协同模式，不仅解决了边缘侧实时性、隐私保护等关键需求，更构建起从技术研发到产业赋能的完整价值链条，为各行业智能化转型提供可复用的创新范式。接下来，让我们深入探讨这一过程是如何具体实现的。

& v$ W" c# w: Y" k5 C5 ~0 z一、移植过程
（1）下载DeepSeek-R1源码
在Ubuntu虚拟机上从DeepSeek-R1官网地址下载DeepSeek-R1-Distill-Qwen-1.5B权重文件。
# S' y& H+ M, Y1 o9 u
- K& C- Z1 v  `7 z（2）安装转换工具
在Ubuntu创建虚拟环境并安装RKLLM-Toolkit，以便将DeepSeek-R1大语言模型转换为RKLLM模型格式和编译板端推理的可执行程序。
  {& |! F2 D* m& d
5 \* B$ ?8 ]9 `! O$ A2 x（3）模型转换
0 x4 M. s$ t" c% ~9 W使用RKLLM-Toolkit对模型进行转换，RKLLM-Toolkit提供模型的转换、量化功能。作为RKLLM-Toolkit的核心功能之一，它允许用户将Hugging Face或GGUF格式的大语言模型转换为RKLLM模型，从而将RKLLM模型在Rockchip NPU上加载运行。
2 \1 g) W5 o$ I; |
（4）编译DeepSeek-R1程序
安装交叉编译工具链，以编译RKLLM Runtime可执行文件，该程序包含模型初始化、模型推理、回调函数处理输出和模型资源释放等全部流程。
, q; D5 G+ G0 G- V0 t! l
（5）模型部署
将编译好的RKLLM模型和可执行文件上传至板端即可执行，这样就可以在OK3588-C开发板的调试串口上和DeepSeek-R1对话了，而且无需联网。

二、效果展示
DeepSeek-R1是一款多功能的人工智能助手，它在多个领域内均能提供高效而全面的支持。即便是本地离线版本，无论是日常的信息检索需求、专业设备的维修指导建议、复杂数学问题的解答，还是编程任务的辅助完成，R1都能凭借其强大的数据处理能力和广博的知识储备库，给出既准确且实用的建议，成为用户在各领域探索时的可靠伙伴。

6 I( C3 O$ m/ A  a7 u1 w- ^（1）普通信息搜索
DeepSeek-R1能够快速检索并提供准确的信息。例如，当询问“保定飞凌嵌入式技术有限公司”时，DeepSeek-R1可以详细介绍该公司的背景、主营业务、产品特点等，帮助用户全面了解该公司的情况。
; e0 F5 R/ X( j


[backcolor=var(--GBK09A)]
) J- S5 P5 S( c7 I2 P
4 N5 B" O) I6 t0 l( N: n: A

[color=var(--GBK99A)]上传视频封面

7 g# z3 Y0 ?" v+ Y8 S6 J
( {1 W8 `1 a0 R  D" p* t
1 H' H3 E9 m, P; s' \! ~6 _1 z

- D2 t8 ]- P$ I: j" e+ e# o9 X/ h
( u7 z8 `) u7 [6 e0 }. ^# V
) A+ b; ]* h$ W# a​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者

5 U# S1 N2 k6 Z3 N
" z6 N) W/ H( A" ]8 E$ w8 T5 X
; V% _% a) N) g7 r( |


1 M# k/ f1 [1 u/ g! S% u8 h2 Z
（2）专业设备问题维修意见
对于专业设备问题，DeepSeek-R1能够提供详细的故障分析和解决方案。例如，针对PLC报错误码E01的问题，R1分析可能造成故障的原因，如电源问题、接线错误或硬件故障，并提供相应的解决步骤，帮助用户快速排除故障。
7 P- a1 `/ K7 y9 `. H0 ~


5 _6 _" j) ~7 o4 |9 p! V[backcolor=var(--GBK09A)]
( C( A' ~4 }% L0 T0 E- K

[color=var(--GBK99A)]上传视频封面

/ \5 C: q/ J9 P
7 P2 }/ E- C, t# E: N; a

! y0 R2 J# M' G6 m: E9 E% S
& D! ?' W; I4 d8 K) M# ~2 [5 f* y
​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者




( o5 K, {) I; G9 d5 H+ d' p  v


! i# i- x- w- T* s! J4 L* M: M' J- r（3）数学题解答
DeepSeek-R1拥有卓越的数学运算能力，擅长解决各类数学难题。举例来说，在面对红蓝铅笔的采购问题时，它能够巧妙地构建方程组并迅速求解，精确计算出红铅笔与蓝铅笔的应购数量，为用户提供即时且准确的解决方案。不仅如此，DeepSeek-R1还附带了详尽的验证步骤，确保结果的准确无误。


' \; ]% T5 E9 x+ y7 n. j9 ~- W. u
[backcolor=var(--GBK09A)]
, `8 f7 e1 b% r1 j* @' u$ `
8 U1 }9 s: D, k. v7 a

[color=var(--GBK99A)]上传视频封面

- f  Y7 ?' M3 E- n; E; x6 C* W
/ E  |( p8 _- o

1 D  \( I0 h6 y: ^' Y$ V+ ?
8 m3 r. K- b; [' ~  F

% S; G0 w) W  i​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
" |% H8 v8 V3 j; ^
; b- H# X. \% o* h, A9 X
2 X4 ^. l& J$ E, n8 }) l% S" u




（4）编程任务
DeepSeek-R1在编程方面表现出色，能够根据用户需求编写代码。例如，针对OK3588-C开发板的串口通信需求，R1可以提供完整的C语言示例程序，包括串口初始化、数据接收和发送等功能，帮助用户实现串口通信。
9 f; m- c, \* h, e% b4 Z: y
0 W2 f3 M5 A9 b* T. j- ]

[backcolor=var(--GBK09A)]

[color=var(--GBK99A)]上传视频封面

( o% j( x; r' \0 b+ L




2 n5 k& D0 p! h​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
( {" b  G5 p4 v( F
7 h8 L" n) l( B: s6 W% u4 h2 ]

  A2 X: M/ O% K- g

3 `: C, O! ?  H; c; c  w3 t
8 ^" S8 m4 G+ V, G
从上述视频中不难发现，DeepSeek-R1在众多领域内彰显了其卓越的实用价值与高效性能，已然成为用户工作中不可或缺的智能伙伴。

三、性能测评
在完成移植后我们进行了全面的性能评测，以验证 DeepSeek-R1在OK3588-C开发板上的运行效果。经过详细的测试与对比，归纳了以下几个关键性能指标：实时性：从上文视频播放中可以看到，DeepSeek-R1输出的回答结果清晰且流畅，未出现任何延迟或卡顿现象。CPU占用：DeepSeek-R1在OK3588-C开发板上运行的CPU占用为12%~17%，这一表现证明了框架的高效性，使其即便在资源受限的设备上也能顺利运行，扩展了其应用场景和商业潜力。


3 _. S* U( D; [  N5 V6 @

& c6 f. M8 V( H# @& o- l

[backcolor=rgba(0, 0, 0, 0.1)]
[backcolor=rgba(0, 0, 0, 0.1)]
' W4 h- o  r0 G6 t; i

) Y" m6 @# o  l) F* j" l) T

添加图片注释，不超过 140 字（可选）
- W6 N. _6 {6 U8 x7 x0 a, m
" d. C2 Z" ~% z% a! `


+ W3 L, \- T* P* `' g0 k/ `内存占用：在进行上述功能测试时，DeepSeek-R1的内存使用量约为825MB。这保证了系统的流畅运行，避免了由于内存不足引起的性能问题，使得用户的应用体验更加顺畅。

7 N4 H; I, z- g

[backcolor=rgba(0, 0, 0, 0.1)]
[backcolor=rgba(0, 0, 0, 0.1)]
, e3 m& F" c% Y. K4 L' n% M. s

; u+ b! f. Q1 a; ]) w% ]% v" a  G
" \; }6 X4 p* v4 Z" ~

添加图片注释，不超过 140 字（可选）

7 q- _$ E" k; p

  `+ q/ j0 n& k3 S, y6 e
. I7 B' x7 q3 u6 v. {! J6 c! }6 N1 NNPU占用：由下图可见DeepSeek-R1在OK3588-C开发板上运行时，能够更高效地分配计算资源，其NPU（神经处理单元）的三个核心负载均达到了83%。

[backcolor=rgba(0, 0, 0, 0.1)]
. k2 Y% I; {. a7 X4 u& r0 A- W[backcolor=rgba(0, 0, 0, 0.1)]

: H# I2 @* r( _/ g8 p: a
) R4 g& F: q( x/ h5 \1 u
  {6 p2 |* Q& P+ J) o4 k
8 l: ?! d# G3 a+ r1 W添加图片注释，不超过 140 字（可选）
' }- M% L- w* d% j" y

& p+ S$ b9 }) O+ e  \; ^. W

kingweison

:):)

kingweison

:):):)

kingweison

:):)