找回密码
 注册
关于网站域名变更的通知
查看: 55|回复: 0
打印 上一主题 下一主题

端侧大模型迎来"轻"革命:移远通信 × RWKV 打造"轻量AI大脑"

[复制链接]

该用户从未签到

跳转到指定楼层
1#
 楼主| 发表于 2025-7-29 11:17 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

EDA365欢迎您登录!

您需要 登录 才可以下载或查看,没有帐号?注册

x
  上海2025年7月28日 /美通社/ -- 7月27日,移远通信宣布与RWKV公司建立全面合作关系,双方将依托移远的算力平台,优化并支持RWKV最新模型架构,共同推动大模型在端侧设备的低资源占用部署。此次合作成果于2025世界人工智能大会(WAIC)首次亮相,标志着端侧大模型解决方案向更高性能、更广场景的应用迈出关键一步。( e& U3 S* {' H% }( g5 r+ ?
     

+ {$ G9 W0 O, V+ f# k! K

1 g7 y. P0 ]; O8 _7 T- b8 j  
* p; _) z; Q! |- F: H  RWKV(Receptance Weighted Key Value)是全球领先的RNN大模型架构,它成功结合了递归神经网络(RNN)的恒定复杂度和高效串行推理,以及Transformer的并行处理优势,使其在文本生成、时间序列、图像和视频、语音和音乐等领域表现出色,推理成本和训练成本显著低于Transformer。5 u: ?6 J% s" M2 L* ^
  这项技术的核心突破在于引入RWKV算子替代Transformer的位置编码和多头注意力机制。这一革新有效解决了Transformer在处理长序列时的空间和时间复杂度问题,在确保模型性能不受影响的前提下,实现了内存占用恒定、token计算复杂度恒定,意味着运算过程更高效、更省力。这一特性让 RWKV 在端侧设备部署中展现出显著优势:处理长序列时速度更快、内存占用更低,相当于为终端设备配备了一个 "轻量化的AI大脑"。& \9 e9 ~) f- Q7 F$ j/ X
  在本次世界人工智能大会(WAIC)上,基于高通 QCS8550 平台的两大 RWKV 联合解决方案将重磅登场:& ?# V0 a9 d& b$ s% f+ \
  * E( `, S" D7 I" t: A
       ; I  s2 ^0 U, o1 ?7 t
  • RWKV Chat:思考永续  2 }. o3 v% P" _0 o" S) f
  RWKV Chat是一款离线AI聊天应用,无需联网即可实现推理、深度对话与文本续写,支持个性化会话配置,成为用户的"口袋级"生产力伙伴。例如其中的RWKV7-G1 2.9B模型在高通手机平台的速度可达30 token/s,且由于RWKV架构无需KV cache,在超长推理后仍然可以速度恒定,内存占用恒定。
' ~- ^0 F5 K4 e, d     

/ Z) _7 X7 s6 {! }/ w
% ?% D, j. Q* J' d5 n0 L/ l
  
$ E& t9 b$ ^; T   # `/ b+ n6 I  U  `, L
  2 {4 i. W" z4 z: ]( C
       
    8 i! X. p2 n. O) |  Y  M
  • RWKV Sudoku:超长CoT  8 J4 s0 J. N" r) i( a/ l
  RWKV 数独则展示了20M超小参数模型在超长链式推理(CoT)下的数学解题能力,凭借恒定内存与极少token消耗,轻松破解复杂数独,直观呈现RWKV架构在端侧的高效潜能。
3 G$ R8 s" Z9 K: r/ u: i     
# v+ I. R' O  r. o3 }# {
- }* f, i, n; ~& y
  $ V7 n3 f1 P* ]! b5 W' T- J' |
  在Transformer架构主导大模型领域的当下,移远通信以前瞻性的眼光,积极布局非Transformer的技术路线,致力于为客户提供更低算力、更少内存消耗的解决方案。1 A, p: j1 s0 Q3 w4 i& N
  此次展出的RWKV7-G1 1.5B模型,经过移远通信的工程优化后,在SG885G模组上的实测数据表现亮眼,明显优于同等参数量的Transformer架构的模型,具体来说,在Prefill阶段:
) K0 _1 S$ ~9 L: w7 T/ ]0 ]  
0 N5 J# _! C$ q1 F3 O! }  w
       
    . t& v8 Y/ I4 Z+ A% U" o
  • 平均耗时减少83%   
    ; A5 O( V4 s1 S; l. r  K
  • 平均处理速度提升345%  / r5 A& N( U, A  X, s6 g3 M  p7 a0 c
  在Decoding阶段:5 V" [3 u; \$ Q) |
  
  E4 h6 u- R# Q& a5 m
       3 y) T# q" h0 u
  • 平均CPU使用减少23%   
    6 \2 O. P$ u3 @/ Z. y) y8 C
  • 平均内存使用减少36%   
    . T/ j9 y# y. z- ?# }2 G
  • 平均功耗减少18%  . o1 X- R: ]' K% B& E" m
  移远通信的SG885G基于高通QCS8550平台开发,其AI综合算力高达48 TOPS,能够支撑7B左右参数级的多模态模型在本地化推理,从而实现实时视觉理解与多模态信息融合。在模型兼容性方面,移远构建了强大的端侧适配体系,率先实现对Llama、通义千问、DeepSeek等主流开源模型的全方位兼容,兼容的参数范围覆盖0.5B至8B,打造出了功能强大的端侧大模型超级平台。此外,在架构创新上,SG885G支持运行非Transformer路线的RWKV7架构,这一特征显著降低了对算力和内存的需求。5 N/ H1 {; D! v6 V
  移远通信首席运营官张栋表示:"此次与RWKV的战略合作,是移远通信 ‘让终端拥有AI大心脏\ 技术理念的关键落地!RWKV的线性注意力架构,突破性地解决了端侧设备的长序列处理瓶颈,再结合移远的高算力模组,成功将AI大模型‘装进\ 了物联网终端。当农机能‘看懂\ 土壤的干湿,当手表可以‘提醒\ 健康风险,AI就不再是飘在云里的概念,而是真真切切来到了田间地头、来到了你我的手腕上,让科技真正服务于每一处需要它的地方。"
2 \) Z3 J* Z5 G  RWKV联合创始人&COO罗璇表示:"我们希望让每一台设备都聪明起来,就像为它们植入了会思考的‘大脑\ 。随着RWKV架构在移远算力平台上实现规模化部署,让终端设备突破资源限制,构建‘云端能力+本地智能\ 的双引擎协同生态,为万物智联时代奠定技术基石。"# m, h. Q# @4 w/ r# y8 u7 k9 w* ?
  移远通信与RWKV的战略合作,不仅是一次技术与硬件的强强联合,更是推动智能计算走向普惠的关键里程碑,让"AI大模型"真正走出云端,融入万物。
* }- X8 w5 @$ G  F# Q& s8 E+ ?  7月26日-29日,诚邀莅临WAIC 2025移远展台(H1 D815),近距离体验端侧大模型解决方案的前沿科技魅力。. f& m; P1 ]+ m2 Q
  关于移远通信
1 {# E! L6 n; C; k6 n2 u  上海移远通信技术股份有限公司(股票代码:603236)是全球领先的物联网整体解决方案供应商,拥有完备的IoT产品和服务,涵盖蜂窝模组(5G/4G/3G/2G/LPWA)、车载前装模组、智能模组(5G/4G/边缘计算)、短距离通信模组(Wi-Fi&BT)、GNSS定位模组、卫星通信模组、天线等硬件产品,以及物联网平台、认证与测试服务、RTK网络校正方案、工业智能、智慧农业等服务与解决方案。公司具备丰富的行业经验,产品广泛应用于智慧交通、智慧能源、金融支付、智慧城市、无线网关、智慧农业&环境监控、智慧工业、智慧生活&医疗健康、智能安全等领域。更多信息,敬请访问移远官网https://www.quectel.com.cn/,关注微信公众号/视频号"移远通信"或发送邮件至marketing@quectel.com。
& J2 a2 l! L1 @; f* p! T9 |7 @% z
% \3 m4 b  k6 ]『本文转载自网络,版权归原作者所有,如有侵权请联系删除』
您需要登录后才可以回帖 登录 | 注册

本版积分规则

关闭

推荐内容上一条 /1 下一条

EDA365公众号

关于我们|手机版|EDA365电子论坛网 ( 粤ICP备18020198号-1 )

GMT+8, 2025-7-31 20:02 , Processed in 0.109375 second(s), 24 queries , Gzip On.

深圳市墨知创新科技有限公司

地址:深圳市南山区科技生态园2栋A座805 电话:19926409050

快速回复 返回顶部 返回列表