超低成本！千元級(jí)國產(chǎn)開發(fā)板即可本地化部署deepSeek-r1 1.5B語言大模型！

發(fā)布時(shí)間：2025-02-27 閱讀量：996 來源: 我愛方案網(wǎng) 作者: bebop

摘要：使用瑞芯微RK3588本地部署DeepSeek，意味著千元級(jí)硬件即可本地化高效運(yùn)行1.5B/7B DeepSeek模型，無需聯(lián)網(wǎng)就可在本地處理數(shù)據(jù)，不需要將數(shù)據(jù)傳輸?shù)皆贫?，減少了網(wǎng)絡(luò)延遲，可以快速響應(yīng)應(yīng)用，同時(shí)也減少了數(shù)據(jù)傳輸?shù)皆贫藭r(shí)被竊取的問題，不需要借助云端就可以處理數(shù)據(jù)，也就降低了成本。快包平臺(tái)可提供安全穩(wěn)定且即插即用的RK3588開發(fā)板及主控芯片，幫助工程師快速實(shí)現(xiàn)DeepSeek應(yīng)用部署。

掃碼可申請(qǐng)免費(fèi)樣片以及獲取產(chǎn)品技術(shù)規(guī)格書

RK3588是瑞芯微電子推出的一款高性能處理器，采用先進(jìn)的8nm制程工藝，集成了四核Cortex-A76和四核Cortex-A55 CPU，以及Mali-G610 MP4 GPU。更重要的是，RK3588內(nèi)置了獨(dú)立的NPU（神經(jīng)網(wǎng)絡(luò)處理單元），可提供高達(dá)6TOPS的AI算力，為運(yùn)行復(fù)雜的深度學(xué)習(xí)模型提供了強(qiáng)勁動(dòng)力。

AI界新星DeepSeek（中文名：深度求索）在近期迅速崛起，憑借低成本、高性能的AI模型火爆全網(wǎng)。其核心是一個(gè)強(qiáng)大的語言模型，能夠理解自然語言并生成高質(zhì)量文本，此外DeepSeek免費(fèi)向全球開發(fā)者開放，加速了AI技術(shù)普及。

在RK3588上部署Deepseek可以通過瑞芯微官方的 RKLLM量化部署，步驟如下：

1、環(huán)境搭建

基于Ubuntu系統(tǒng)安裝RKLLM-Toolkit，創(chuàng)建Python3.8的Conda環(huán)境，安裝量化工具鏈。

2、模型轉(zhuǎn)換

通過transform.py腳本加載模型，結(jié)合量化校正數(shù)據(jù)集，指定目標(biāo)平臺(tái)為RK3588，生成適配NPU的.rkllm文件。

3、本地推理

調(diào)用RKLLM API實(shí)現(xiàn)交互式對(duì)話，支持多線程與NPU核心調(diào)度，1.5B模型響應(yīng)延遲低至毫秒級(jí)。

本次測試使用的DeepSeek-R1-Distill-Qwen1.5B和DeepSeek-R1-Distill-Qwen7B模型，均為蒸餾模型，通過rkllm-toolkit轉(zhuǎn)換成RK3588開發(fā)板支持運(yùn)行的rkllm格式模型，采用w8a8量化算法，壓縮模型體積同時(shí)保持精度，1.5B模型僅需1.89GB存儲(chǔ)，7B模型僅需7.63GB存儲(chǔ)。

DeepSeek轉(zhuǎn)換完成的RKLLM模型如下圖所示：

然后將其傳輸?shù)介_發(fā)板上，使用對(duì)應(yīng)的可執(zhí)行文件運(yùn)行即可，運(yùn)行之后如下圖所示：

接下來向該模型提出問題即可，回復(fù)內(nèi)容如下所示：

在回復(fù)的過程中查看CPU和NPU的利用率，可以看到CPU的占用率為84%，并且調(diào)用了NPU的3個(gè)核心進(jìn)行加速推理：

本地部署，釋放邊緣AI潛力

RK3588成功在本地部署DeepSeek，意味著無需將數(shù)據(jù)上傳至云端，在設(shè)備端即可完成復(fù)雜的AI計(jì)算任務(wù)，這將帶來以下優(yōu)勢(shì)：

更低延遲： 本地處理數(shù)據(jù)，無需網(wǎng)絡(luò)傳輸，顯著降低延遲，滿足實(shí)時(shí)性要求高的應(yīng)用場景，例如工業(yè)機(jī)器視覺、自動(dòng)駕駛等。
更高隱私： 敏感數(shù)據(jù)無需上傳至云端，有效保護(hù)用戶隱私和數(shù)據(jù)安全，適用于智慧醫(yī)療、金融支付等領(lǐng)域。
更低成本： 減少對(duì)云服務(wù)的依賴，降低網(wǎng)絡(luò)帶寬和云存儲(chǔ)成本，更適合大規(guī)模部署。

應(yīng)用場景廣泛，賦能千行百業(yè)

RK3588與DeepSeek的結(jié)合，為邊緣AI應(yīng)用提供了強(qiáng)大的硬件和軟件支持，將賦能以下場景：

智能安防： 在智能攝像頭、門禁系統(tǒng)等設(shè)備中，利用DeepSeek實(shí)現(xiàn)人臉識(shí)別、行為分析、異常檢測等功能，提升安防效率和準(zhǔn)確性。
工業(yè)視覺： 在工業(yè)生產(chǎn)線中，利用DeepSeek實(shí)現(xiàn)產(chǎn)品質(zhì)量檢測、設(shè)備狀態(tài)監(jiān)控、機(jī)器人引導(dǎo)等功能，提高生產(chǎn)效率和產(chǎn)品質(zhì)量。
智慧醫(yī)療： 在醫(yī)療影像設(shè)備中，利用DeepSeek輔助醫(yī)生進(jìn)行疾病診斷和治療方案制定，提高診斷準(zhǔn)確性和效率。
其他領(lǐng)域： 包括智能零售、智慧交通、智能家居等，RK3588和DeepSeek的組合將為各行各業(yè)帶來創(chuàng)新應(yīng)用。

快包電子平臺(tái)推出了很多設(shè)計(jì)優(yōu)化的RK3588主板方案，它們都是穩(wěn)定出貨、即插即用，在具體場景實(shí)現(xiàn)應(yīng)用的產(chǎn)品。

瑞芯微RK3588工控機(jī)開發(fā)板

方案簡介：

方案基于Rockchip新一代旗艦 RK3588處理器開發(fā)設(shè)計(jì)，采用先進(jìn)8nm制程工藝集成4核Cortex-A76+4核Cortex-A55架構(gòu)，主頻最高達(dá)2.4GHZ，支持8K超清顯示，四屏異顯，內(nèi)置瑞芯微自研三核NPU，綜合算力可達(dá)6TOPS。

方案特點(diǎn)：

1.6 TOPS算力加持，賦能人工智能應(yīng)用

2.提供多種顯示接口，支持四屏異顯

3.提供豐富的CPU接口資源，滿足計(jì)算鏈接存儲(chǔ)需求

4.支持多種操作系統(tǒng)和二次開發(fā)

5.支持雙千兆網(wǎng)口通訊

應(yīng)用場景：

AGV、邊緣計(jì)算、智慧大屏、高端平板、智能NVR、可視化網(wǎng)關(guān)等領(lǐng)域。

瑞芯微3588直播一體機(jī)

方案簡介：

瑞芯微 3588 直播機(jī)是一款即插即用直播機(jī)方案，方案可供直播機(jī)設(shè)備終端制造商開發(fā)自定義直播機(jī)。該直播機(jī)主板采用RK3588高端8核處理器，6T算力，屏幕分辨率最大可支持1920*1080，并配有兩個(gè)USB3.0、一個(gè)Type-C全功能接口，方便客戶組合外設(shè)，設(shè)置WiFi和4G互聯(lián)，監(jiān)控外設(shè)錄像/編輯，快速導(dǎo)入產(chǎn)品創(chuàng)新。

方案特點(diǎn)：

SOC ：RockChip RK3588

CPU ：4×Cortex-A76+4×Cortex-A55

GPU ：ARM Mali-G610 MP4 四核 GPU

NPU ：6TOPS

應(yīng)用場景：

教學(xué)培訓(xùn)、直播帶貨、產(chǎn)品宣傳

瑞芯微RK3588邊緣計(jì)算盒子

方案簡介：

瑞芯微RK3588邊緣計(jì)算盒子，主頻高達(dá)2.4GHz，適用于邊緣計(jì)算，廣告機(jī)，miniPC整機(jī)，工控一體機(jī)，零售機(jī)和快遞柜。支持安卓12系統(tǒng)，內(nèi)嵌高性能AI加速硬件，支持6T算力NPU.板載LPDDR4/LPDDR4X 8G內(nèi)存，EMMC標(biāo)配128GB（最大可選512GB），支持WIFI6通信、10000M以太網(wǎng)?？芍苯域?qū)動(dòng)1920*1080液晶屏。

方案特點(diǎn)：

1.RK3588超強(qiáng)CPU搭載Android 12系統(tǒng)，速度更快，性能更強(qiáng)。

2.支持PCIE WIFI6，BT5.0，雙天線。

3.網(wǎng)口設(shè)計(jì)，支持一個(gè)1000M網(wǎng)口。

4.分辨率最大支持4K@60。

應(yīng)用場景：

邊緣計(jì)算，廣告機(jī)，miniPC整機(jī)，工控一體機(jī)，零售機(jī)和快遞柜

掃碼可申請(qǐng)免費(fèi)樣片以及獲取產(chǎn)品技術(shù)規(guī)格書