隨著技術(shù)的升級(jí)，AI從云端走向終端，終端AI迎來巨大發(fā)展機(jī)遇，并且該趨勢(shì)必將繼續(xù)擴(kuò)大到更多的終端設(shè)備上。手機(jī)、機(jī)器人、無人機(jī)等智能設(shè)備對(duì)低延遲、低功耗和低成本人工智能的需求日益增長。需求的出現(xiàn)催生出市場(chǎng)，越來越多IP提供商推出自家的AI處理器。

2018年10月31日,我愛方案網(wǎng)受邀參加CEVA于深圳威斯汀酒店舉行的媒體見面會(huì)，有機(jī)會(huì)在第一時(shí)間了解這家專注于移動(dòng)設(shè)備的人工智能處理器IP提供商。

據(jù)了解，CEVA于今年推出了用于前端設(shè)備深度學(xué)習(xí)的AI處理器IP NeuPro。該處理器由NeuPro引擎和NeuPro VPU組成。NeuPro引擎是深度神經(jīng)網(wǎng)絡(luò)推理硬件引擎，用以處理卷積、全連結(jié)、活化與池化層；NeuPro VPU是可編程矢量DSP，用于處理CDNN軟件，同時(shí)為AI負(fù)載的新進(jìn)展提供基于軟件的支持。

NeuPro AI處理器如何保持功耗和性能優(yōu)勢(shì)？

移動(dòng)設(shè)備對(duì)功率及面積有較高的要求，功耗、性能和面積的可行性設(shè)計(jì)至關(guān)重要。據(jù)CEVA營銷副總裁Moshe Sheier介紹，NeuPro AI 處理器降低功耗有多這種方式。

其中一種是對(duì)數(shù)據(jù)進(jìn)行壓縮處理。由于數(shù)據(jù)處理在AI處理器中能量的消耗會(huì)占比較大的比重，其中卷積層部分占了整個(gè)計(jì)算量的近80%。因此NeuPro會(huì)把連續(xù)的層在Engine單元內(nèi)部進(jìn)行處理，無需一層一層地進(jìn)行數(shù)據(jù)加載和存儲(chǔ)處理。 而且，NeuPro VPU單元和 Engine單元 中間是直連的通道，兩個(gè)單元之間的層和層之間的數(shù)據(jù)交換可以直接進(jìn)行，不需要通過Soc總線做交換，大大減少中間的處理過程。

另外一種是在嵌入式SoC芯片上，優(yōu)先采用更有效的定點(diǎn)計(jì)算。當(dāng)將網(wǎng)絡(luò)從浮點(diǎn)轉(zhuǎn)換為定點(diǎn)時(shí)，會(huì)不可避免的損失掉一些精度。最小化精度損失的方法之一是在8位和16位整數(shù)精度之間做出選擇。8位精度可以節(jié)省帶寬和計(jì)算資源，但如果要確保準(zhǔn)確性，還是要采用16位精度。NeuPro引擎能讓這些混合操作達(dá)到平衡，減少工作量，進(jìn)而減少功率的消耗，因而讓各層都達(dá)到最理想的執(zhí)行，讓性能最佳化。

尤其是在功耗控制方面，CEVA基于對(duì)應(yīng)用的深入理解和長期的積累，來判斷什么樣的組件應(yīng)該來做什么任務(wù)，完成處理器內(nèi)部任務(wù)分配最佳化。比如哪些任務(wù)得通過軟件，哪些工作得通過硬件，哪些工作得通過DSP來實(shí)現(xiàn)等等。

另外，無論是新出現(xiàn)的層還是模型，都可以放到CEVA的VPU（Vision DSP）上處理，既能保持DSP很強(qiáng)的功耗和性能優(yōu)勢(shì)，也能讓NeuPro不斷適應(yīng)新的變化。由于機(jī)器學(xué)習(xí)尚未成熟，還在持續(xù)發(fā)展，因此為了設(shè)計(jì)能因應(yīng)未來的解決方案，靈活性就至關(guān)重要。所以，這也是CEVA的AI方案的一大優(yōu)勢(shì)。

AI硬件性能差距小，軟件才是當(dāng)下制勝的關(guān)鍵

“AI最大的變化是很多領(lǐng)域已經(jīng)從傳統(tǒng)的算法全面轉(zhuǎn)變成應(yīng)用的處理，而這種算法和軟件的更新使得整個(gè)產(chǎn)業(yè)發(fā)生根本性的變化：整個(gè)產(chǎn)業(yè)的硬件計(jì)算性能提高了，進(jìn)入產(chǎn)業(yè)的門檻降低了，因此給了很多算法公司涌現(xiàn)和冒頭的機(jī)會(huì)?！?Moshe Sheier如此說道。

他表示，目前AI還處于早期發(fā)展階段，很多公司的AI處理器的IP都不小，未來將不斷演進(jìn)。 現(xiàn)在每一家廠商的AI處理器IP的設(shè)計(jì)都非常相似，相同功率之下，處理器的面積和功耗也不會(huì)有很大的差別。所以目前來看，軟件發(fā)揮著更加重要的作用。這種情況下，對(duì)各個(gè)廠商來說，最終不管是比拼成本還是比拼產(chǎn)品生命周期，更重要的是看軟件能否適應(yīng)oem廠商的變化。無論是面積還是功耗，十年后再回過頭來看現(xiàn)在AI處理器顯得很龐大。但由于要考慮到盈利問題，所以在產(chǎn)品的演進(jìn)過程中，廠商要通過多用軟件少用固件的方法盡量延長產(chǎn)品的生命周期。否則，產(chǎn)品的壽命如果過短，將對(duì)自身以及產(chǎn)業(yè)發(fā)展不利。

在應(yīng)用廣泛的音頻領(lǐng)域，比如智能語音包括喚醒，關(guān)鍵字識(shí)別等等的處理已經(jīng)從傳統(tǒng)的算法全面轉(zhuǎn)變成應(yīng)用的處理。廠商需要做的就是不斷往神經(jīng)網(wǎng)絡(luò)和人工智能的方向去更新算法。另外，語音芯片也會(huì)往這個(gè)方向去發(fā)展，不斷演進(jìn)出新的算法和新的平臺(tái)。

Moshe Sheier指出，技術(shù)本身沒有什么難度，只是時(shí)間投入的問題。未來AI的演進(jìn)路線將會(huì)類似通訊技術(shù)，能活得比較好的有兩類公司：一種是大廠商通過自主研發(fā)或者收購來自己掌握技術(shù)，另一種是像CEVA在通訊領(lǐng)域這樣幾乎是唯一一家提供通用平臺(tái)的DSP方案的廠商。

現(xiàn)在做算法的廠商有很多，未來將會(huì)在數(shù)量上減少，部分公司會(huì)被合并，部分公司會(huì)被市場(chǎng)淘汰。而CEVA將在長期的競(jìng)爭(zhēng)當(dāng)中，圍繞DSP技術(shù)，持續(xù)去演進(jìn)和發(fā)展。

結(jié)語

總的來說，CEVA的核心優(yōu)勢(shì)是基于性能、功耗和成本等因素等考慮對(duì)AI處理器進(jìn)行詳細(xì)的架構(gòu)設(shè)計(jì)。該公司最終的目標(biāo)是幫助OEM廠商做全方案處理。比如，在音頻領(lǐng)域，絕大多數(shù)廠商都只能提供一部分音頻處理所需的模塊，包括科大訊飛，云之聲等都只能提供自己擅長的一部分模塊，而CEVA想針對(duì)不同廠商的需求，給他們提供他們擅長領(lǐng)域之外的模塊，形成產(chǎn)業(yè)互補(bǔ)。