1. 簡介

未來五年內(nèi)，邊緣AI預(yù)計(jì)將以100％以上的速度增長，是芯片行業(yè)蕞大的趨勢之一。與基于云的AI相反，推理功能本地嵌入在位于網(wǎng)絡(luò)邊緣的物聯(lián)網(wǎng)（IoT）端點(diǎn)上，例如手機(jī)和智能揚(yáng)聲器。物聯(lián)網(wǎng)設(shè)備與相對較近的邊緣服務(wù)器進(jìn)行無線通信。該服務(wù)器決定將哪些數(shù)據(jù)發(fā)送到云服務(wù)器（通常，對時(shí)間不太敏感的任務(wù)（如重新培訓(xùn)）所需的數(shù)據(jù)）以及在邊緣服務(wù)器上處理哪些數(shù)據(jù)。

圖1  邊緣AI芯片圖片

2. AI芯片現(xiàn)狀

與基于云的AI（數(shù)據(jù)需要從端點(diǎn)到云服務(wù)器來回移動）相比，邊緣AI更容易解決隱私問題（圖5）。它還具有響應(yīng)速度快和減少云服務(wù)器工作負(fù)載的優(yōu)勢。想象一下需要基于AI做出決策的自動駕駛汽車。由于需要快速做出決策，因此系統(tǒng)無法等待數(shù)據(jù)傳輸?shù)椒?wù)器并返回。由于電池供電的IoT設(shè)備通常會施加功率限制，因此這些IoT設(shè)備中的推理引擎也需要非常節(jié)能。

圖2  邊緣AI框架

如今，使用快速GPU或ASIC進(jìn)行計(jì)算的邊緣AI芯片（邊緣服務(wù)器內(nèi)部的芯片）可提供每秒約1-100兆次運(yùn)算/瓦（Tops / W）的效率，蕞高效率為每秒每瓦（Tops / W）。對于物聯(lián)網(wǎng)實(shí)施，將需要更高的效率。Imec的目標(biāo)是證明推理效率為10.000 Tops / W。

3. 未來發(fā)展

通過研究模擬內(nèi)存中計(jì)算架構(gòu)，我們正在尋求一種不同的方法。這種方法打破了傳統(tǒng)的馮·諾依曼（Von Neumann）計(jì)算范式，后者基于將數(shù)據(jù)從內(nèi)存發(fā)送到CPU（或GPU）進(jìn)行計(jì)算。使用內(nèi)存中模擬計(jì)算，可以在內(nèi)存框架內(nèi)完成計(jì)算，從而節(jié)省了來回移動數(shù)據(jù)的大量功能。在2019年，我們展示了一個基于SRAM的模擬內(nèi)存計(jì)算單元（內(nèi)置22nm FD-SOI技術(shù)），可實(shí)現(xiàn)1000Tops / W的效率。為了將這個數(shù)字進(jìn)一步提高到10.000Tops / W，我們正在研究非易失性存儲器，例如SOT-MRAM，FeFET和基于IGZO的存儲器。

圖3  邊緣AI芯片應(yīng)用場景