領(lǐng)先的移動(dòng)SoC設(shè)計(jì)人員多年來(lái)一直在其SoC中集成專(zhuān)用NPU。去年底，Arm也帶來(lái)了Ethos NPU系列。此舉是Arm拓展AI市場(chǎng)的最新舉措。該公司在新的Ethos NPU系列下推出了三個(gè)初始IPEthos-N37，Ethos-N57和Ethos-N77。這三個(gè)初始IP旨在覆蓋相當(dāng)多的設(shè)備。顧名思義，每個(gè)功能都比前一個(gè)功能越來(lái)越強(qiáng)大。

三個(gè)NPU使用相同的微體系結(jié)構(gòu)構(gòu)建，但配置稍有不同，您將在稍后看到。下面的Arm可視化圖描繪了NPU正在工作的各種市場(chǎng)和約束。

在低端是Ethos-N37，其目標(biāo)是工作負(fù)載最輕的設(shè)備，其峰值計(jì)算性能高達(dá)大約1 TOPS，而需要很少的DRAM帶寬（約為3 GB / s或更低）；

Ethos-N57涵蓋了更復(fù)雜的設(shè)備，例如大多數(shù)智能家居設(shè)備以及一些主流智能手機(jī)SoC。N57設(shè)計(jì)為具有更高的內(nèi)存帶寬，并可以提供大約2 TOPS的性能；

最后是Ethos-N77。這是系列中最強(qiáng)的產(chǎn)品，目標(biāo)是性能高達(dá)4 TOPS的市場(chǎng)，并且具有約5 TOPS / W的較高功率效率。N77專(zhuān)為高級(jí)和中端AR / VR設(shè)備而設(shè)計(jì)，盡管它具有性能增強(qiáng)功能，但您仍需要更強(qiáng)大的功能。為了獲得更高的性能，需要更高的內(nèi)存帶寬（內(nèi)存帶寬需要高達(dá)8 GB / s甚至更高）。

值得指出的是，這三個(gè)IP之間有很多重疊。N57可以覆蓋N37范圍的上部以及N77范圍的下半部分。與N77相同。這為SoC設(shè)計(jì)人員提供了一些擺動(dòng)空間，使其可以進(jìn)行自己的設(shè)計(jì)。值得指出的是，這三個(gè)IP之間有很多重疊。N57可以覆蓋N37范圍的上部以及N77范圍的下半部分。與N77相同。這為SoC設(shè)計(jì)人員提供了一些空間，使其可以進(jìn)行自己的設(shè)計(jì)。

Ethos系列的核心是Arm的ML處理器（MLP）。MLP是一種干凈的（clean-sheet ），底層（ground-up）的微體系結(jié)構(gòu)，用于加速機(jī)器學(xué)習(xí)，重點(diǎn)是CNN和RNN。MLP實(shí)際上使用了相當(dāng)簡(jiǎn)單的設(shè)計(jì)，這正是我們期望將出售給設(shè)計(jì)人員的IP中所期望的。MLP的主要組件是控制單元，DMA，廣播網(wǎng)絡(luò)和計(jì)算引擎。您可能已經(jīng)猜到了，主要?jiǎng)幼靼l(fā)生在計(jì)算引擎中。四個(gè)計(jì)算引擎的每個(gè)群集都分組為一個(gè)“四元組”。控制單元協(xié)調(diào)整個(gè)計(jì)算引擎以及DMA引擎的整個(gè)神經(jīng)網(wǎng)絡(luò)執(zhí)行，該DMA引擎了解神經(jīng)網(wǎng)絡(luò)映射并可以確保數(shù)據(jù)在需要時(shí)到達(dá)。

我們可以以多種配置來(lái)實(shí)現(xiàn)MLP。兩個(gè)主要控制是每個(gè)計(jì)算引擎中的SRAM庫(kù)大小和計(jì)算引擎的數(shù)量。對(duì)于他們當(dāng)前的設(shè)計(jì)，MLP可以具有從 從單個(gè)四核中的單個(gè)計(jì)算引擎到帶有十六個(gè)計(jì)算引擎的四個(gè)四核等多個(gè)選擇。在每個(gè)計(jì)算引擎中，您都有一塊SRAM，用于存儲(chǔ)輸入和輸出特征圖以及權(quán)重。可以從64 KiB一直配置到256 KiB。無(wú)論配置如何，控制單元和DMA始終相同。

Ethos-N77本質(zhì)上是完整的MLP配置。它具有四個(gè)quads 和16個(gè)計(jì)算引擎，并具有兩種可能的SRAM配置–：64 KiB或256 KiB。同樣，Ethos-N53包含四個(gè)quads ，總共八個(gè)計(jì)算引擎。N53每個(gè)CE帶有固定的64 KiB SRAM存儲(chǔ)區(qū)。Ethos-N37是性能最低的SKU，只有一個(gè)quad，總共只能容納四個(gè)具有固定的128 KiB容量SRAM庫(kù)的計(jì)算引擎。

計(jì)算引擎中的兩個(gè)有趣的組件是MAC計(jì)算引擎（MCE）和可編程層引擎（PLE）。MCE包含高效的固定功能MAC單元，而PLE包含靈活的可編程矢量引擎。流程相對(duì)簡(jiǎn)單。輸入activation tensor 和權(quán)重一起傳遞到MCE。計(jì)算之后，將結(jié)果傳遞到PLE進(jìn)行后處理和可能需要的其他各種操作。沒(méi)有復(fù)雜的控制，因?yàn)槠渲泻芏嗫刂茩?quán)交給了編譯器，該編譯器執(zhí)行靜態(tài)調(diào)度，對(duì)SRAM庫(kù)進(jìn)行預(yù)分區(qū)并壓縮功能圖和權(quán)重。

在MCE內(nèi)則是一組八個(gè)MAC單元。每個(gè)MAC單元為16位寬。換句話(huà)說(shuō)，每個(gè)MAC單元每個(gè)周期可以執(zhí)行16個(gè)8位點(diǎn)積運(yùn)算（dot product operations ）。總體而言，每個(gè)計(jì)算引擎有256個(gè)OP /峰值性能周期。順便說(shuō)一下，這里的操作都是8位寬的，累加了32b。MLP確實(shí)支持16位操作，但著將使您的吞吐量減少4倍（即，每個(gè)周期64個(gè)OP）。下表列出了每個(gè)Ethos SKU的最高理論性能。當(dāng)然，實(shí)際的工作負(fù)載性能將取決于這些MAC的利用率。需要指出的是，所有三個(gè)SKU都可以達(dá)到相同的1 GHz最大頻率。

雖然N77的最高TOPS為4.1 TOPS，但實(shí)際的SoC并不需要達(dá)到該性能水平。相反，可以將MLP的多個(gè)實(shí)例集成到SoC中，以進(jìn)一步提高性能。因此，例如，至少在理論上支持使用CCN-500互連最多擴(kuò)展到八個(gè)MLP，而使用更新的CMN-600網(wǎng)格互連最多擴(kuò)展到100個(gè)MLP。

除了MCE，計(jì)算引擎內(nèi)的其他主要組件是可編程層引擎（PLE）。PLE實(shí)際上比MCE更強(qiáng)大，并且因?yàn)樗强删幊痰亩哂懈蟮撵`活性，盡管它在處理數(shù)百萬(wàn)次重復(fù)的MAC操作時(shí)在原始的功率效率競(jìng)爭(zhēng)中有所損失。PLE是成熟的Cortex-M處理器，在其中還包含了向量和NN擴(kuò)展。那意味著Ethos-N77在內(nèi)部合并了16種Cortex-M向量處理器。

它采用專(zhuān)用的16通道矢量引擎協(xié)處理器模型進(jìn)行設(shè)計(jì)。PLE主要設(shè)計(jì)用于MCE后處理，實(shí)現(xiàn)一些不太常見(jiàn)的功能。但是由于這本身就是一個(gè)功能強(qiáng)大的矢量引擎，因此在有或沒(méi)有MCE的幫助下，它實(shí)際上都可以直接對(duì)SRAM數(shù)據(jù)進(jìn)行操作。PLE的可編程性使Arm軟件團(tuán)隊(duì)能夠快速適應(yīng)新的AI模型和功能。編譯器工具鏈還提供了我們期望現(xiàn)代NPU能做的許多其他優(yōu)化。由于編譯器會(huì)提前對(duì)SRAM進(jìn)行分區(qū)，因此它會(huì)執(zhí)行激活和權(quán)重壓縮，這有助于在整個(gè)設(shè)計(jì)中稍微減少帶寬。此外，還有針對(duì)稀疏性的輕量?jī)?yōu)化。數(shù)據(jù)路徑將選通為零，從而節(jié)省了一點(diǎn)功耗。