邊緣人工智慧,記憶體內計算的初發

Share on facebook
Share on twitter
Share on pinterest
Share on weibo

由於邊緣人工智慧,譬如卷積神經網路(CNN),所牽涉的指令相當單一,基本上是矩陣和向量的乘積,計算上屬於乘後累加運算(MAC;Multiply-Accumulate),以記憶體來做MAC單元有很高的可行性。

方法有二。一是在記憶體的週邊線路小幅度的修改,但不影響其單元結構,並且加入可重構(reconfigurable)線路的設計;另一是靠記憶體的輸入/輸出來操作邏輯運算。

雖然以前試過以SRAM與DRAM來當記憶體計算的載體,而且在速度與技術成熟度有相當優勢,但是在AIoT的應用中這兩種記憶體於功耗此一項目比較難以交待。

用非揮發性記憶體來做載體是目前考慮的方向,NOR的技術成熟、成本合理,是現在的先行選擇。NAND的密度高,對於較大資料量的運算有相當優勢,但是功耗較高、速度較慢。

新興記憶體中ReRAM和PCRAM是最先被討論的記憶體內計算載體。它們的優點除了速度快、功率較低之外,還有它們的記憶體單元可以是多值—這也是為什麼他們也可以用在神經形態晶片的原因。在計算的邏輯上,安排可以比較有彈性。

MRAM也是候選人之一,與SRAM都已先跨進近記憶體計算領域。它的速度與功耗均佳,可是它只具有二位元值,運算只能做按位(bitwise)的布爾邏輯。FeRAM現在是新興記憶體的當紅炸子雞,它的速度極快,功耗也低,結構也有機會像NAND一樣3D製造,所以一出現在新興記憶體的名單之後,記憶體內計算應用也馬上納入議程。只是FeRAM也只是二位元,受的限制與MRAM相似,他的成熟程度也遠不如其他的新興記憶體。

記憶體內計算的概念迄今已過半世紀,現在於應用場域與載體技術同時出現了窗口交疊,有機會先從邊緣人工智慧此一特殊應用在半導體市場先撕開一個口子,一步一步切入計算的廣衾世界。

公平對待使用者的問題

這個問題看來是與人工智慧設計者的價值觀有著不可分割的關系。一個人所接受的信仰會影響他(她)的價值觀與道德態度,由此會影響他(她)能否公平公正地對待使用者,所設計的產品能夠體現出尊重人權、尊重人尊嚴的特點。 反之,不良動機的設計者所設計的人工智慧產品有可能產生不公平或反人權的現象。我們可以從一些恐怖主義與獨裁的國家最近幾年使用高科技來對付國際社會或對付本國的人民可以看到其恐怖的一面。

人工智慧產品在面對不同文化習慣的國際用戶,將來會遇到更復雜的應用或操作方面的挑戰。人工智慧如機器人能否在不同文化環境提供相對安全與公平的服務嗎?需要大家拭目以待了。

基於馮諾依曼架構的計算於半導體技術發展過程中早已屢屢撞牆(memory wall),許多技術上的發展先後著手於此問題。從最早的高速介面、高頻寬記憶體(HBM;High Bandwidth Memory)、增加CPU的cache(譬如Zen 2)、到異構整合CPU與多個記憶體晶片(near-memory computing)、發展中的用光子互聯記憶體與CPU等,這是一個產業整體的總動員,從設計、CPU、記憶體、代工、封裝各環節無不戮力以赴。

這個問題的克服最終只能是記憶體內計算(in-memory computing),中國大陸叫「存算一體」。記憶體與CPU中間的藩牆撤了之後,傳輸的功耗省下,總功耗省了近200倍,資料傳輸的時間也可以略去,表現自然大幅改善。這個想法在1969年由Stanford的Kautz等人提出,但卻不能算是純然的「新概念」,因為人的腦細胞與現在新興起的量子位元,本來就是記憶體內計算。

概念雖好,但是過去的計算偏向於通用型CPU應用,記憶體技術也不夠成熟,所以沒有實踐的場域。

※本文章屬於TNZE天擇集團所有嚴禁轉載※

Share on facebook
Share on twitter
Share on whatsapp
Share on weibo

相關內容

最新資訊