圖片來源:Arm

第五波運算技術的匯集 - 人工智慧 (AI) 、 5G 與物聯網 (IoT) - 持續帶動令人驚訝的變化,並驅動全新的資料消費模型。在僅考量 IoT 的情況:即使還在發展初期,我們已經看到它褪去全球微型感測器網路的原始面貌,進一步擴展並包含所有高效能的端點:從智慧影像感測器到自駕車輛。

隨著 IoT 持續成長並帶動全球數位轉型,往上游雲端帶來巨大的資料海嘯,讓長期以來針對下游分配優化的網路基礎建設出現裂痕。它也驅動出一個迫切的需求,就是整個全球網際網路的架構,運算必須更為分散,因此對 Arm Neoverse 邊緣運算解決方案的需求也與日俱增。整個生態系統已經對這個挑戰作出回應,而針對我們過去一年內的進展, Neoverse 已將過去的原始願景,轉換成今日能夠實現的應用。

AI從雲端擴展且「宙斯」在一旁待命
展望未來,Arm將聚焦在為次世代的基礎設施科技奠定基礎,重點則擺在 AI 要如何才能更為分散。

由於大型資料集與專屬的運算相當集中的緣故,今日較為吃重的 AI 運算多數在雲端完成,特別是機器學習 (ML) 模型的訓練。但若把這些模型應用到真實世界中靠近決策點的推論時,以雲端為中心的 AI 模型就會捉襟見肘。資料傳輸數千英里來到資料中心進行模型比較時,可能會碰到不少延時的問題,因此,沒有人能保證下決定時它是否仍然有用。當時間事關緊要時,把智慧由雲端分配到邊緣,就相當合理。

受惠於市面上各種解決方案 - 從 Arm Neoverse 平台與雲端與基礎設施使用的 AI 加速技術,到專門迎合各種端點需求具 AI 能力的 Arm CPU 、神經網路處理器與圖形處理器 – Arm 與其夥伴處於極為有利的位置,可以讓 AI 在各個層級的網際網路中實現。Arm 最近宣布將把 bfloat16 資料格式加入下一個版本的 Armv8-A 架構中。此一重要的強化將大幅提升基於 Arm 矽智財的 CPU 的訓練與推論效能,並將 bfloat16 的支援性加入 Neoverse「宙斯」(Zeus) 平台來強化速度,預計明年就可推出。次世代的 Neoverse 核心「宙斯」(Zeus) 威力強大,具有 Bfloat 16 功能,可為 AI 工作負荷帶來增強的機器學習能力與運行時間。

在邊緣擴大運算
隨著決策的要求朝邊緣移動,AI 將扮演雙重的角色。除了依據資料本身包含的資訊作出及時決定外,當大量的資料需要導引至正確的位置時,AI 從流量管理到封包檢驗都必須發揮功能。這同時是訓練與推論的問題,而傳統的電腦系統根本跟不上。傳統上在互聯網邊緣的網路橋接器現正迅速成為智慧運算平台,最終將導致我們稱為 AI Edge 的浮現,並在 2025 年前為運算半導體潛在市場範圍 (TAM) 帶來高達 300 億美元的機會。

在邊緣執行 AI 模型訓練有幾個好處:它可顯著減少到雲端的回程,降低資料通量的時間,並提升可靠性、效率與安全性。有鑑於當今來自全球裝置部署的洞見來得極快,模型可能需要即時進化,因此上述的種種好處,絕對會產生相當的影響性。

賦能 AI 邊緣:推出 Project Cassini
利用 AI 邊緣的應用程式的成功部署,關鍵在於提供涵蓋各種功耗與效能需求的多元解決方案。單一廠商的解決方案,並無法滿足所有需求。除了變成以 AI 為中心,AI 邊緣必須是雲端原生的、虛擬化 (VM 或 containers) 的,同時支援多用戶。最重要的是,它必須是安全無虞。

目前的解決方案是從極度多元的生態系統中來形成基礎架構邊緣,同時也因應生態系統轉變迅速而必須符合這些新產生的需求。為了協助大家面對此一 AI 邊緣的過渡期,Arm 宣布推出 Project Cassini:這是一個專注於在多元與安全的邊緣生態系統內,確保雲端原生體驗的業界提案。

瞄準基礎設施邊緣的 Project Cassini 將與 Arm 的生態系統夥伴合作,開發平台標準與參考系統,並以它們為基礎,在目前已延展到基礎設施邊緣的標準化平台安全架構 (PSA) 框架內,無縫部署雲端原生的軟體堆疊。有關 Project Cassini 值得一提的是 Arm 與其生態系統夥伴針對安全性所作的努力。兩年前 Arm 推出 PSA,讓企業得以依據一套共同的需求設計安全功能,以降低打造產品層級 IoT 安全相關的成本、時間與風險。今日,Project Cassini 將延展 PSA 至基礎設施的邊緣,可說更上層樓,目標是讓所有基本的安全需求標準化。

持續演化的挑戰
我們預計 2035 年達成的一兆個 IoT 裝置的世界,這將帶來全新規模的基礎設施與架構上的挑戰,技術也需要與時俱進才足以應付。在邊緣運算方面,這意謂 Arm 將持續大量投資硬體、軟體與工具的開發,以便在基礎設施堆疊的每一個點,都賦予智慧決策能力。另一方面也說明在處理器層級與整個網路 - 從雲端到邊緣到端點裝置,將廣泛使用異質運算。