AI晶片如何解決耗電問題







這份研究介紹了一款應用於 Edge-AI 設備 的 16 奈米 216kb 多模態運算記憶體 (CIM) 巨集，旨在解決傳統 AI 運算在精度與能效之間的矛盾。該設計透過 Microscaling (MX) 資料格式 結合整數與浮點數運算，利用內部處理單元減少 72-85% 的資料傳輸，並顯著提升運算效率。核心技術包含能識別數據變異並優化計算流的 M2-IPU、節省空間與功耗的 圖案感知混合加法器樹 (PAH-ADT)，以及可靈活調整路徑的 累積感知數據流 (A2-DF)。此外，研究採用了具備 三端元件的增益單元 (GC)，使資料保留時間提升三倍而不增加額外面積。實驗數據顯示，該巨集在 MXINT8 模式 下可達到 188.4 TOPS/W 的頂尖能效，且與軟體模型相比幾乎沒有精度損失。這項成果為高效能、低功耗的邊緣端 AI 晶片提供了一個兼具 高面積效率 與 靈活運算能力 的創新解決方案。

這種多模式硬體設計就像是一輛「智慧變形混合動力車」。當行駛在平坦高速公路（簡單 INT 任務）時，它切換到全電模式以極高效率前進；遇到崎嶇山路（高精度 FP 任務）時，則切換到強大的燃油模式。更聰明的是，它內建了加油站（M2-IPU 內部轉換），不需要頻繁停下來尋找外部支援，並能根據路況（數據模式）自動調整引擎零件的運作方式，確保每一滴能源都能發揮最大的載重效益。





留言

張貼留言

這個網誌中的熱門文章

SoIC (系統整合晶片) 技術

圖片
  台積電研發的  SoIC (系統整合晶片)  技術，這是一種用於  3D 異質整合  的創新晶片堆疊平台。該技術透過  前端製程  實現無焊點的高密度接合，能將不同尺寸與功能的晶片（如邏輯與記憶體）整合為單一晶片系統。相較於傳統的 3DIC 封裝，SoIC 提供顯著更高的  I/O 密度  與更優異的  導熱效能 ，同時大幅降低傳輸功耗與延遲。此平台可靈活銜接  InFO  或  CoWoS  等先進封裝技術，為未來  5G 、 人工智慧  與  高效能運算  應用提供更微型化且強大的解決方案。文中亦展示了該技術在可靠度測試與成品良率上的成功驗證，展現其超越傳統摩爾定律的發展潛力。 根據來源提供的技術分析，SoIC（系統整合晶片） 在 3D 晶片堆疊的散熱管理上，相較於採用微凸塊（μbump）的傳統 3DIC 具有顯著優勢。以下是其關鍵優勢的詳細討論： 1. 顯著降低熱阻（Thermal Resistance） 熱管理是 3D 晶片堆疊面臨的最大挑戰之一，因為高熱功率密度可能導致晶片功能失效或嚴重的漏電流問題。 • 數據表現： 根據分析，SoIC 鍵合技術在熱阻表現上優於傳統 3DIC 的微凸塊，其熱阻降低了約 1.25 倍至 2 倍（以標準化規模計算）。 • 物理基礎： 這種提升源於 SoIC 具備更高的金屬佈線密度，且由於採用前段（front-end）製程，其結構能讓熱流更有效地運作。 2. 支援雙向散熱路徑 傳統 3DIC 由於結構限制，散熱路徑往往受到限制。 • 雙向傳導： SoIC 的物理特性使其能夠支撐向上與向下雙向的熱流傳導。 • 散熱效率： 這種雙向散熱機制使其能比傳統技術更有效地消散熱通量（Thermal Flux），從而維持晶片在安全的工作溫度內。 3. 從源頭減少熱量產生（功耗優化） 散熱優勢不僅來自於「排熱」，更來自於「減熱」。 • 極低能耗： SoIC 在每位元數據傳輸的能源消耗（Energy per bit）上，僅為典型 3DIC 的 0.09 倍。 • 減少熱廢料： 當移動數據所需的能量大幅減少時，系統在相同功率預算（Power Envelope）下產生的廢...
閱讀完整內容

3D晶片建構：SoIC革命

圖片
SoIC（System on Integrated Chips，集成晶片系統）技術主要透過晶片分割（SoC Partition）先進的垂直整合手段，克服了傳統摩爾定律（Moore’s Law）在成本攀升與效能提升趨緩方面的挑戰。 以下是根據來源整理的具體解決方案： 1. 透過「晶片分割」與「小晶片（Chiplet）」優化成本 隨著摩爾定律微縮，開發全尺寸 SoC 的成本急劇增加。SoIC 技術支援以下策略來降低成本： • 關鍵電路選擇性縮放： 不再將整個系統晶片強行縮放，而是將 SoC 分割，僅針對最關鍵的電路區塊進行技術節點的微縮，從而優化縮放成本。 • 異質整合（Mixed-and-Match）： 允許將不同尺寸、不同技術節點、不同功能（如邏輯、記憶體、主動或被動元件）以及不同材料的「已知良好晶粒（KGD）」整合在單個緊湊的新系統晶片中。 • 縮短開發週期： 這種小晶片（Chiplet）的整合方式不僅降低了成本，還能縮短子系統層級的研發週期。 2. 透過「無凸塊垂直整合」提升效能與功耗表現 傳統 3D-IC 使用微凸塊（micro-bump）連接，受限於凸塊尺寸（間距難以縮小至 10 um 以下），且會產生寄生電容、電阻和電感，導致效能下降。SoIC 透過以下技術突破： • 極高的佈線密度： 藉由先進的前端晶圓製程，SoIC 的垂直互連密度可超過 10K/mm²，實現超高頻寬互連。 • 超低延遲與節能： SoIC 採用簡化的結構與短連接設計，具有趨近於零的電容特性，顯著降低了連結延遲與能量消耗。 • 效能基準優勢： 根據來源中的基準測試（Table I），SoIC F2F（Face-to-Face）的頻寬密度是傳統 3D-IC 的 191 倍，而**每位元功耗（Energy/bit）**僅為傳統 3D-IC 的 0.05 倍。 3. 優化晶片面積利用率 • 微小型 TSV 與 KOZ： SoIC 支援更薄的晶片堆疊與更小的矽穿孔（TSV），這使得**禁制區（Keep Out Zone, KOZ）**大幅縮小。 • 更好的面積效率： 較小的 TSV 尺寸減少了對鄰近元件應力的影響，從而提高晶片面積的利用率，這對於 SoC 分割與小晶片整合至關重要。 4. 保持電氣特性與穩定性 研究顯示，晶粒在經過 SoIC 堆疊整合後，其電晶體（如 7nm FinFET）、電路（...
閱讀完整內容