Tether 在 iPhone 16 上微調 130 億引數大型語言模型，邊緣人工智慧取得突破

Tether 發布了一套針對微軟 BitNet b1.58 大型語言模型的微調架構，使 130 億引數的系統得以在消費級手持裝置上訓練與執行，包括 iPhone 16。此舉標誌著 Tether 所稱的首次在消費型智慧型手機上成功微調 130 億引數模型，這項里程碑將過去需要多 GPU 伺服器才能處理的工作，壓縮排多數使用者隨身攜帶的裝置中。該架構在消費級 GPU 上的推論速度，相較於僅以 CPU 執行，亦提升高達 8 倍；過去此一差距使得裝置端人工智慧僅適用於輕量級分類任務，難以實際應用。此技術突破的核心，是 Tether 專為使 BitNet 的三元權重架構相容於異質 GPU 生態系（從專業工作站到當前智慧型手機內的行動晶片）而開發的全新 Vulkan 基礎 GPU 後端。其意義遠超 Tether 自身的產品藍圖：它證明了雲端人工智慧與裝置端人工智慧之間的界線，壓縮速度比多數企業軟體產業在基礎設施決策中所預期的更快。

讓 130 億引數訓練放進口袋的架構

微軟的 BitNet b1.58 架構建立在一個激進的前提之上：並非將每個模型權重儲存為 16 位元或 8 位元浮點數，而是將每個權重量化為三個可能值之一：負一、零或正一，此方案將每個權重的記憶體需求降至約 1.58 位元。在 130 億引數的規模下，標準 16 位元模型僅權重一項就需要約 26GB 的記憶體，此數字使其遠超出消費級硬體所能觸及的範圍。BitNet b1.58 的三元方案將此 footprint 縮減超過一個數量級，使記憶體需求進入高階智慧型手機與中階消費級 GPU 無需特殊解除安裝技術即可應對的區間。Tether 的架構更進一步，在此規模下於消費級裝置上實現微調，而非僅止於推論。微調不僅需要儲存模型權重，還需儲存梯度與最佳化器狀態，這通常會使記憶體需求增加三至四倍。要在配備 8GB CPU 與 GPU 共享統一記憶體的 iPhone 16 上達成此目標，需要 Tether 尚未完全揭露的架構選擇，但似乎涉及積極的梯度檢查點技術，以及 Vulkan 後端同時在裝置的神經引擎與 GPU 上排程運算資源的能力。

Vulkan 開啟跨裝置類別的 GPU 加速大門

由 Khronos Group 維護、並在 Android、Linux 與 Windows 上原生支援的 Vulkan API，提供了一個低開銷的 GPU 介面，繞過了那些讓可攜式 GPU 運算在異質硬體上成本高昂的驅動程式抽象層。Tether 選擇以 Vulkan 而非僅限於輝達硬體的 CUDA、或僅限於蘋果裝置的 Metal 來建構其 GPU 後端，使該架構在真正跨平台的程度上，是少數人工智慧加速函式庫所能達到的。Tether 所報告的消費級 GPU 推論速度較 CPU 執行快 8 倍，這與 Vulkan 架構運算在其他領域的表現一致——在那些能乾淨對應到矩陣運算的工作負載上，消除驅動程式開銷並有效運用 GPU 平行處理，能產生大幅效能增益。BitNet 的三元權重特別適合 GPU 加速，因為有限的權重值降低了主導轉換器推論的乘加運算複雜度，使每個 GPU 時脈週期能塞入更多運算。對於缺乏專用人工智慧加速器晶片的裝置，Vulkan 後端提供了一個效能下限，使 13B 引數的推論在原本只能執行遠小於此規模模型的硬體上也能可行。Tether 的工程師也已將 Vulkan 後端回饋給更廣泛的 BitNet 生態系，這意味著任何在微軟架構上開發的開發者都能享有這些加速效益。

Tether 的押注使其定位為人工智慧基礎設施業者

Tether 最為人所知的身分是 USDT 的發行商，USDT 是與美元掛鉤的穩定幣，每日交易量超過任何其他加密貨幣。該公司進軍人工智慧基礎設施是一項深思熟慮的多元化布局，而其選擇聚焦於邊緣運算層，而非打造基礎模型或資料中心基礎設施，反映出一套關於人工智慧價值鏈未來數年將如何轉變的具體論述。裝置端人工智慧消除了雲端人工智慧所施加的每次查詢 API 成本，這使其對高查詢量的應用程式而言具有經濟吸引力。它也迴避了使用者資料被送往第三方伺服器進行推論時所產生的資料隱私疑慮，這項考量對企業與醫療保健部署而言日益重要。Tether 的微調架構處理了該論述的下一層：不僅是在裝置上執行預訓練模型，更讓企業與開發者能將這些模型調整至特定任務與詞彙，而無需將其訓練資料匯出至雲端供應商。該公司尚未揭露該架構的定價，也未表明是否將尋求企業授權，但技術方向與平台型布局一致，即 Tether 的工具成為廣泛硬體上私有、裝置端微調的標準基礎設施。來自 TechCrunch 贊助管道的報導顯示，Tether 已將該架構定位為可供需要在地端執行微調的開發者直接投入生產使用，其中 Vulkan 後端作為開放貢獻提供給更廣泛的 BitNet 生態系。從加密貨幣轉向人工智慧的舉措，遵循數位資產產業中可見的模式，即擁有雄厚美國公債部位與工程人才的公司，正將資本部署至人工智慧工具，而非直接在基礎模型訓練上競爭，因為該領域的資本適足要求已擴大到非超大規模雲端業者組織無法負擔的程度。

iPhone 16 指標縮小雲端與裝置之間的差距

以 iPhone 16 作為 13B 引數微調示範的參考裝置，是刻意的定位選擇。iPhone 16 是一款大眾市場消費級裝置，具備已知且固定的硬體規格：搭載 A18 晶片，配備 6 核心繪圖處理器、16 核心神經網路引擎，以及 8GB 統一記憶體，供所有運算資源共享。透過在該特定硬體上示範微調，Tether 為消費級行動晶片現階段在 BitNet b1.58 上的能力設定了具體的下限，並樹立了其他架構開發者與模型設計者可據以衡量的指標。其意涵在於，目前約 5 億支使用中的 iPhone，加上規模遠大於此、搭載高通 Snapdragon 8 Gen 3 或更新晶片的可比 Android 裝置安裝基礎，代表一個分散式微調運算平台，其規模超越任何單一雲端供應商的繪圖處理器機隊。此分散式潛力能否大規模運用，牽涉協調、安全性與資料治理等問題，Tether 尚未就此提出說明，但硬體可用性本身已不再是限制。對於因缺乏足夠能力的開源模型可在員工裝置機隊上執行，而延後部署裝置端人工智慧的企業而言，BitNet b1.58 的微調結果消除了其中一項主要技術障礙。

邊緣微調重塑企業人工智慧技術堆疊

傳統企業人工智慧部署模式涉及三個截然不同的成本中心：用於推論的雲端 API 呼叫、用於微調的資料管線至雲端訓練環境，以及雲端託管模型登入中的持續模型管理。每一項都涉及將資料從其產生的裝置傳輸出去，這在 GDPR 和 HIPAA 等法規下創造了法遵表面積，且每一項都涉及隨使用量線性成長的每筆交易或每運算小時成本。裝置端微調合併了前兩個成本中心，並簡化了第三個，允許模型在裝置上訓練和更新，而不離開組織的實體控制邊界。Tether 的架構應用於微軟的 BitNet b1.58 架構，使這種合併在技術上可行，適用於在企業任務中真正有用的模型類別，從文件摘要到程式碼完成再到領域特定分類。需要注意的是，BitNet b1.58 的三元量化相較於全精度模型確實帶有能力的成本：該架構的指標結果顯示，它與相同引數數量的標準量化模型競爭力相當，但在複雜推理任務的品質前沿上尚未達到。對於不需要前沿模型推理的廣泛中階企業工作負載而言，能力與在消費級硬體上私下微調能力之間的取捨可能是有利的。受監管產業的組織，包括醫療保健、法律和金融服務，這些組織因資料駐留要求而延遲人工智慧採用，現在擁有一條技術上可信的路徑，可以在不放寬這些控制的情況下部署微調模型。這條路徑不再需要與雲端供應商就資料處理協議進行談判，或對第三方推論基礎設施進行安全查核，因為資料和運算資源留在同一裝置上。從這條軌跡中浮現的企業人工智慧堆疊將看起來較不像雲端服務，而更像一個分散式作業系統，其中模型權重和訓練迴圈在產生資料的同一裝置上執行，雲端基礎設施被降級為協調層，而非主要執行環境。

Tether 的發布是人工智慧運算資源所在場域加速轉變中的一個具體數據點，而此刻企業對人工智慧基礎設施的採購週期仍完全開放。雲端供應商基於「實用人工智慧所需的運算資源將維持集中化」的假設建立了目前的地位，而這個假設正以比多數路線圖預期更快的速度瓦解。微軟的 BitNet b1.58 架構提供了模型設計，使三元權重效率得以在規模上實現。Tether 基於 Vulkan 的微調架構提供了執行環境，使其能在消費者手中既有的硬體上執行。兩者結合顯示，人工智慧基礎設施的下一個競爭前沿並非繪圖處理器數量或引數規模，而是在無需網路連線、雲端帳戶或按查詢計費的情況下，執行及調整強大模型的能力。