研究人員證明,Meta 與 Google 的人工智慧模型安全護欄可在數分鐘內被移除,暴露了該產業在人工智慧安全方法上的根本脆弱性。這項由《金融時報》報導的發現顯示,科技公司內建於大型語言模型中的保護層,其脆弱程度遠超先前認知。一名研究人員以極小力氣便繞過了 Meta 的安全系統與 Google 的內容過濾機制,引發對現行護欄架構有效性的迫切質疑。教宗方濟各已對更廣泛的辯論發表看法,表示人工智慧「需要被解除武裝」,此言論凸顯了快速部署與有意義的安全管控之間日益升高的緊張關係。此示範出現之際,人工智慧產業正競相將模型商業化,應用於企業與消費端應用,創業投資公司如 JVP 正趁此熱潮獲利。JVP 以超過 6 倍報酬退出 DealHub,該公司估值達數億美元;而 Everpure(前身為 Pure Storage)則收購了 JVP 另一家投資組合公司 1touch.io。這些退出橫跨網路安全與垂直人工智慧兩大主題,投資人正押注這兩者將定義人工智慧貨幣化的下一波浪潮。護欄漏洞之所以重要,在於它可能在 OpenAI、Twilio 與 Modal Labs 等公司正圍繞這些技術擴張其基礎設施與營收模式之際,削弱企業對人工智慧系統的信任。
護欄失效點

Meta 與 Google 在其人工智慧模型中內建的安全機制,旨在防止產生有害、偏頗或危險的內容。這些防護措施通常以後處理過濾器或指令微調約束的形式運作,疊加在基礎模型之上。研究人員發現,這些防護可透過簡單的提示工程技術加以規避,包括對抗性輸入與情境操控,且無需存取模型的內部權重或訓練資料。繞過速度之快(僅需數分鐘)顯示,這些防護措施並未深度整合至模型的推理過程中,而是作為可輕易剝離的表層功能運作。此結構性弱點並非 Meta 與 Google 獨有,而是反映整個產業的普遍模式:安全被視為附加功能,而非核心架構特徵。《金融時報》的報導未具體說明測試了哪些確切模型,但意涵明確:目前這一代防護措施甚至無法抵擋適度的對抗性壓力。對於在醫療保健、金融或法律等受監管產業中評估人工智慧的企業買家而言,此脆弱性是一大障礙。此示範也提高了監管機構的風險,他們日益審視人工智慧公司的自願性安全承諾究竟具有實質意義,抑或僅是表面功夫。繞過技術無需存取模型權重或訓練資料,意味著任何具備網際網路連線的使用者都能複製此攻擊。如此低的進入門檻,使此漏洞對部署人工智慧於客戶導向應用程式的企業而言尤其危險。
營收模式曝險

護欄漏洞直接衝擊人工智慧公司的營收模式。據《資訊》報導,OpenAI 正推動一項數十億美元的廣告策略,該策略依賴品牌信任其廣告不會出現在有毒的人工智慧生成內容旁。若護欄能在數分鐘內被破解,這種信任便會消失,廣告營收模式也將崩潰。Twilio 的語音人工智慧熱潮同樣依賴企業客戶在面對客戶的角色中部署人工智慧,而一旦安全失靈,將立即造成聲譽損害。提供人工智慧基礎設施的 Modal Labs,押注開發者在基礎模型之上建構應用程式;這些開發者需要確保底層模型預設安全。部署後補救安全的成本,遠高於從一開始就內建安全。JVP 在垂直人工智慧公司 DealHub 上獲得 6 倍報酬,以及 Everpure 收購 1touch.io,顯示投資人目前正獎勵人工智慧的出場。但這些估值的前提是人工智慧系統能安全地大規模部署。廣泛的護欄失效將引發人工智慧資產重新定價,因為企業客戶延後採購,監管機構也施加更嚴格的法遵要求。損益影響並非理論:它直接從模型架構流向營收認列,再流向出場倍數。OpenAI 的廣告攻勢若真如《資訊》所述規模實現,就必須向大型廣告主保證品牌安全的人工智慧輸出。數分鐘內示範的護欄繞過會摧毀這項保證,並可能引發風險規避的廣告買家啟動合約追回或暫停預算。諷刺的是,OpenAI 需要廣告營收來抵銷其前沿模型龐大的運算資源成本,但廣告營收本應資助的安全問題,正是讓廣告主猶豫不決的問題。安全投資與變現之間的這種循環依賴,是人工智慧當前商業模式的核心張力。
競爭態勢轉變
Meta 與 Google 正面臨此一漏洞的直接競爭威脅。兩家公司皆將其人工智慧模型定位為安全且負責任,以護欄作為與較開放原始碼或監管較鬆散競爭對手之間的差異化優勢。若這些護欄輕易被繞過,差異化便蕩然無存。OpenAI 自身亦有安全挑戰,同時正積極推動大規模廣告策略,此舉將使其與 Google 核心搜尋廣告業務直接競爭。《The 資訊》對 OpenAI 廣告計畫的報導顯示,該公司視廣告為將其使用者基礎變現的途徑,而非僅依賴訂閱。Twilio 的語音人工智慧崛起,使其與既有電信及客戶服務平台正面交鋒,但其價值主張取決於可靠的人工智慧行為。Modal Labs 正與 AWS、Azure 及 Google 雲端爭奪人工智慧基礎設施支出,其對開發者的訴求強調控制與安全。護欄失效使將安全內建於模型架構本身的公司(如 Anthropic)或提供第三方護欄驗證服務的新創企業佔據優勢。JVP 在資安與垂直人工智慧的退場策略顯示,市場已開始轉向能解決信任問題的公司。能獲得市佔率的企業,將是那些能證明而非僅宣稱安全性的公司。
超大規模雲端業者與企業影響
護欄漏洞對超大規模雲端業者及企業買家的下游影響十分嚴重。亞馬遜、微軟及 Google 雲端等超大規模雲端業者正投入數十億美元於人工智慧基礎設施,包括客製化晶片、資料中心及網路。若企業客戶對人工智慧模型的安全性失去信心,將延遲或縮減其雲端人工智慧支出,直接衝擊該資本支出的報酬。Pure Storage 在其新 Everpure 品牌下收購 1touch.io,是押注人工智慧資料基礎設施將成長,但此押注取決於人工智慧工作負載能否實現。護欄失效亦影響人工智慧硬體供應鏈:輝達繪圖處理器銷售、台積電先進封裝產能及 HBM 記憶體需求,皆繫於人工智慧模型將被廣泛部署的假設。銀行及醫療保健提供者等受監管產業的企業買家,如今將要求針對護欄有效性提出合約保證,將責任轉移至模型供應商。這將拖慢採購週期並增加法律成本。《金融時報》報導亦指出,自駕計程車需在真實交通中測試,提醒人工智慧安全不僅是軟體問題,更是實體問題。下游效應是人工智慧部署管道趨於緊縮,安全驗證成為資本支出的門檻因素。
監管與策略意涵
這項防護措施漏洞向監管機構與政策制定者發出明確訊號:自願性安全措施顯然不足。教宗方濟各呼籲「解除」人工智慧的武裝,反映日益增長的市場共識,即各國政府必須以具約束力的規則介入。歐盟人工智慧法案已生效,但 Meta 與 Google 的示範顯示,符合該法案的透明度要求並不能保證安全。美國仍在辯論聯邦人工智慧立法,而此事件將強化強制測試與認證倡議者的立場。JVP 的 Yoav Tzruya 與 Erel Margalit 押注垂直人工智慧與網路安全,正是將受惠於監管的領域。提供防護測試、紅隊演練與驗證服務的公司,需求將激增。歐盟人工智慧法案的高風險類別要求,對部署於關鍵基礎設施、金融服務與醫療保健的人工智慧系統強制進行符合性評估,若 Meta 與 Google 的模型部署於這些情境,早已被該法案涵蓋。防護措施在最小對抗壓力下即失效的示範,正是監管機構推動所有主要司法管轄區實施強制部署前測試制度時,將引用的證據類型。對人工智慧公司的策略訊號明確:安全必須是第一優先的工程考量,而非行銷亮點。OpenAI 的廣告策略、Twilio 的語音人工智慧,以及 Modal Labs 的基礎設施布局,皆依賴允許人工智慧廣泛部署的監管環境。若防護措施持續脆弱,監管機構將施加限制,拖慢整個產業。投資人與營運者的策略動作,是支持將安全視為競爭優勢而非法遵成本的公司。
前瞻展望呈現分歧格局。人工智慧產業將分化為兩個層級:投資於穩健、架構整合安全系統的公司,以及依賴表面防護措施的公司。後者將面臨監管阻力、企業不信任與估值壓縮;前者則享有溢價倍數與更快的採用週期。JVP 在網路安全與垂直人工智慧的退出案例,是市場走向的早期指標。OpenAI 的廣告策略唯有在規模化展現安全性的前提下才能成功。Modal Labs 與 Twilio 需將防護措施嵌入其基礎設施,而非事後附加。教宗對解除武裝的呼籲,將引起那些厭倦等待產業自我監管的監管機構共鳴。未來 12 個月將決定人工智慧安全是否成為真正的工程紀律,抑或仍是可在數分鐘內被利用的漏洞。答案將形塑整個人工智慧經濟的發展軌跡。
BossBlog 每日快報
一封信講完當天的 AI 與市場重點——13F 機構持股的異動、國會議員申報的交易,以及有什麼變了。沒有固定的發送時間,也不寫廢話:有值得寄的內容才寄。
隨時可退訂。名單不會外流或販售。