路透社（Reuter）與彭博社（Bloomberg）周四（7/3）分別引述消息來源報導，在2024年6月與OpenAI共同創辦人Ilya Sutskever一起創辦超級智慧公司Safe Superintelligence Inc（SSI）的Daniel Gross，已被延攬至Meta的超級智慧實驗室（Meta Superintelligence Labs，MSL）。雖然Sutskever證實Gross已經離職，但Gross與Meta都尚未對外公布Gross的去向。

Meta創辦人暨執行長祖克柏（Mark Zuckerberg）本周對外宣布正在籌組MSL，以主導Meta未來的AI發展方向，團隊規模估計為50人，迄今已延攬的高階主管包括Scale AI的共同創辦人暨執行長Alexandr Wang、曾擔任微軟副總裁與GitHub執行長的Nat Friedman，Gross則是另一個可能的人選。

年僅33歲的Gross曾共同創辦可蒐集使用者社交帳戶活動，並呈現其一日生活的Cue服務，也曾主導蘋果的AI服務，投資語音AI測試平臺ElevenLabs，亦曾贊助閱讀被火山爆發淹沒的碳化紙卷的維蘇威火山挑戰賽（Vesuvius Challenge）。

Sutskever透過X證實Gross已於6月29日退出SSI，感謝他對公司的早期貢獻，也祝福他未來的工作一切順利。

此外，Gross原本也擔任SSI執行長，現則由擔任科學長的Sutskever兼任。另一方面，Gross僅回應SSI有個出色的團隊，並未說明自己的去處。

這些高階的AI人才大多彼此熟識，例如已到任的Friedman與Gross曾共同設立一個創投基金NFDG，並參與了SSI的融資。

Meta不僅挖角Gross，根據華爾街日報（The Wall Street Journal，WSJ）的報導，Meta亦打算收購NFDG股份。

AI人才爭奪戰已讓相關人才的年薪水漲船高，外傳祖克柏向頂尖人才提出了第一年1億美元、4年3億美元的優渥待遇，也促使OpenAI打算重新評估其薪酬制度，至於由前OpenAI技術長Mira Murati新創的Thinking Machines Lab也祭出逾45萬美元的年薪來吸引人才。

從機器學習、深度學習，到生成式AI、代理型AI，人工智慧已成為當代企業IT應用的顯學，當所有人都在追逐軟體與AI模型的發展，以及硬體運算能力之餘，對於網路、儲存系統等IT基礎架構的效能、效率要求，也跟著水漲船高。

單就網路環境而言，Nvidia這幾年以來，陸續推出NVLink、NVLink Switch System，以及Spectrum-X乙太網路平臺、Quantum-X800 InfiniBand網路平臺，而近期崛起、由多家IT廠商組成的超乙太網路聯盟（UEC），訂定的1.0版規格今年6月正式定案，區分為連接外部環境的前端網路，以及連結AI叢集內部多個節點的後端網路。

而在儲存系統的搭配上，仍是以Nvidia經營的市場生態系最為知名，處於相對顯著的位置，他們這幾年以來，持續號召多家企業級儲存系統廠商，參與他們主導的DGX SuperPOD對於儲存產品的認證，以及DGX BasePOD針對儲存產品的認證，截至目前未止，包含DDN、Dell、IBM、NetApp、VAST Data、WEKA等廠商，都加入這個合作計畫，共同拉抬Nvidia整櫃型AI基礎架構解決方案DGX System市場聲勢，協力推廣AI應用設備預先搭配儲存系統的快速建置方案。

2024年6月，Nvidia發表名為Nvidia Cloud Partner（NCP）的參考架構，目的是提供組建高效能、高擴充性與安全的資料中心，可處理生成式AI與大型語言模型的工作負載，這項計畫也號召通過DGX SuperPOD認證的儲存廠商加入，後續Nvidia也發展出NCP儲存認證。

而在今年3月GTC大會期間，Nvidia針對儲存系統產品發表新的AI基礎架構參考設計，稱為Nvidia AI Data Platform，廠商可依此為代理型AI應用系統與工具的需求，量身打造適合的資料平臺，並且運用特製的AI查詢代理人機制，加速AI推理（reasoning）的工作負載。Nvidia點名10家廠商都將支援這個平臺，當中有許多都是與Nvidia密切合作的，包含DDN、Dell、Hitachi Vantara、HPE、IBM、NetApp、Nutanix、Pure Storage、VAST Data，以及WEKA。

基本上，Nvidia AI Data Platform提供的這些AI代理，是基於Nvidia AI Enterprise軟體平臺而成，當中囊括以NIM微服務形式打包、具備推理能力的Nvidia Llama Nemotron模型，以及新的Nvidia AI-Q Blueprint藍圖，能以近乎即時的速度從處理的資料當中，產生洞察分析。而在底層基礎架構的部分，AI代理可借助Nvidia的GPU、DPU、網路等技術，以及開放原始碼的推論程式庫Nvidia Dynamo，提供最佳化效能。

以AI-Q Blueprint為例，提供AI代理系統的推理，以及連接企業資料的能力。首先，都以Nvidia GPU處理時，Nvidia聲稱AI-Q Blueprint用Nvidia NeMo Retriever微服務，資料提取速度可因此暴增15倍；而透過AI-Q Blueprint組建而成的AI查詢代理，能在執行推論（inference）作業之際，同時連接資料，提供更精準、具有前後文脈絡感知的回應內容。而且，這樣的AI查詢代理能快速存取大規模的資料、處理各式資料，涵蓋不同來源的結構化資料、半結構化資料、非結構化資料，如文字、PDF檔、圖片、視訊。

除了以Nvidia為首的AI（GPU）儲存廠商陣營，我們今年3月製作GPU直連物件儲存的技術專題，提到MinIO、Cloudian、DDN投入；近期我們也注意到出現越來越多新創儲存系統廠商正在發展KV Cache技術或解決方案，於是，本期iThome電腦報週刊的封面故事也以此為題，在所有市場調查機構都尚未提出相關分析報告之前，搶先於此時初步整理這類型產品的市場現況，並且探討最新應用。目前，我們總共列出6家廠商（WEKA、焱融科技、VAST Data、PEAK：AIO、Pliops、GridGain），以及開放原始碼軟體（Nvidia Dynamo、llm-d）的解決方案。

基於上述趨於多元的AI儲存系統發展路線，可望帶動新一波企業儲存系統產品的轉型，我們期盼能有更多廠商投入，Dell、IBM、HPE、NetApp、Pure Storage等大廠也必須加緊腳步，透過積極研發或併購合適的廠商，及早擴大相關布局，以免錯失商機。

資料中心GPU記憶體容量擴充緩不濟急、成本高昂，眾多儲存廠商與開源社群看準AI市場應用商機，紛紛投入KV快取這個全新的產品領域，希望透過外部記憶體資源擴充，為GPU提供更多記憶體，目前已形成多種產品路線，也帶來嶄新的階層式AI記憶體應用框架

隨著GPU的發展與製程的進步，GPU的HBM記憶體容量也持續提高，例如Nvidia在20022年推出的H100，記憶體容量為80GB，到了2024年推出的H200，記憶體容量增加到141GB，但這樣的提升幅度，遠遠跟不上LLMToken處理能力增長，所帶來的KV快取記憶體容量膨脹速度——GPU記憶體頂多以幾十個百分比到倍數增長，但KV快取的容量卻幾乎是以指數幅度增長。

藉由增加GPU數量，雖然連帶也能獲得更多HBM記憶體，但這種作法顯然不合成本效益。

儘管可透過量化（Quantized）、稀疏（Sparsification）等軟體最佳化方法，減少KV快取的記憶體占用量，但這只是治標不治本，最多僅能省下幾十個百分比到數倍的記憶體資源，很快就會被LLM不斷增長的記憶體耗用需求給抵消。

要解決LLM推理過程中的GPU記憶體瓶頸問題，最有效的辦法，是引進可擴展的外部記憶體資源，作為GPU記憶體的補充與替代。

一方面，只要將KV快取卸載到外部記憶體裝置，GPU有限的內建記憶體容量，就不再成為限制KV快取的瓶頸；更進一步，還能透過外部記憶體裝置的擴展能力，因應持續暴漲的KV快取記憶體容量需求。

這也促成各式外部KV快取記憶體技術與解決方案，在近幾個月來不斷湧現，成為當前AI推理應用發展的顯學之一。

截至目前為止，至少已經有7、8家廠商發表外部KV快取記憶體技術或方案，他們對這類技術的稱呼不同，有些稱作KV快取卸載，有些稱作長期或持久性Token記憶體，還有KV快取或Token記憶體設備等說法，但基本概念與目的相同，都是利用網路連接的外部記憶體裝置，來擴展GPU伺服器可用的記憶體資源，將KV快取從GPU卸載到外部裝置上。從這類產品的應用型態與目的——引進位於GPU之外的KV快取記憶體資源來說，我們認為「外部KV快取記憶體」應是較合適的稱呼。

各廠商的目的雖然相同，但實作方式存在著很大差別。有些採用平行檔案系統結合NVMe SSD，有些是基於CXL擴展記憶體技術，還有基於專屬ASIC搭配NVMe SSD的組合，從而帶來大不相同的應用特性。

接下來，我們先依照廠商發表時間先後，逐一檢視目前已發部的幾種外部KV快取解決方案，再探討這些方案的架構特色。

WEKA的增強型記憶體網格

作為平行檔案系統領導廠商之一的WEKA，2025年1月透露，正透過結合Moonshot的LLM分散式服務架構，發展可支援LLM Token快取處理的高速儲存層。一個月後，發表用WEKApod套件幫助LLM縮短Token載入時間的概念與實測結果，藉由WEKApod掛載至GPU伺服器作為外部記憶體空間，將Llama 3模型載入1萬個Token到KV記憶體的所需時間，能因此縮短41倍。

接著WEKA便在2025年3月，正式發布與其平行檔案系統整合的增強型記憶體網格（Augmented Memory Grid，AMG）技術，宣稱可利用NVMe SSD，提供接近記憶體延遲表現的Token資料存放空間，結合分散式架構，建立可擴展的Token倉庫（Token Warehouse）。

WEKA聲稱，傳統儲存架構受限於延遲表現不足，無法提供類似的Token存放能力，他們的增強型記憶體網格技術，則能透過高效能分散式記憶體架構，提供微秒等級（µs）延遲與大規模的平行I/O傳輸能力，填補GPU記憶體與傳統儲存架構之間的效能落差，滿足即時檢索Token所需的吞吐能力，實現GPU外部的Token倉庫概念。

WEKA在GTC 2025大會中，也展出搭配NVidia Triton推理伺服器的AMG解決方案，可從GPU伺服器的HBM記憶體中卸載KV快取，並公開實測表現——處理10.5萬個Token時，相較於重新計算Token，AMG技術可將第1個Token產生時間（Time to First Token，TTFT）縮短41倍，用戶查詢回應時間也顯著縮短，從23.97秒縮短到0.58秒，因此，用戶不需為了獲得更多GPU記憶體，而被迫增加GPU數量。

焱融科技的檔案系統KV快取

中國的焱融科技（YanRong），在2025年4月中旬發表基於其YRCloudFile 分散式共享檔案系統的KV快取技術，基本目的與Weka的AMG技術如出一轍，都是利用基於NVMe SSD的平行檔案系統空間，為GPU提供可擴展到PB等級的KV快取記憶體空間，大幅提高KV快取命中率，以及上下文處理能力。

焱融科技將這種概念稱作「以存換算」，也就是藉由外部儲存設備大幅擴張KV快取記憶體容量，來換取GPU運算力的節省，從而提供高成本效益的LLM推理架構。根據他們公開的實測結果，在超過2萬Token的較長上下文條件下，可縮短3到13倍的第1個Token產生時間（TTFT）；在固定TFTT產生時間下，可提升8倍的同時查詢量；在高度平行查詢下，可縮短Token產生時間達4倍。

VAST Data的VUA快取記憶體技術

另一新創分散式檔案系統供應商VAST Data，也在今年2月底推出其稱為VUA（VAST Undivided Attention）的KV快取技術，為了進一步推廣這項技術，還在4月宣布將VUA開源。

就基本概念而言，VUA與WEKA的AMG、焱融的KV快取相似，都是利用整合在檔案系統中的NVMe SSD，擴展GPU可用的KV快取記憶體空間。

VUA是透過安裝在GPU伺服器的Linux-based代理程式來運作，用於管理階層式的KV快取記憶體架構——第1層是GPU記憶體，第2層是CPU記憶體，第3層是透過RDMA網路連接的外部NVMe儲存系統。其中，外部NVMe儲存系統扮演的角色，是提供第3層KV快取，用於保存GPU與CPU記憶體KV快取滿載後、被迫撤出記憶體的Token資料，藉此大幅增加LLM可用的Token資料量。

VAST Data宣稱，VUA技術提供智慧型的前綴搜尋（prefix-search）與索引機制，可以提高快取命中率，而且，比起受限於記憶體分頁結構、只能提供區域快取的GPU與CPU記憶體，VUA技術提供的NVMe外部快取記憶體，是全域的共享空間，可在整個GPU叢集中存取，每臺GPU伺服器都能共享存取相同的擴展上下文快取空間。

但是，VAST Data也承認VUA的共享存取能力仍受到一些因素限制，目前每臺GPU伺服器只能看到各自的分層快取資料，而不能看到彼此的快取內容，所以仍有可能出現快取未命中的情況，他們正考慮發展一種全域分散式快取架構來改善。

VAST Data宣稱VUA技術能提供EB等級容量的KV快取，為LLM提供無限的上下文擴展能力，能縮短第1個Token產生時間（TFTT），也能縮短後續每個Token的平均產生時間（Time Per Output Token TPOT），並持久保存會話狀態，而且藉由將KV快取保存在GPU外部的記憶體裝置上，也能釋放GPU資源。

為了讓大家了解成效，VAST Data也公開VUA技術的實測效果。他們表示，啟用VUA技術後，在3萬個Token等級的環境中的TFTT時間表現，可提升292%。

PEAK：AIO基於CXL的KV快取

英國的新創軟體定義NAS廠商PEAK：AIO，今年5月中旬宣布，正在發展基於CXL記憶體的KV快取卸載解決方案，預定第3季開始生產。

依PEAK：AIO透露的訊息，他們的KV快取記憶體設備，應該是內含CXL記憶體擴充模組的外接式設備，透過RDMA 0ver NVMe-oF介面來連接GPU伺服器，可提供跨不同會話、模型與節點共用KV快取的能力，藉由擴展LLM的上下文區間、保存更長的Token歷史資料。

相較於WEKA、VAST Data等廠商，PEAK：AIO解決方案的最大特色，是以CXL記憶體取代其他廠商使用的NVMe SSD，藉此提供延遲更低、DRAM層級的KV快取記憶體架構，該公司聲稱，他們基於CXL記憶體的Token記憶體裝置，則能在低於5µs的延遲下，提供150GB/s的吞吐率，延遲遠低於其他廠商基於NVMe SSD的方案。

Pliops的附加介面卡記憶體方案

從時間先後來看，以色列新創儲存處理器廠商Pliops在2024年10月發布的XDP LightningAI，算是外部KV快取解決方案的先行者，當時該公司將此產品描述為「提供給GPU伺服器的額外記憶體層」，用於輔助與補充GPU的HBM記憶體，避免GPU因快取記憶體耗盡，被迫重新計算舊Token資料而導致的延遲。

XDP LightningAI本身是基於x86伺服器的外接設備，透過ConnectX-7 400GbE網路卡連接GPU伺服器，使用內含的NVMe SSD充當KV快取記憶體空間，這點和後來WEKA、VAST Data推出的KV快取記憶體方案相同。

Pliops的不同之處在於，WEKA與VAST Data的方案都是純軟體架構，硬體方面使用標準x86硬體與網路卡，搭配各自的專屬檔案系統與前端軟體。Pliops則採用專屬硬體，其XDP LightningAI伺服器內安裝有專屬PCIe卡，利用PCIe卡內含的XDP-PRO ASIC晶片，搭配安裝在GPU伺服器的Pliops KV快取外掛軟體，來執行KV快取卸載工作。Pliops KV快取外掛軟體會透過專屬API，將GPU伺服器的KV快取存取需求，經由400GbE網路發給XDP LightningAI伺服器內的XDP-PRO ASIC晶片，由後者直連底層SSD來處理存取操作。

到了今年5月中旬，Pliops正式推出XDP LightningAI，配套的KV快取外掛軟體FusIOnX，並提供更多樣化的硬體部署型式。

配套的軟體堆疊稱作FusIOnX，由GPU伺服器端的FusIOnX KVIO，與儲存端的FusIOnX KV Store組成。而在XDP LightningAI硬體方面，目前則能提供獨立外接裝置與超融合部署等2種型態，前者採用Dell 2U/24槽伺服器，後者則是將核心的ASIC PCIe卡安裝到GPU伺服器內，並使用GPU伺服器內含的SSD作為KV快取空間。

透過擴展FusIOnX軟體的功能，XDP LightningAI可適用於不同應用，目前推出的是LLM與GenAI版本，接下來還將推出RAG與向量資料庫、GNN（圖像化神經網路）與DLRM（深度學習推薦模型）等版本。

GridGain的共享記憶體方案

不同於前面幾家廠商的外部記憶體方案，GridGain是叢集共享記憶體技術，從不同的面向提供擴展KV快取的方式。

GridGain的軟體是基於伺服器記憶體、低延遲的分散式資料管理系統，開源的版本稱作Apache Ignite，可橫跨整個叢集統合所有記憶體資源，包括x86伺服器記憶體與GPU的HBM記憶體，並提供線上儲存、快取、檢索與搜尋，資料會分散到叢集內的各種記憶體資源中，藉此讓叢集內的伺服器共享記憶體資源，從而克服單一伺服器記憶體不足的問題。

同時，GridGain能擴展生成式AI的會話歷史紀錄範圍，也是其應用面向之一，LLM也能透過這種共享記憶體架構，擴展可用的KV快取資源。

為了保護記憶體中的資料，GridGain還提供多複本的分散複製，以及搭配SSD/硬碟層作為備份的功能。

開源的KV快取卸載方案

除了前面介紹的一系列新創廠商的外部KV記憶體方案外，在開源領域，也已有多種KV快取卸載軟體解決方案可用，如AIBrix、LMCache，以及Mooncake等，都能提供將KV快取從GPU卸載到CPU記憶體或外部儲存設備，克服GPU記憶體容量對LLM推理造成的限制。

不過最值得注意的是這幾個月新發布的2款開源計畫，首先是Nvidia今年3月發布的Dynamo分散式推理服務框架，可以橫跨GPU叢集，提供分散式KV快取管理功能，追蹤整個GPU叢集中KV 快取資料的狀態與位置，將推理過程中的Token需求，導引到保存相關KV快取的GPU，減少重複計算與資料傳輸的消耗。

Dynamo也導入KV快取分層卸載功能，目的是將存取頻率較低或優先順序較低的KV快取資料，從昂貴的HBM記憶體，遷移到成本更低的裝置上，例如共享CPU記憶體、本機SSD或外部網路儲存裝置，從而克服GPU HBM記憶體容量限制問題。不過，目前Dynamo的KV快取卸載功能發展還不完整，可能得等到今年稍晚，才能完全達到規劃中的階層式KV快取卸載功能。

另一值得注意的開源KV快取卸載方案，是隸屬IBM旗下的Red Hat，在今年5月成立開源專案「llm-d」，目的是發展開放標準化的LLM推理架構，開發針對LLM的分散式推理服務堆疊，其中一項核心功能便是KV快取卸載，這是基於前面提到的另一開源方案LMCache而成，可將KV快取負載從GPU，卸到CPU記憶體或網路外部儲存裝置上。

第1波外部KV快取產品初探

初步檢視過這幾個月問世的第1批外部KV快取產品後，我們可以提出幾點觀察：

首先，依據各廠商提供的測試報告，以及在多個公開場合展出的實測結果，我們認為外部KV快取產品，確實能極大提高LLM的推理效率，特別是在長篇會話、需處理長篇上下文的情況下，效益尤大，提升的幅度可以達數倍之多。

其次，目前的外部KV快取產品，通常必須在GPU伺服器端安裝專屬的代理程式或軟體，以便將KV快取需求導到外部設備上，當GPU伺服器在本機KV快取找不到Token時，藉由代理程式的中介，轉到外部KV快取、搜尋與載入Token。但是，部署代理程式的需求，也將帶來相容性與支援範圍等問題。

第三，依照外部KV快取技術使用的儲存媒體，我們可以將這些產品區分為NVMe SSD與DRAM等兩大類型，WEKA、VAST Data 、Pliops與焱融科技屬於NVMe SSD型，PEAK：AIO與GridGain則屬於DRAM型，從而帶來不同的產品特性。

DRAM型解決方案的優勢

基於DRAM的外部KV快取解決方案，最大優勢便是可達到更低的存取延遲，如PEAK：AIO宣稱他們基於CXL記憶體的技術，延遲可低於5µs。相較下，基於NVMe SSD的外接儲存裝置，透過RDMA遠端存取的延遲表現，最少也要30到100µs左右，彼此有著10到20倍的差距。

不過，我們認為，基於NVMe SSD的外部KV快取技術，延遲表現已經夠用，比起KV快取耗盡後，LLM需要重新計算Token所導致的延遲相比，存取遠端NVMe SSD面臨的幾十、上百µs延遲，可說微不足道。

NVMe SSD型解決方案的優勢

另一方面，基於NVMe SSD的外部KV快取技術，則有著成本效益、高擴展性與持久性等3項優勢。

在成本效益方面，NVMe SSD擁有絕對優勢，NVMe SSD與DDR DRAM的單位成本，有著10倍以上差距。以單位容量成本較低的NVMe SSD，來作為Token資料存放區域，可提供更經濟、功耗也更低的Token資料保存方案。Pliops便聲稱藉由引進NVMe SSD，可以HMB百分之一的單位成本，取得可擴展的KV快取空間，這是基於DRAM的方案辦不到的。

在擴展能力方面，相較於內嵌在GPU、難以擴充的HBM，基於DRAM記憶體或NVMe SSD的外部KV快取方案，都能結合分散式架構，提供高度擴展能力，組成PB等級容量的Token存放空間。但NVMe SSD的單位密度更高，成本也更低，擴展能力要比DRAM高出一籌。

最後，不同於屬於揮發性儲存媒體的HBM與DRAM記憶體，NVMe SSD是可持續保存資料的非揮發性儲存媒體。基於HBM與DRAM的Token儲存架構，都只能暫存資料，Token只是推理運算過程的暫時產物，必須依據需求不斷重新計算產生。而透過WEKA增強型記憶體網格技術，則能建立持久保存的Token倉庫，能夠存放數十億個Token資料，並在需要時經由檢索提供給LLM使用。所以LLM計算後產生的Token可以長期保存，並重複使用，不再需要每次都重新計算，這也就是WEKA提出的Token倉庫（Token Warehouse）概念。

結合DRAM與SSD的可行性

進一步來說，在外部KV快取應用中，NVMe SSD與DRAM並非相互排斥，兩種技術而可搭配運用，相輔相成。例如Red Hat的開源專案「llm-d」，Nvidia的Dynamo分散式服務框架，都打算將CPU記憶體與外部網路儲存設備，同時涵蓋在KV快取卸載應用架構。

所以，未來應該會出現一種包含GPU HBM、CPU DRAM、外部DRAM裝置，與外部快閃儲存設備都整合在內，提供階層式的共享KV快取應用架構。

邁向通用標準化的可行性

外部KV快取解決方案這個新興領域，目前的推動主力雖然是由一眾新創廠商，但憑藉LLM應用熱潮引發急迫的擴展KV快取需求，預期接下來各家記憶體與儲存大廠應該都會陸續投入，為其產品整合提供外部KV快取的功能。華為便是一個例子，其高階儲存陣列產品OceanStor A800，便已能提供KV快取應用，支援KV快取的長期記憶儲存。

隨著投入廠商的增加，也將帶來標準化的問題。目前的第1波外部KV快取產品，許多都必須搭配特定的儲存軟體平臺，甚至硬體設備使用。

要建構通用化、標準化的KV快取卸載架構，可能得依靠開源的方案，如基於LMCache的Red Hat「llm-d」，以及Nvidia的Dynamo等，從而將這項應用，推廣成為LLM通用的標準。

WEKA的增強型記憶體網格技術

透過增強型記憶體網格（AMG）技術，WEKA可將基於NVMe SSD的儲存空間，提供給GPU伺服器，作為長期持續可用的KV快取記憶體，結合PB容量等級的擴展能力，構成龐大的「Token倉庫」，透過持久保存大量Token資料，可經由檢索的方式提供LLM使用。（圖片來源／WEKA）

VAST Data的階層式KV快取架構

VAST Data的VUA（VAST Undivided Attention）KV快取技術，可透過安裝在GPU伺服器上的代理程式，管理階層式的KV快取架構，當GPU在本機HBM記憶體找不到KV快取資料時，導向到外部VAST Data基於NVMe SSD的KV快取空間中搜尋。（圖片來源／VAST Data）

Pliops結合ASIC與SSD的KV快取卸載方案

Pliops的XDP LightingAI也是採用經由網路掛載的外部設備NVMe SSD，作為擴展的KV快取記憶體空間，但NVMe SSD的存取是透過Pliops專屬的XDP PRO ASIC來控制，是當前少見的專屬硬體類型外部KV快取解決方案。（圖片來源／Pliops）

Nvidia Dynamo的KV快取卸載功能

在Nvidia的Dynamo分散式推理服務框架，主要是透過KV快取管理器提供KV快取卸載功能（圖中的右下角），目前能將KV快取從GPU HBM記憶體卸載到主機CPU記憶體，未來還能卸載到本機SSD或外部儲存設備。（圖片來源／Nvidia）

大型語言模型（LLM）是當前AI技術發展與應用中，最受矚目的熱點，經過數年的發展後，新一代LLM已擁有處理與生成長篇對話文本的能力，可以和用戶進行越來越複雜的會話（Session），產生詳細的長篇幅回覆內容。

但LLM為了能更有效率地生成長篇對話內容，用於保存推理過程Token資料的KV快取（Key-Value cache）記憶體需求，也不斷暴漲，形成LLM應用的記憶體瓶頸。

為了克服這個問題，近幾個月來，市面上湧現一批外部KV記憶體技術與解決方案，也形成AI基礎架構新興的嶄新類別。

LLM不可或缺的KV快取

LLM生成會話文本的推理運算過程，是將會話內容文字拆解為個別Token，作為基本處理單位，並依據先前計算出的Token，依序推算與產生下一個Token，最後形成完整的會話內容，而推理過程的每一次推算，都需要重新計算整個序列先前所有的Token。

而KV快取存在的目的，則是在GPU記憶體中，LLM能夠以Key-Value的形式保存先前計算出的Token，到了後續推理過程中，LLM便能依據KV快取保存的先前Token，推算出新的Token，免去每一步都需要重新計算所有Token的麻煩。

也就是說，KV快取能讓LLM「記住」已經處理過的內容，從而提供立即可用的「短期記憶」資料，藉此可帶來兩大優勢：

●節省運算資源：模型可直接從KV快取獲得先前的Token，不需要重新計算。

●近乎即時的回應：模型從KV快取獲得先前的Token資料後，便可立即產生下一個Token，回應使用者的查詢需求，省下重新計算先前Token所造成的延遲。

為了能以更有效率的方式生成長篇會話文本，KV快取資料量需求也越來越大。擁有更大的KV快取記憶體，LLM就可以保存更長篇上下文的Token資料，也就是擴展上下文區間（context window）的大小，幫助產生更精確、詳細的會話回覆。

擴展KV快取的急迫需求

問題在於，GPU的HBM記憶體容量是有限的，隨著LLM參數量的增加，模型本身占用的記憶體也持續增加，耗用數百GB記憶體已是司空見慣，這也使得GPU記憶體逐步滿載，限制了KV快取所能使用的記憶體空間，以及所能保存的Token資訊量。

另一方面，隨著LLM企圖處理的上下文內容越長，又會讓KV快取所需保存的Token資料量迅速膨脹。

舉例來說，Meta在2023年推出的Llama 1模型，只支援最大2,048個Token的上下文區間，2025年最新推出的Llama 4模型，支援的上下文區間已達到100萬個Token，處理與生成長篇會話的能力，有著飛躍性的提高，但連帶的，KV快取需求也隨之暴漲。對於當前的LLM，僅僅一次會話耗用的KV快取記憶體，可能就會達到數GB以上。

這便形成一個矛盾：GPU記憶體容量有限，但LLM的上下文窗口不斷增長，帶來KV快取需求近乎無止盡增加。同時，也意味著，KV快取已成為當前限制LLM效能的主要瓶頸。

外部的KV快取記憶體方案

要解決LLM推理過程中的GPU記憶體瓶頸問題，最有效的辦法，是引進可擴展的外部記憶體資源，作為GPU記憶體的補充與替代。

一方面，只要將KV快取卸載到外部記憶體裝置，GPU有限的內建記憶體容量，就不再成為限制KV快取的瓶頸；更進一步，還能透過外部記憶體裝置的擴展能力，因應持續暴漲的KV快取記憶體容量需求。

這也促成各式外部KV快取記憶體技術與解決方案，在近幾個月來不斷湧現，成為當前AI推理應用發展的顯學之一。

擴展KV快取的效益

LLM是透過KV快取，來保存推理過程中會話文本的Token，但KV快取耗盡後，部分Token退出快取後，當模型日後需要這些Token時，便須重新計算整個會話序列中前面的Token，導致GPU耗費大量時間，重複計算先前已經算過的Token（如上圖左），並造成整個推理過程的延遲。

而透過外部裝置來擴展KV快取，便能保存所有的Token資料，避免重複計算Token，不僅節省可觀的GPU運算時間，也能顯著減少推理過程的延遲（如上圖右）。（圖片來源／Pliops）

典型的外部KV快取解決方案架構

此圖是WEKA的增強型記憶體網格（Augmented Memory Grid，AMG）技術架構，WEKA的儲存平臺藉由RDMA網路連接前端的GPU伺服器，可將WEKA平臺基於NVMe SSD的儲存空間，掛載到GPU伺服器上，作為擴展的KV快取記憶體空間，從而加速推理工作。（圖片來源／WEKA）

Cybernews報導，一名駭客本周在駭客論壇上宣稱取得了俄羅斯國防外包商250GB內部文件，包括提供給俄羅斯海軍的作戰軟體資料。

這名駭客宣稱手上持有的資料來自俄國最大國防外包商NPO MARS。NPO MARS提供了多項俄國海軍指揮控制系統，包括自動資訊交換系統TRASSA、掃雷艦自動控制系統DIEZ及船艦資訊管理系統等。

根據這家業者高層公開說法，SIGMA和TRASSA是專為俄羅斯海軍開發控制巡邏艦、導彈艦、護衛艦、大型登陸艦及核子飛彈巡洋艦而開發。藉由竄改這些系統提供的資料，例如船艦座標和速度，則可影響俄國作戰決策。

在2022年2月俄羅斯入侵烏克蘭後，這家業者就遭到美國、歐盟、加拿大、日本等國的制裁。

這名駭客聲稱存取了NPO MARS數個系統，取得業者內部資料約250GB，並公布了10GB樣本資料。經過分析，這批資料有部份PDF為2017到2018年的PDF掃瞄檔，大部份技術文件為2024年，也有今年3月才建立或更新的檔案。但不確定是否所有資料都為新資料。

目前NPO MARS並未回應此事。