智能制造網(wǎng)APP
智能制造網(wǎng)手機(jī)站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務(wù)號(hào)
智能控制
機(jī)器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
回放
品牌
明基環(huán)保
據(jù)IDC預(yù)測，2026年中國智能算力規(guī)模將達(dá)2024年的兩倍，其中推理算力增速將遠(yuǎn)超過訓(xùn)練，到2027年中國智能算力中推理占比將提高到72.6%。隨著大模型推理進(jìn)入規(guī)模化落地階段，KV Cache 通過“以存換算”的思路，節(jié)省了GPU算力、提高了推理效率，成為AI推理應(yīng)用落地的主流方案。
但隨著8K、16K、32K乃至更大上下文長度逐漸普及，KV Cache的規(guī)模呈線性增長；在多并發(fā)場景下，KV數(shù)據(jù)讀寫壓力更是呈指數(shù)級(jí)放大。比如，在Llama-405B上運(yùn)行一個(gè)具有64K上下文的單個(gè)用戶需要15.75GB KV緩存，當(dāng)擴(kuò)展到32個(gè)用戶時(shí)，容量需求將飆升至504GB。如何高效承載KV Cache，已經(jīng)成為AI推理基礎(chǔ)設(shè)施架構(gòu)中的核心議題。
此外，隨著AI推理走入我們的日常生活，衡量應(yīng)用體驗(yàn)和系統(tǒng)效率的關(guān)鍵指標(biāo)——TTFT(Time To First Token，首次輸出Token時(shí)延)被越來越多用戶關(guān)注。TTFT不僅直接影響推理應(yīng)用的用戶交互體驗(yàn)，更決定單位時(shí)間內(nèi)可承載的有效請求數(shù)。
實(shí)現(xiàn)架構(gòu)級(jí)優(yōu)化
目前，將KV Cache從GPU顯存中卸載已經(jīng)成為行業(yè)共識(shí)。相比本地SSD，外置分布式存儲(chǔ)具備更強(qiáng)的橫向擴(kuò)展能力，能夠?qū)V訪問轉(zhuǎn)化為并行模型，且提供全局?jǐn)?shù)據(jù)共享，支持大規(guī)模PD分離部署。這意味著在模型規(guī)模持續(xù)擴(kuò)大、上下文不斷拉長、并發(fā)請求持續(xù)增長的情況下，存儲(chǔ)系統(tǒng)仍然能夠保持可控的TTFT與穩(wěn)定的吞吐能力。
基于這一趨勢，H3C UniStor X20000 AI原生存儲(chǔ)圍繞KV Cache場景進(jìn)行了系統(tǒng)級(jí)協(xié)同調(diào)優(yōu)，使“外置存儲(chǔ)承載KV Cache”從概念方案真正演進(jìn)為生產(chǎn)級(jí)可用架構(gòu)。
X20000存儲(chǔ)通過EPC私有客戶端，將每個(gè)6MB文件自動(dòng)切分為1MB粒度進(jìn)行分布式并發(fā)處理。這種細(xì)粒度切分機(jī)制，將單次KV訪問轉(zhuǎn)化為多通道并發(fā)讀寫，數(shù)據(jù)均勻分布至多個(gè)存儲(chǔ)節(jié)點(diǎn)與引擎，使訪問天然具備并行性，從而有效降低單路徑阻塞概率。
同時(shí)，針對KV文件分布扁平、目錄與文件數(shù)量接近1:1的特點(diǎn)，X20000對目錄與文件分布進(jìn)行均衡優(yōu)化，使數(shù)據(jù)在存儲(chǔ)引擎間實(shí)現(xiàn)更均勻分布，進(jìn)一步降低訪問時(shí)延波動(dòng)。這種優(yōu)化邏輯的核心在于：不是單純提升單盤性能，而是將KV Cache讀寫行為重構(gòu)為“分布式并發(fā)訪問模型”。這是一種架構(gòu)級(jí)優(yōu)化，而非參數(shù)級(jí)優(yōu)化。
測試數(shù)據(jù)：KV Cache卸載至X20000后TTFT最高降低72%
圍繞KV Cache卸載場景，實(shí)測數(shù)據(jù)顯示，當(dāng)KV Cache命中率達(dá)到90%時(shí)，將KV數(shù)據(jù)卸載至X20000分布式存儲(chǔ)，TTFT得到大幅度優(yōu)化。
◆ 測試環(huán)境：
■ GPU: A100 * 4
■ 推理引擎：vLLM 0.9.2
■ 模型：Qwen2.5-14B
◆ UCM：性能最大提升6倍
■ 在90% KV Cache命中條件下，將KV Cache卸載至X20000存儲(chǔ)，相比純GPU計(jì)算模式，TTFT平均優(yōu)化超過4倍，最大接近6倍。
■ 在相同條件下，X20000的TTFT僅為本地SSD的28%~44%，最高下降72%。
■ 系統(tǒng)可擴(kuò)展能力提升4倍，在TTFT不超過2秒的約束下，采用X20000存儲(chǔ)承載KV Cache后，模型的上下文長度可由8K擴(kuò)展至32K，實(shí)現(xiàn)4倍提升，并發(fā)能力可由4路提升至16路，同樣實(shí)現(xiàn)4倍擴(kuò)展。
◆ LMCache：性能最大提升10倍
■ 在90% KV Cache命中條件下，將KV Cache卸載至X20000存儲(chǔ)，相比純GPU計(jì)算模式，TTFT最大優(yōu)化10倍。
■ 系統(tǒng)可擴(kuò)展能力提升4倍，在TTFT不超過2秒的約束下，采用X20000存儲(chǔ)承載KV Cache后，模型的上下文長度可實(shí)現(xiàn)8倍擴(kuò)展，并發(fā)能力同樣實(shí)現(xiàn)8倍提升。在16K上下文場景中，不同并發(fā)條件下普遍達(dá)到10倍以上性能提升。
◆ 并發(fā)與上下文持續(xù)拉升，時(shí)延曲線依然平滑
同時(shí)，隨著并發(fā)數(shù)量或上下文長度持續(xù)增加，X20000的TTFT增長曲線保持相對平緩，而GPU純算模式與本地NVMe SSD方案則呈現(xiàn)明顯陡峭上升趨勢。也就是說，當(dāng)系統(tǒng)進(jìn)入真實(shí)生產(chǎn)負(fù)載階段——多用戶并發(fā)、多輪長對話、持續(xù)高壓訪問——X20000所承載的KV Cache訪問路徑更具穩(wěn)定性與可預(yù)測性。
X20000為AI應(yīng)用構(gòu)建可擴(kuò)展的數(shù)據(jù)底座
在大模型推理進(jìn)入規(guī)?；a(chǎn)階段后，KV Cache已成為影響系統(tǒng)承載能力與用戶體驗(yàn)的關(guān)鍵因素。作為AI原生存儲(chǔ)，X20000通過重構(gòu)KV Cache訪問路徑，實(shí)現(xiàn)最大10倍性能提升，TTFT最大降低72%，并發(fā)能力提升4到8倍，幫助客戶實(shí)現(xiàn)更高推理效率、更大模型承載、更高并發(fā)能力，為AI應(yīng)用構(gòu)建可擴(kuò)展的數(shù)據(jù)底座。
浙公網(wǎng)安備 33010602000006號(hào)
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號(hào)
