(資料圖片)
在數字經濟的浪潮下,AI技術迎來井噴。以ChatGPT為代表的生成式大模型的快速發(fā)展給AI算力帶來了巨大需求,人工智能技術已經從象牙塔走向人們的日常生活和工作。
在AI場景中,存儲發(fā)揮著非常重要的作用。可以說,AI模型落地過程中,最頂尖的挑戰(zhàn)就是數據。AI生成的數據如同天文數字般不斷增長,帶來了對算力需求的暴增。人工智能行業(yè)要實現快速發(fā)展,必須注重存儲能力和計算能力的同時提升。比如除了存放訓練和推理的數據之外,存儲系統(tǒng)還要存放原始數據、標注數據、特征數據等很多類型的信息,以及交互中產生的數據集、模型參數快照和中間數據等,數據量十分龐大。此外,GPU計算資源非常珍貴,存儲的快速部署和后期穩(wěn)定運行會非常有助于GPU的高效利用。
基于此,希捷科技打造了基于英偉達高速Infiniband網絡的混閃存儲方案,為不同規(guī)模的AI計算集群提供高性價比的標準化存儲。此混合存儲方案的存儲單元采用了內置NVMe固態(tài)硬盤和希捷機械硬盤高速存儲相互配合的混閃模式,既能提供超高的性能,也能提供更佳的性價比。該解決方案充分利用了IB網絡低延遲、高帶寬的優(yōu)勢,滿足文件傳輸性能。采用NVMe固態(tài)硬盤提供小文件和元數據所需要的低延遲IOPS性能,同時采用機械硬盤提供大文件所需要的高帶寬性能。并且應用了成熟、通用的文件系統(tǒng),以達到整體方案的高可用性,并提供了增值功能。同時,該存儲方案通過軟硬件標準化和預集成方式,保證系統(tǒng)整體性能達到預期,也降低了部署和運維的難度。
值得一提的是,該解決方案于8月24日在2023年CCF全國高性能計算學術年會(CCF HPC China)亮相,幫助有高算力需求的客戶解決海量數據難題。除此之外,在本屆CCF HPC China大會上,希捷科技聯合神州數碼展示了一系列企業(yè)級數據存儲解決方案,其中包括希捷銀河Exos X 5U84系統(tǒng)、希捷銀河Exos X20、X18大容量機械硬盤、HAMR熱輔助磁記錄、MACH.2雙磁臂技術等,旨在更好地幫助企業(yè)用戶進行高性能計算建設。
關鍵詞: