品牌名稱
科大訊飛
企業規模
1001-5000人
科大訊飛AI超大規模高性能存儲集群
462次閱讀
客戶簡介
科大訊飛在語音識別、自然語言理解、機器學習推理及自主學習等領域保持著國際前沿技術水平,是國內當之無愧的人工智能領頭羊。科大訊飛的基礎架構團隊,需要為各個人工智能團隊及業務部門提供穩定、高性能的訓練存儲平臺,同時管理近千臺高性能GPU服務器,訓練使用的存儲平臺性能如何,直接影響業務部門的訓練效率。
挑戰
1.為了滿足眾多人工智能業務部門訓練的需要,科大訊飛用于模型訓練的數據平臺必須具備以下特性:
2.保證高帶寬、低延時的讀寫特性,從而為GPU服務器提供足夠的數據輸入,確保GPU的高效使用
3.支持十億級別的小文件及部分大文件混合的讀寫場景,滿足大量特征文件或聚合后的文件存儲需求
4.支持數千臺高性能計算節點的并發訪問
5.為逐步容器化的訓練任務提供無縫數據訪問能力
收益
滿足持續擴容需求
經歷短短幾個月時間,總數據規模已達到近10PB,存放近百億用于訓練的音頻、視頻、圖片文件,單集群峰值帶寬近十GB/s。
訓練時間大幅縮短
相對于曾經使用的其它商業存儲,YRCloudFile的高帶寬、低延時特性,能夠使GPU等計算服務器的計算效率達到飽和,從而將單次訓練時間由一周縮短至兩天。
訓練精度提升
由于單次訓練時間的縮短,使算法工程師對模型進行更多的迭代成為可能。迭代次數越多,輔以算法的優化,使科大訊飛的訓練精度得到不斷提升。
所在分類
云存儲