新闻中心

    新闻中心  >  EDS存储摘两金,,,,创新架构突破小文件性能瓶颈
    EDS存储摘两金,,创新架构突破小文件性能瓶颈
    背景图 2022-12-12 11:38:33

    近日,,,由百易传媒(DOIT)主办的“2022数据与存储峰会”在北京顺利举行,,,本次大会以“数据觉醒新时代”为主题,,,,旨在探讨新时代数据存储的新方向和对优秀企业进行表彰,,,信服云企业级存储EDS凭借其优越性能,,接连斩获“2022年度分布式存储金奖”“2022年度文件存储金奖”两项大奖。。

    信服云EDS为何能在这次峰会上连续获得两项大奖??在芯启时光存储解决方案总监王志成“存储如何应对GPU算力爆炸增长下的小文件性能挑战”主题演讲中我们或许能知道答案。。。。

    01 GPU算力爆发式增长下 存储面临哪些挑战???


    王志成指出,,,以GPU为核心的智能算力比重由2016年的3%提升至2020年的41%,,,GPU算力高速发展衍生出大量数据密集性行业应用,,,,这些应用数据的存储面临三大挑战:

    存储架构受限,,小文件处理性能差

    很多业务生产过程都会产生海量KB级小文件,,,比如芯片设计的前端设计场景,,,实景三维建模场景等,,,但无论是传统NAS存储还是新兴的分布式存储,,,,由于元数据处理架构、、、网络时延等限制,,,都难以有效解决小文件处理性能差的问题上。。。


    数据量井喷,,,“存不下”成为主要挑战

    以基因测序为例,,,受当下环境和人口老龄化的影响,,,,一个基因测序服务企业每年新增的数据量就高达10PB级。。。传统存储跟不上现有业务的数据增长,,,,想要扩展却要面临硬件与厂商绑定、、、、成本高昂、、、扩展周期长等一系列问题。。


    各场景数据复杂,,,,存储效率提高难

    行业业务需求正在呈现多样化的演进趋势,,,对数据存储的大带宽支持能力、、、海量小文件访问延时和复杂场景的适应性都提出极高的要求,,,存储需要更高效的数据访问能力。。。。


    “在当下的环境,,用户需要一套性能更高、、扩展性更强的企业级存储系统,,来提升业务数据生产效率。。。”王志成这样说到。。


    02信服云分布式存储EDS更高性能突破瓶颈

    

    王志成引用Gartner报告中“软件定义是存储唯一变革性技术”的观点,,,,点明未来存储的发展之道。。相比传统存储,,,,以软件形式定义存储可提供更优秀的场景适应能力、、、更高的性价比和更灵活的扩容能力,,,,在软件定义的基础上,,,,信服云EDS通过全自研高性能文件系统PhxDFS和五大核心技术提升存储综合能力:


    多活元数据服务,,,,性能再提升

    为了解决性能不足的问题,,EDS将一个完整目录分片后分发到各个存储节点处理,,,充分利用起所有节点的CPU算力,,,从而突破元数据性能瓶颈。。。。对比Ceph架构的分布式存储,,元数据处理能力可提升三倍以上。。


    元数据高效压缩算法,,数据“存得下”

    在海量小文件场景下,,,,元数据的规模可能达TB级,,,,为了将更多的元数据缓存到有限的存储内存空间,,,EDS自研元数据压缩算法,,,该技术最大可支持7:1的压缩比。。。。在百亿小文件场景下实现元数据、、热数据百分百命中内存缓存,,,,让数据“存得下”“找得快”。。。。


    数据三级缓存机制,,,数据访问更快一步

    EDS追求高性能的同时,,同样注重数据读取效率。。。在专有客户端模式下,,,EDS将客户端内存、、、存储节点内存和大容量NVMe固态盘构建成三级缓存,,,实现数据和元数据就近访问,,,命中即返回,,,,该技术将热数据的访问时延降低到us级别。。。。相比过去,,数据访问更快、、效率更高。。。


    高性能RDMA网络,,,,网络时延再降低

    EDS在存储业务网和存储私网均支持以RoCE v2协议替代TCP/IP协议,,,,可将网络时延降低90%以上,,,业务联通仅需9-16us,,,可大幅缩短业务数据的联通时间。。


    数据智能聚合追加写,,,,效率再提升

    EDS将文件IO在高性能层(NVMe或SATA SSD)聚合后追加写入容量层(机械盘),,可有效解决小文件写放大造成的容量浪费,,,,利用机械盘本身顺序写性能优势,,,,进一步降低EC写惩罚影响,,提升写性能的同时可有效提升60%以上的回刷速度,,进一步减少数据存储、、、、调用的耗时,,提高业务效率。。。。

    站点地图