京东云云海的存算分离技术实践:节省整体成本超30%

  • 来源: 互联网   2023-05-16/17:20
  • 在万物互联时代,无论是手机中不断更新的短视频,还是工厂中的大规模生产数据,其背后都是对海量数据的存储和调用,在数据大爆炸的时代背景下,革新存储技术、降低存储成本、提升数据存储安全性、降低存储运维难度,已成为行业发展的重要命题。

    针对存储领域业务需求,京东云推出的新一代分布式存储平台——云海,作为全自研、高性能、统一引擎的存储产品,历经10余年京东自身复杂的场景历练,不仅能满足各行业对云盘高性能、低延时的业务诉求,还通过打造存算分离技术架构,可为客户节省整体基础设施成本超30%,现已在存算分离、高性能计算、AI训练、大数据底层存储等新兴场景,以及音视频存储、图片存储、数据报表、灾备存储、传统存储替代等传统场景广泛应用。

    历经10余年京东复杂场景历练,自主研发分布式存储系统云海

    云海以全自研统一引擎为底座,提供块存储、分布式文件存储、并行文件存储、对象存储、大数据存储等5种存储服务。支持标准X86服务器和各类国产化服务器,具备自研可控、超高性能、高可用性、极致低成本、安全、统一存储等特点。

    自研可控:云海为100%自研产品,全自主可控,已与所有主流国产化硬件兼容互认,并能实现兼容后性能无衰减,已在京东核心场景实现国产化实践验证

    超高性能:云海块存储性能指标百万IOPS下平均延迟 <200μs,单集群输出1000 IOPS,性能接近本地NVMe磁盘。

    高可用性:采用全追加写的新架构模式,保障了多副本强一致性,100% 写高可用,多副本故障下仍保持系统可用性。

    极致低成本:块存储1.375 副本生产级EC,对象存储低至1.1x 副本的低冗余,以及行业内最大规模QLC-SSD的落地,成本技术指标领跑行业。

    创新性存算分离技术架构,综合成本降低50%

    云海通过其超低延时RDMA、创新性高容错分布式一致性协议、用户态NVMe等手段,将存算分离真正大规模应用到生产环境中,实现了单实例读写延迟至100μs以内,单盘提供100万级IOPS的极致性能,计算与存储完全解耦。

    云海自研的存算分离架构为企业带来更高的存储可靠性、可用性和资源的扩展灵活性,成功将磁盘利用率提升至90%。构建存算分离架构支撑的PaaS服务,从而实现:第一、计算和存储解耦独立,存算资源独立调度,不再有固定配比,资源利用率提升到85%以上;第二、多副本高可靠的存储产品,对业务呈现出永远“零故障”的存储,业务层的可用性得到大幅提升;第三、资源彻底云化调度,扩容操作秒级完成,极大释放运维人员的压力。

    目前基于云海的存算分离的技术架构已在京东全面落地,相比存算一体的形态,存储资源利用率提升至85%以上,PaaS综合成本降低达到50%。

    全新发布云海一体机,支持国产化硬件灵活满足业务需求

    云海可同时支持纯软授权或软硬一体机形式独立交付,也可作为存储标准化产品,以纯软或软硬一体机的形式集成在解决方案中输出,客户可根据实际需求灵活选择。

    软件独立输出:支持灵活多样的服务器配置,客户原有服务器也可利旧使用。支持独立输出块、文件、对象存储等,存算分离下,综合成本降低30%以上。

    软硬一体机模式输出:云海推出极速型、性能型、通用型三大产品系列,全面覆盖多种场景需,且均支持国产化硬件,灵活满足业务需求。

    云海高效支持存算分离、超算、音视频等典型存储场景

    基于京东集团内部丰富的存储应用场景,以及对降本提效的极致追求,推动云海实现由实际业务推动的高速迭代。性能层面,云海已历经多年京东618、京东11.11等高流量、高并发场景的实战检验;行业层面,已覆盖零售、物流、金融、健康、工业等行业的不同业务应用场景。

    在过往的 京东618中,基于云海的存算分离系统架构,使得原本由于性能问题很难全面实施的存算分离得以落地,面对吞吐量TB/s、IOPS上亿级的压力,依然能够提供如丝般顺滑的存储体验。

    京东云为某头部网络音频平台打造稳定经济的双活存储平台,基于云海高可靠、低成本、强安全的分布式对象存储和块存储服务,定制化设计主备双活存储解决方案,系统上线运行两年以来,从未出现故障,并通过冷热数据全生命周期管理,实现综合成本降低20%~30%。

    国内某消费金融公司通过对海量数据进行深度挖掘,获得了业务的高速增长,然而,随着存储集群规模迅速扩张,带来巨大的成本压力。京东云为其提供了云海大数据存储+对象存储服务解决方案,存储集群规模从原来的上千台降至400余台,综合降本超过60%,获得更优的成本效率及可扩展性。

    面向未来,京东云云海将继续深耕产业,针对政府、医疗、金融、汽车等多个行业的特定场景,持续打磨技术产品能力,提供更高性能和更优性价比的存储服务,为产业深度数字化加速。


    评论 {{userinfo.comments}}

    {{money}}

    {{question.question}}

    A {{question.A}}
    B {{question.B}}
    C {{question.C}}
    D {{question.D}}
    提交

    驱动号 更多