京东云以先进计算助力智算中心建设 推动AI创新与应用

2024年全国两会召开在即。第十四届全国政协委员、京东集团技术委员会主席、京东云事业部总裁曹鹏今年提交了多份提案，包括发展新质生产力需要自主研发和产业发展相辅相成，建立国产化先进算力和产业发展相辅相成的正循环等等。

无算力不AI。如今，超算中心、智算中心和数据中心正在为人工智能的蓬勃发展铺设着坚实的计算基石。在此背景下，京东云基于多年研发大模型的能力积累和对行业需求的理解，打造从MaaS服务到智算中心，从硬件基础设施到软件系统协同的先进计算产品矩阵，正在为千行百业智能化发展筑起更强算力、更大存力、更加易用、更低门槛的数字技术底座。

“阿尔法”让智算中心部署能耗降低

工信部数据显示，截至2023年6月底，我国算力总规模达到197百亿亿次/秒，位居全球第二。IDC圈统计，我国目前已经建成智算中心不少于20座，全国已有30个城市正在建设或者提出建设智算中心。在智算中心遍地开花的今天，如何实现智算中心的绿色节能，降低单台AI服务器功耗，成为行业关注的焦点。

基于多年算力基础设施部署交付的最佳实践，京东云在业内率先推出“阿尔法”智能算力模块高功率密度解决方案，不仅满足从20kW到100kW/柜的高密度算力部署需求，且制冷因子CLF达到惊人的0.07。对于渴望转型而面临硬件局限的传统机房，“阿尔法”算力模块同样推出风冷型解决方案，45天快速交付，能耗降低30%，全年平均运行能效PUE制冷因子低至<0.1 。

另外，京东云液冷型智能算力模块，还可全面兼容GPU、CPU服务器，PUE制冷因子可降低至0.1以内，并支持风冷、液冷系统一体化交付，预制模块化部署，全面满足算力密度20-100kW/柜数据中心部署需求。

软硬件协同释放算力最大能量

提升算力底座的效率，既要考虑GPU，也要考虑算力调度的软件，软硬协同才能最大化发挥智算底座的作用。比如，为了提高数字基础设施运行效率，京东云云舰混合多云操作系统领先的离在线混部技术，将延迟不敏感的离线计算任务和延迟敏感的在线服务，部署到同一集群上运行，让在线服务的空闲资源充分被离线计算任务所使用，通过离在线混部提升资源部署密度和CPU使用率， 降低服务器资源成本。京东云在2024年中央电视台总台春晚保障期间，基于离在线混部，CPU利用率可达60%，大幅降低资源成本，提高了服务器运行效率。

云舰的vGPU功能，则能够提供一站式 GPU 算力池化能力，在不增加GPU服务器的基础上，支持更多的智能化使用场景并发处理，GPU 利用率最高提升 70%，大幅降低大模型推理成本。

另外，京东云的大模型数据库服务（Vearch）能够支持百亿级向量数据的高性能检索，将检索延时降低至毫秒级，可用性高达99.99%，在大模型预训练场景下，推理成本可降低80%，进一步助推大模型的广泛应用与创新。京东云海存储系统，则凭借千万IOPS读写性能和低于100微秒的时延，能够有效减少算力等待时间，避免算力浪费，将智能算力发挥至极致，满足大模型对存储性能的严苛要求。

AI开发计算平台让大模型“触手可及”

将大模型能力应用到产业领域，实现垂直行业的“智能涌现”，并非易事。高质量的行业知识作为稀缺要素，决定了大模型的“智商”。京东云言犀AI开发计算平台具备丰富的行业知识库，京东在零售、物流、健康、金融等行业多年积累的知识都沉淀在平台上。作为连接底层算力和上层大模型开发的“桥梁”，京东云言犀AI开发计算平台能够无缝衔接起数据准备至模型部署的全流程环节，预置100多种优化工具，只需一键部署即可释放90%的推理成本，极大地推动了AI研发效率与效能的双轮驱动。

以京东健康自研大模型“京医千询”为例，通过京东云言犀AI开发计算平台，京东健康科学家只需要不到一周时间，即可完成从数据准备、模型训练、到模型部署的全流程；通过平台模型加速工具优化，节约90%的推理成本。

京医千询大模型的应用场景包括诊前病情收集、诊中智能辅诊、病历生成等，其中诊前病情收集可以减少患者的问诊等待时间；诊中智能辅诊则能够使医生回复内容更加详尽，并体现人文关怀，提升用户问诊体验；病历生成能够自动总结患者病情与医生诊疗建议，提升医生的工作效率。

未来，京东云将持续致力于构建先进的智算底座，赋能智算中心建设，推动人工智能产业高质量发展，为我国数字化转型和智能经济崛起贡献力量。