中国移动磐维数据库基于openGauss的开发与应用实践
...
5月9日,“openGauss——汇聚数据库创新力量”论坛在北京举行,中国移动信息技术中心磐维数据库架构师李龙飞在论坛上介绍了中国移动磐维数据库基于openGauss的开发与应用实践,分享了中国移动数据库研发的成果以及内部应用的典型案例。


中国移动具有复杂的业务形态、海量的客户数据和极高的容灾管理需求。一个能实时处理复杂数据任务的高效、安全的数据库能够解决运营商IT基础架构复杂、存在大量异构软硬件的问题,从而降低业务接入难度,减少运维成本。
为此,中国移动于2022年正式启动了磐维数据库的研发,已于2023年底发布了最新的2.0版本。磐维数据库的研发重点主要在以下这8个维度:-
高兼容生态适配:对数据类型、系统视图/函数、驱动接口等多个维度做了内核级兼容,目前MySQL的兼容度超过80%,Oracle的兼容度也达到了50%。
-
高效率一键迁移:打造集兼容性评估、全量迁移、增量迁移、数据校验于一体的迁移工具,通过流程化、自动化操作方式,缩短业务迁移窗口。
-
高易用运维平台:支持数据库从部署、创建到运营、维护的全生命周期管理。支持对实例、集群、操作系统、硬件等多维度的可视化监控。通过自动巡检、智能运维等方式,进一步降低运维门槛,提升运维效率。
-
高可靠解决方案:沉淀运营商实践经验,提供同城双中心、两地三中心、异地双活集群等高可用解决方案,系统全局无单点。另外支持逻辑备份、物理备份等多种备份恢复策略,确保数据可靠性。
-
高性能执行引擎:NUMA-AWARE技术,极大提升多核处理器SQL处理能力;SQL by pass特殊执行路径,加速单表和简单表达式查询。
-
高扩展多模多态:支持行存、列存、内存、向量等多种存储模式,满足多样负载要求;支持集中式、分布式、一体机、云化多种部署形态,适配复杂应用场景。
-
高智能AI自治:基于强化学习的参数自调优、基于启发式搜索的索引推荐,提升数据库性能。
-
高安全国密算法:基于国密算法的全密态存储/传输/计算,全流程确保数据隐私。

目前,磐维数据库已在20多个省公司上线1500+节点,支撑170+业务系统,支撑用户达数亿规模。针对分布式、高可用、资源池化等关键特性都有代表性的落地案例。
结算系统是移动通信业务的核心系统,承载网间互联互通结算、省内各地市间的漫游结算及省内增值服务商的服务结算,涵盖语音、短信、数据、增值等全业务结算,数据量可达几十亿条/日。对于这样海量数据的高性能场景,我们采用了分布式部署方案并精心设计分片策略:对业务类数据均衡分片,避免并行计算的资源竞争,大幅提升系统处理性能;对于结算规则配置等访问频率高、数据体量小的数据,采用全表复制模式,降低跨数据节点访问,提升运营效能。再综合应用缓存、参数优化以及内核层面的性能优化方案,满足所有任务的入库和查账的性能要求。
对于客户交互中心系统,需要提供不同触点客户接触和交互的数据管理、行为分析等功能,对数据库响应时间要求高,并且需要跨中心的容灾方案。我们通过优化SQL、索引、缓存等多种策略满足性能要求,同时,结合网络环境充分验证、优化跨中心双集群的可靠性、同步性能与快速接管能力,来满足用户生产系统的要求。
⚫ 资源池化架构实现高效存储和主备一致性需求
为解决传统HA部署下存储容量较单机部署翻倍的问题,采用资源池化架构可以节省存储,并具备主备实时一致性特性。此外,数据库资源池化对硬件,尤其是存储设备有较高的依赖性,因此,需要深入剖析资源池化的实现机制,改造分布式存储来适配数据库的要求。在此基础上,协同openGauss社区全面测试了资源池化架构的功能、性能、高可用、读写分离等维度,在计费日志系统率先完成了资源池化架构的通用性和商用能力验证。
未来,磐维数据库将继续在多模多态、AI智能运维、LLM(Large Language Model ,大语言模型)+DB等技术重点研发,同时适配更多复杂多样的业务场景,不断落地形成创新成果并回馈和繁荣社区生态,与openGauss社区一起共同推动国产数据库的发展。
本文分享自微信公众号 - openGauss(openGauss)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“ OSC源创计划 ”,欢迎正在阅读的你也加入,一起分享。

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
所有评论(0)