遵化市论坛

注册

 

发新话题 回复该主题

金融行业分布式数据库技术选型及成本分析 [复制链接]

1#
北京中科白癜风医院爱心大使 http://www.ykhongye.com/

韩锋,CCIA(中国计算机协会)常务理事,前OracleACE,腾讯TVP,阿里云MVP,dbaplus等多家社群创始人或专家团成员。有着丰富的一线数据库架构、软件研发、产品设计、团队管理经验。曾担任多家公司首席DBA、数据库架构师等职。在云、电商、金融、互联网等行业均有涉猎,精通多种关系型数据库,对NoSQL及大数据相关技术也有涉足,实践经验丰富。曾著有数据库相关著作《SQL优化最佳实践》、《数据库高效优化》。

分布式数据库是相对于集中式数据而言的,具备分布式数据管理能力的一种新型数据库软件产品。是面对高性能、大数据量业务系统,特别是无法进行大规模重构的业务系统,实现分布式能力引入的一种有效解决方案。分布式数据库具备数据分片管理、分布式事务、读写分离等关键分布式能力,能够为应用提供类似与集中数据库的使用方式,可以降低应用实施分布式改造的复杂度。近年来,各国产厂商都在积极推进分布式数据库产品的研发,技术已经逐步成熟,金融行业也已经有成功案例投入生产系统使用。本文尝试从多个角度,阐述金融行业分布式数据库转型所面临的问题及解决思考。

、背景:为何会走向分布式

).业务驱动

移动互联网和电子支付的蓬勃发展对金融系统能力带来全新的挑战

金融行业的数据急剧增长,对数据存储和管理提出了更高要求

面临高并发业务和大用户量带来的系统压力

要求移动应用响应速度更快

大型机系统已经是全球最大规模的系统,可靠性风险逐渐上升

).政策指导

《金融科技(FinTech)发展规划(09-0)》中明确指出:“加强分布式数据库的研发应用。做好分布式数据库金融应用的长期规划,加大研发与应用投入力度。有计划、分步骤稳妥推动分布式数据产品先行先试,形成可借鉴、能推广的典型案例和解决方案,为分布式数据库在金融领域的全面应用探明路径。建立健全产学结合、校企协同的人才培养机制,持续加强分布式数据库底层和前沿技术研究,制定分布式数据库金融应用标准规范,从技术架构、安全防护、灾难恢复等方面明确管理要求,确保分布式数据库在金融领域的稳妥应用。”

、分布式可选技术路线).路线:分布式中间件+单机数据库

这类产品,一般采用了典型的“ShareNothing”架构,实现存储与计算分离,通过上层无状态的计算节点提供弹性可扩展的计算能力,下层通过增强单机数据库提供基础存储能力及本地算力。这一架构通过硬件堆叠,可近似线性地提供计算性能和存储容量,具有可支持超大规模集群的能力。

?产品优势

这一架构产品的优势在于功能丰富、可按业务做定制;稳定性较高,基于成熟稳定的单机引擎。在面对超大规模数据存储,通过灵活的分片配置策略,支持高灵活度数据打散技术,并可贴近场景需求定制分片。

?产品劣势

相对不足在于全局事务能力、全局MVCC、副本控制、高可用等方面存在先天短板,需要有针对性增强。例如引入全局事务管理器组件,突破单机限制,实现分布式事务的实时一致性及全局MVCC能力,对应用透明的分布式事务处理,应用无需改造。通过一阶段提交+自动补偿机制,提升分布式事务处理性能。针对数据强一致性的要求,在单机库同步技术基础上,通过内核级的增强优化实现更高级别的复制保证数据不丢失。此外,由于需维护多节点一致性而带来的在跨分片DDL、分片节点扩容、跨节点复杂查询、全局一致的备份恢复等方面问题值得

分享 转发
TOP
发新话题 回复该主题