APP推广合作
联系“鸟哥笔记小乔”
一家银行数据库的六年攻坚战
2024-07-24 15:59:34

文|白 鸽

传统的商业数据库Oracle,到后来加入的MySQL数据库,再到现如今的分布式数据库,中国金融行业数据库的转型升级走过了多年时间。

“2018年,我们提出了要向分布式架构转型。”四川农商联合银行科技部相关负责人回顾起当时做的战略决策,“现在看是一种理所当然的趋势,但在2018年选择这个方向是艰难的,因为当时分布式数据库都是互联网场景在用,传统银行都还没有。”

彼时,对于国产数据库厂商而言,大家也都还处于起步阶段。

“当时的产品还不太成熟。”他回忆道,“报名参与我们PoC的只有3家,其中就包括OceanBase。”

经过严格的PoC场景测试,四川农商联合银行最终选择了OceanBase,自此开启了从外围向核心系统推进的数据库转型升级之路。

“我们一共有111个系统,现在一共有49个系统上了OceanBase的数据库,今年预计有一大半系统将全部上去。”他如此说道。

对于承载关键业务负载的数据库而言,一定是在场景中打磨出来,而不是在实验室写出来的。

作为经过内部支付宝、淘宝、天猫等具有高并发的金融交易场景中深度打磨出的数据库,OceanBase在走向商业化过程中,也受到众多金融机构的青睐。

7月18日,IT市场研究和咨询公司IDC发布《中国金融行业分布式事务型数据库市场份额,2023:技术验证结束,迎接高速增长》报告显示,OceanBase占据金融行业本地部署市场份额第一、保险证券子市场本地部署份额第一。

一家银行数据库的六年攻坚战

据OceanBase官方数据显示,目前70%千亿资产规模以上银行、75%头部证券机构、65%头部保险机构、45%头部基金公司都已选择OceanBase进行核心系统升级。

主要包括中国工商银行、交通银行、四川农商联合银行、中国太平洋保险、招商证券等,其中有一半以上将OceanBase应用于核心系统。

从营收角度来讲,2023年,OceanBase的金融行业营收规模为2.7亿人民币,在金融行业分布式数据库市场中位列独立数据库厂商第一。

据IDC报告统计,2023年中国金融行业分布式事务型数据库的市场规模约2亿美元,同比增长12.1%,市场正在加速增长。同时,市场竞争格局基本稳定,头部5家厂商占据整体市场份额的86.9%。

一家银行数据库的六年攻坚战

随着中国数智化转型进入深水区,作为基础软件的三座大山之一,金融行业的数据库转型升级,已经从选择题成为了必答题。

金融行业数据库迎“关键年”

IDC报告称,2024年将进入分布式数据库大规模部署阶段,这也将是金融行业数据库转型升级的关键年。一方面,金融行业的数据库升级将从边缘系统走向核心系统。另一方面,国产分布式数据库也将从可用走向好用。

自20世纪70年代开启信息化建设以来,金融行业开始着手搭建核心系统,作为金融机构的交易中枢,经过数十年的发展,在沉淀大量数据资产的同时,更是与周边系统盘根错节,可以说是“牵一发而动全身”。

相比其他系统,数据库是最底层、也是最关键的核心技术之一,而且由于国产数据库起步较晚,金融行业使用国产数据库普遍在2016年之后。但即便经过了约8年时间,金融系统对于新型数据库的升级、转型,依然处于早期阶段。

目前,头部大银行、保险机构已经走完了分布式数据库升级转型的路,但数量更多的中小银行、保险、证券等金融机构仍然才刚刚开始做、甚至计划开始做。

提速背后,是金融机构的数智化转型进入了深水区。

不过,金融机构的数据库升级并不是一蹴而就,往往需要2~3年时间。而且大多数金融机构在开展数据库升级时,通常采取循序渐进、风险可控的策略,即先边缘系统再核心系统。

一家银行数据库的六年攻坚战

典型的银行系统业务全景架构

四川农商联合银行策略也是以稳妥为主,“先外围后核心,先一般再关键。”

截至目前,四川农商联合银行已经有49个系统稳定运行在OceanBase上,其中关键业务系统6个、重要业务系统18个、一般业务系统23个。

经过7年迭代升级,四川农商联合银行的数据库升级也将迎来“从一般向核心迈进”的关键一步。

据光锥智能了解,四川农商联合银行的分布式核心系统已经于2023年年初启动建设,预计2024年年底完成主体开发和测试。新一代核心系统也将基于OceanBase建设。

“我们今年列了20个左右的项目,要全部放到OceanBase上做升级改造。”四川农商联合银行相关负责人对光锥智能讲述了今年的发展计划,“更关键的是要把2.2和3.2的系统统一升级到4.2版,启动信贷业务,2025年会把收单业务放上去,2026到2028年会完成全部存量系统迁移。”

这也就意味着,四川农商联合银行底层的技术架构也将逐渐实现统一。

相比于银行业在数据库升级路径上的稳妥,部分保险企业的策略可能会更激进一些。

一家银行数据库的六年攻坚战

保险系统业务全景架构

“我们根据中国太保的情况因地制宜,最终选择了一开始就从核心系统做数据库升级,跟OceanBase一起做联合攻坚。”中国太平洋保险数智研究院首席数据库专家林春的这种做法,与其说是冒险、不如说是战略眼光足够坚定。

林春认为,“通过先难后易,选择核心系统做攻坚,在暴露了很多问题后,就可以迅速沉淀出自己的知识库。”

通过金融机构和数据库厂商的双方联合攻坚,做大量复杂场景的历练,国产的数据库产品正在从“可用”向“好用”演进。

“自2021年至今,OceanBase数据库越来越好用,也正在加速形成完整生态。”在林春看来,数据库厂商是否有“内核掌控”能力、修复能力,决定了未来能否走的远。

金融分布式数据库、从选择题到必答题

上世纪60年代,国内出现了第一代集中式数据库。

彼时用户业务量和数据量很小,因此Oracle做的集中式数据库就可以满足绝大部分客户需求。后随着互联网兴起,出现中间件形式,如MySQL数据库等。

但集中式的数据库部署方式是IOE(IO扩展口),属于烟囱式部署,一套系统就需要部署一套数据库架构,成本非常高昂,且扩展性非常差。而中间件数据库只是一种过渡方案。

第三代,则是原生分布式数据库。2019年,在信通院总结报告中明确表示,分布式数据库一定是未来方向。

一家银行数据库的六年攻坚战

“2021年前,分布式数据库市场是混沌的。”林春回忆道。

而最终选择OceanBase,林春总结了三方面原因:

一、数据压缩能力强。由于保险行业的数据、保险的周期很长,海量大库多,而OceanBase的数据压缩特性就对中国太保而言非常重要。

二、要能够兼容Oracle系统,并实现平滑迁移。过去十几年中,由于保险业务的复杂性,中国太保的保险业务与Oracle绑定程度很深,所以在进行数据库架构升级中,必须考虑能不能匹配Oracle的深度特性,能不能支持平滑迁移,而这一点对数据库厂商的挑战很大。

三、整体软硬件综合成本要低。为了寻求最终的效果做评判,中国太保集团先做了试点,然后在这个基础上,制定了选型路线,路线的核心重点就是成本。

“我们把综合的软硬件成本做了非常细致的计算。”林春说道,“通过综合测评,一般场景中,OceanBase非常适合,而在核心攻坚场景里,有的问题只有OceanBase能解决。”

不难看出,中国太保做数据库转型升级背后的核心原因,一是技术架构能力,二则是降本增效的需求。当然,于银行业而言,在数字化转型进程中,也同样面临着传统数据库架构不足以满足未来发展需求,且成本高昂的问题。

四川农商联合银行相关负责人也说道:“在进行分布式数据库架构转型前,我们使用了6种数据库,这就导致维护、人员技能,都必须依赖厂商,且每一个数据库都需要买一个原厂的支持服务,成本非常高。”

因此,统一数据库架构体系,实现技术的自主掌控,势在必行。金融行业的分布式数据架构体系,正从选择题成为必答题。

那么,金融数字化到底需要怎样的分布式数据库?

OceanBase副总裁、金融政企事业部总经理王爽认为,要立足当下,着眼未来,既要能够为客户做数据库兜底,实现自主掌控,还要保证技术路线是未来主流发展趋势。

分布式数据库发展路线已经是既定趋势,而在这趋势之下,只有100%根自研数据库才能成为金融需求兜底,才能确保完全的自主掌控。

“我们的代码是一行行写出来的,没有依赖于任何开源软件,代码是根自研,自建了研发环境和流程,自研编码优化技术,同时还没有开源协议风险。”王爽说道。

当前,分布式事务型数据库的实际应用价值和可行性已经得到验证,伴随技术验证的稳固,除了头部大型金融厂商外,越来越多的中小型金融机构,也都正在加速数据库架构的转型升级。而在此过程中,如何降本增效,则成为影响金融机构数据库转型升级的关键。

一个好的数据库,不仅增效,更可以降本

技术的创新和应用,在企业侧的目的都是降本增效,分布式数据库的诞生,也同样如此。

OceanBase的公司成立于2020年,但这款产品却于2010年敲下了第一行代码。彼时阿里每年在数据库上耗费大量的钱。

2013年的双十一,10%的流量数据架构支持转移至OceanBase上,“当年我们非常好的完成了这个任务,到第二年,我们把双十一底层数据库的支撑全部转移至OceanBase,一直到现在。”王爽说道。

而经历了内部众多核心业务场景打磨的OceanBase,降本增效也成为了其切入金融行业的核心竞争力。

“我们最初的目标就是节约成本,因为原本的方案太贵了。”四川农商联合银行相关负责人如此说道,“我们之前用的大型机,每年需要投入70%的成本,来确保大型机的安全,这也导致我们成本投入结构失衡。”

将数据库向OceanBase迁移后,由于多地多活架构的成功落地,四川农商联合银行的IT系统在可用性方面有了显著提升,在数据库层面可以实现同城RPO(恢复点目标)=0、RTO(恢复时间目标)<8s的自动无损容灾效果,相当于即使发生故障、机房进行切换,对比OceanBase2.x版本,切换影响降低 了四倍,以1000tps的系统为例,容灾切换将少影响客户交易2.4万笔,极大地提升了客户体验。

与此同时,新数据库运维方面也更加高效和方便,整体成本得到明显降低。OceanBase提供的运维工具OCP,极大提升了数据库的运维和管理效率。

此外,对于中国太保来说,由于业务系统场景的复杂性,对于数据压缩能力要求较高。

基于OceanBase的高压缩比的分布式存储引擎,在同一业务数据存储量下,能显著节约存储空间,降低存储成本。于数据量大、数据生命周期长的业务场景来说,可极大地满足业务需求。

因此,中国太保在核心系统上线后,数据库压缩比高达 8 倍,业务数据库容量瘦身 78%,数据库软硬件成本缩减 75%。

2024年1月,承载中国太保集团资金收付交易任务的资金交易系统上线,存储平均压缩至原来1/3。2024年5月,承载全产险的会计核算管理系统上线,应收结果统计模块计算效率提升2倍。

“不仅是金融行业,在通用行业中,如零售、支付、出行、物流、电商等,每个CTO的脑袋上都顶了‘降本’两个字。”杨冰坦言,在当年经济环境下,大家对降本增效的要求都很高。

目前,行业中对分布式数据库的认知,还停留在使用成本很高。

但王爽表示:“OceanBase越用越便宜,这是基于几十个OB用户的样本,得出了这样的结果。比如所有客户里存储空间的节约比例是70%,服务器资源节约可以达到85%,三年财务收益结果,ROI是投资回报率是218%,净现值2509万,平均每注册用户数据成本节约50%。”

一家银行数据库的六年攻坚战

一般来说,技术都会有一个从研发到应用普及的周期,在新技术应用前期,由于技术研发投入高,应用规模小,所以成本就高。但随着技术的大规模应用和普及,其研发成本不断被摊平,最终价格会越来越低。

分布式数据库也正在经历这样的一个过程。杨冰也坦言,从技术原理和实际特性中,OceanBase是规模越大越便宜,如果仅有两三台的需求,成本价格会与集中式数据库差不多,而当有几十台规模时,则有更大的优势。

国产数据库,生态体系亟待完善

“纯讲技术的话,从已经投产系统的批量响应来看,国产数据库已经完全不弱于海外的数据库,基本没差别。”但要真正赶上,四川农商联合银行相关负责人则认为,“哪天普通技术人员打个标准服务电话就能解决所有问题,那就成了。”

这其中的差别,是数据库生态体系的建设。即除了技术能力外,还包括服务体系、开源社区、培训体系等。

OceanBase也正在加速构建服务生态体系,但杨冰也坦言,“我们虽然已经投入3年时间打造生态体系,但相对于老牌厂商十几年的成熟体系来说,这个生态还不够。”

总体而言,国产数据库厂商正在完成新一轮的更迭,传统靠资源的项目制数据库厂商正在被逐步淘汰,而拥有更先进技术的分布式数据库、云数据库厂商已经成为主流的玩家。而生态的成熟,未来也只是时间问题。

路漫漫其修远兮,国产数据库更需要长期主义。

光锥智能
分享到朋友圈
收藏
收藏
评分

综合评分:

我的评分
Xinstall 15天会员特权
Xinstall是专业的数据分析服务商,帮企业追踪渠道安装来源、裂变拉新统计、广告流量指导等,广泛应用于广告效果统计、APP地推与CPS/CPA归属统计等方面。
20羽毛
立即兑换
一书一课30天会员体验卡
领30天VIP会员,110+门职场大课,250+本精读好书免费学!助你提升职场力!
20羽毛
立即兑换
顺丰同城急送全国通用20元优惠券
顺丰同城急送是顺丰推出的平均1小时送全城的即时快送服务,专业安全,准时送达!
30羽毛
立即兑换
光锥智能
光锥智能
发表文章52
前沿科技,数字经济。公众号:光锥智能(guangzhui-tech)
确认要消耗 羽毛购买
一家银行数据库的六年攻坚战吗?
考虑一下
很遗憾,羽毛不足
我知道了

我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求,为完善跟帖评论自律管理,为了保护用户创造的内容、维护开放、真实、专业的平台氛围,我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容,同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。


一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规,对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息,主要表现为:
    1)反对宪法所确定的基本原则;
    2)危害国家安全,泄露国家秘密,颠覆国家政权,破坏国家统一,损害国家荣誉和利益;
    3)侮辱、滥用英烈形象,歪曲、丑化、亵渎、否定英雄烈士事迹和精神,以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉;
    4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动;
    5)煽动民族仇恨、民族歧视,破坏民族团结;
    6)破坏国家宗教政策,宣扬邪教和封建迷信;
    7)散布谣言,扰乱社会秩序,破坏社会稳定;
    8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪;
    9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序;
    10)侮辱或者诽谤他人,侵害他人名誉、隐私和其他合法权益;
    11)通过网络以文字、图片、音视频等形式,对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的;
    12)危害未成年人身心健康的;
    13)含有法律、行政法规禁止的其他内容;


2. 不友善:不尊重用户及其所贡献内容的信息或行为。主要表现为:
    1)轻蔑:贬低、轻视他人及其劳动成果;
    2)诽谤:捏造、散布虚假事实,损害他人名誉;
    3)嘲讽:以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述,以此来激怒他人;
    4)挑衅:以不友好的方式激怒他人,意图使对方对自己的言论作出回应,蓄意制造事端;
    5)羞辱:贬低他人的能力、行为、生理或身份特征,让对方难堪;
    6)谩骂:以不文明的语言对他人进行负面评价;
    7)歧视:煽动人群歧视、地域歧视等,针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击;
    8)威胁:许诺以不良的后果来迫使他人服从自己的意志;


3. 发布垃圾广告信息:以推广曝光为目的,发布影响用户体验、扰乱本网站秩序的内容,或进行相关行为。主要表现为:
    1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式:
    2)单个帐号多次发布包含垃圾广告的内容;
    3)多个广告帐号互相配合发布、传播包含垃圾广告的内容;
    4)多次发布包含欺骗性外链的内容,如未注明的淘宝客链接、跳转网站等,诱骗用户点击链接
    5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光;
    6)购买或出售帐号之间虚假地互动,发布干扰网站秩序的推广内容及相关交易。
    7)发布包含欺骗性的恶意营销内容,如通过伪造经历、冒充他人等方式进行恶意营销;
    8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。


4. 色情低俗信息,主要表现为:
    1)包含自己或他人性经验的细节描述或露骨的感受描述;
    2)涉及色情段子、两性笑话的低俗内容;
    3)配图、头图中包含庸俗或挑逗性图片的内容;
    4)带有性暗示、性挑逗等易使人产生性联想;
    5)展现血腥、惊悚、残忍等致人身心不适;
    6)炒作绯闻、丑闻、劣迹等;
    7)宣扬低俗、庸俗、媚俗内容。


5. 不实信息,主要表现为:
    1)可能存在事实性错误或者造谣等内容;
    2)存在事实夸大、伪造虚假经历等误导他人的内容;
    3)伪造身份、冒充他人,通过头像、用户名等个人信息暗示自己具有特定身份,或与特定机构或个人存在关联。


6. 传播封建迷信,主要表现为:
    1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病;
    2)求推荐算命看相大师;
    3)针对具体风水等问题进行求助或咨询;
    4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失,包括通过占卜方法问婚姻、前程、运势,东西宠物丢了能不能找回、取名改名等;


7. 文章标题党,主要表现为:
    1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户;
    2)内容与标题之间存在严重不实或者原意扭曲;
    3)使用夸张标题,内容与标题严重不符的。


8.「饭圈」乱象行为,主要表现为:
    1)诱导未成年人应援集资、高额消费、投票打榜
    2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
    3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
    4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
    5)通过「蹭热点」、制造话题等形式干扰舆论,影响传播秩序


9. 其他危害行为或内容,主要表现为:
    1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的;
    2)不当评述自然灾害、重大事故等灾难的;
    3)美化、粉饰侵略战争行为的;
    4)法律、行政法规禁止,或可能对网络生态造成不良影响的其他内容。


二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时,本网站将依据相关用户违规情节严重程度,对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号,或者滥用多个帐号发布违规内容时,本网站将加重处罚。


三、申诉
随着平台管理经验的不断丰富,本网站出于维护本网站氛围和秩序的目的,将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议,可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)

我知道了
恭喜你~答对了
+5羽毛
下一次认真读哦
成功推荐给其他人
+ 10羽毛
评论成功且进入审核!审核通过后,您将获得10羽毛的奖励。分享本文章给好友阅读最高再得15羽毛~
(羽毛可至 "羽毛精选" 兑换礼品)
好友微信扫一扫
复制链接