(文中有惊喜)走进云时代的数据库

news/2024/2/28 1:38:36

数据技术嘉年华等你来

云时代的数据库






最近几年,随着云计算相关技术的发展,各种不同类型的云层出不穷,服务越来越多不同类型的企业业务,传统企业也渐渐开始探索上云的道路。在云上,作为业务最核心的数据库,相比之前的传统方案会有哪些变化呢?


那么云数据库主要有一些什么样的特点呢?

  • 弹性伸缩

传统的数据库方案,常见的会选用 Oracle,MySQL,PostgreSQL。在云时代,数据量的规模有爆发性的增长,传统的数据库很容易遇到单机的存储瓶颈,不得不选用一些集群方案,常见的比如 Oracle RAC、 MySQL Sharding 等,而这些集群方案或多或少都有一些不令人满意的地方。

比如说,Oracle RAC 通过共享存储的硬件方案解决集群问题,这种方式基本上只能通过停机换用更大的共享内存硬件来解决扩容问题,RAC 节点过多会带来更多的并发问题,同样也会带来更高的成本。

以 MySQL Sharding 为代表的数据分片方案,很多时候不得不提前对数据量进行规划,把扩容作为很重要的一个计划来做,从 DBA 到运维到测试到开发人员,很早之前就要做相关的准备工作,真正扩容的时候,为了保证数据安全,经常会选择停服务来保证没有新的数据写入,新的分片数据同步后还要做数据的一致性校验。当然业界大公司有足够雄厚的技术实力,可以采用更复杂的方案,将扩容停机时间尽量缩短(但是很难缩减到 0),但是对于大部分中小互联网公司和传统企业,依然无法避免较长时间的停服务。

在云时代,理想中所有的资源都是根据用户业务需求按需分配的,服务器资源,应用容器资源,当然也包括数据库资源。添加或者减少新的数据库资源,完全就像日常吃饭那样稀疏平常,甚至用户基本感知不到。比如作为一个电商用户,在双 11 促销活动之前,可以通过增加数据库节点的方式,扩大更多的资源池,用来部署相应的容器服务,当活动结束之后,再将多余的资源移除去支持其他的服务,这样可以极大地提高资源的利用率,同样可以弹性地支撑各种峰值业务。

  • 高可用

传统的 MySQL 方案,数据复制的时候默认采用异步的方式,对于一个写入的请求,主库写入成功后就会返回成功信息给客户端,但是这个时候数据可能还没有同步给从库,一旦主库这个时候挂掉了,启动从库的时候就会有丢失数据的风险。当然,也有人会选择半同步的复制方式,这种方式在正常情况下是同步的,但是在遇到数据压力比较大的时候,依然会退化为异步的方式,所以本质上来说,同样有丢失数据的风险。其他也有一些多主的同步方案,比如在应用层做数据同步,但是这种方式一是需要应用层的配合,二是在对网络超时的处理非常复杂,增加心智负担。

在云时代,因为所有的数据库资源都是分布式存储的,每个数据库节点出现问题都是很正常的事情,所以就必须有一种可以实现数据一致性的数据复制方式来保证服务的高可用,业界给出的答案就是:Paxos/Raft(关于 Paxos 和 Raft 的实现细节我们不在这里展开)。

同样,在云时代,数据库的 DDL 操作也会是一个非常有趣的事情。以一个常见的 Add Column 操作为例,在表规模已经很大的情况下,在传统的实现方案中,比较有参考意义的是,通过一些工具,创建类似表级别的触发器,将原表的数据同步到一个新的临时表中,当数据追平的时候,再进行一个锁表操作,将临时表命名为原表,这样一个 Add Column 操作就完成了。但是在云时代,分布式的数据存储方式决定了这种方案很难实现,因为每个数据库节点很难保证 Schema 状态变更的一致性,而且当数据规模增长到几十亿,几百亿甚至更多的时候,很短的阻塞时间都有可能会导致很大的负载压力变化,所以 DDL 操作必须是保证无阻塞的在线操作。值得欣慰的是,Google 的 F1 给我们提供了很好的实现参考,TiDB 即是根据 F1 的启发进行的研发,感兴趣的同学可以看下相关的内容。

  • 易用透明

我们可以将云数据库想象成一个提供无限大容量的数据库,传统数据库遇到单机数据存储瓶颈的问题将不复存在。已有的程序基本上不怎么需要修改已有的代码,就可以很自然地接入到云数据库中来获得无限 Scale 的能力。增减数据库节点,或者节点的故障恢复,对于应用层来说完全透明。另外,云数据库的监控、运维、部署、备份等等操作都可以在云端通过高效的自动化工具来自动完成,极大地降低了运维成本。

  • 多租户

云数据库本身应该是可以弹性伸缩的,所以很自然的,从资源利用率的角度来考虑,多个不同用户的数据库服务底层会跑在一个共享的云数据库中。因此多租户技术会成为云数据库的标配。

低成本

低成本应该是云时代基础设施最明显的特点。首先,云数据库的高可用和容错能力,使得我们不再需要昂贵的硬件设备,只需要普通的 X86 服务器就可以提供服务。然后,受益于 Docker 的虚拟化技术,使得不同类型的应用容器可以跑在同一个物理机上,这样可以极大地提高资源的利用率。其次,多租户的支持,使得不同的用户可以共用一套底层的数据库存储系统,在数据库层面再一次提高了资源的利用效率。再次,云数据库的自动化运维工具,降低了整个核心数据库的运维成本。最后,云数据库资源是按需分配的,用户完全可以根据自身的业务特点,选购合适的服务资源。

  • 高吞吐

云数据库虽然可以做到弹性扩容,但是本身是分布式存储的,虽然可以通过 Batch Write、Pipeline 和 Router Cache 等方式加快访问 SQL 请求的数据,但是相对传统单机的数据库来说,在数据访问链路上至少也要多走一次网络,所以大部分并发量不大的小数据量请求,都会比单机延迟要高一些。也就是说,当没有足够高的并发 SQL 访问的话,其实不能完全体现云数据库的性能优势,所以这也是我们在选用云数据库的时候需要认识到的问题,云数据库更多的是追求高吞吐,而不是低延迟。当并发大到一定规模,云数据库高吞吐特性就显现出来了,即使在很高的并发下,依然可以维持相当稳定的延迟,而不会像单机数据库那样,延迟线性增长。当然,延迟的问题,在合理的架构设计方案下,可以通过缓存的方式得到极大的缓解。

  • 数据安全

云数据库的物理服务器分布在多个机房,这就为跨数据库中心的数据安全提供了最基础的硬件支持。谈到金融业务,大家耳熟能详的可能就是两地三中心,比如北京有两个机房,上海有一个。未来一切服务都跑在云上,金融类的业务当然也不例外。相比其他业务,金融类业务对数据安全要求就要高得多。当然,每个公司内部都有核心的业务,所以如果上云的话,也会有同样的强烈需要。这样,对云数据库来说,数据的一致性、分布式事务、跨数据中心的数据安全等更高端的需求有可能会日益强烈。常见的数据备份也有可能会被其他新的模式所取代或者弱化,比如基于 Paxos/Raft 的多副本方案,本身就保证了会有多份备份。

  • 自动负载平衡

对于云数据库来说,负载平衡是一个很重要的问题,它直接决定了整个云数据库系统性能的好坏,如果一个数据库节点的数据访问过热的话,就需要考虑把数据迁移到其他的数据库节点来分担负载,不然就很容易出现性能瓶颈。整个负载平衡是一个动态的过程,调度算法需要保证资源配比的最大平衡,还有保证数据迁移的过程对系统整体的负载影响最小。这在未来也是云数据库需要解决的一个核心问题。



本届数据技术嘉年华活动,“云”也是一个分享的重点,这里,我们列出了部分嘉宾以及他们带来的主题,看看有您感兴趣的吗?(扫描任意二维码即可注册购票,99元的票务参会后全额退款)


主题

嘉宾

公司和职务

企业服务的新时代  

花磊

博云创始人,CEO

基于企业核心数据系统的PaaS云平台建设新进展

熊军

云和恩墨研发总经理

业务场景驱动,IaaS与PaaS融合成常态

王璞

优云数智CTO

开源云计算推动金融云创新实践 

周崇毅 

EasyStack副总裁 

企业容器化平台落地的二三事 

叶挺 

DaoCloud产品总监 

燃烧云的卡路里,在云端运行数据密集型工作负荷

董乃文

微软首席创新技术架构师

云时代的SQL Server及高可用技术解析邹建云和恩墨研究员

稳筑基石,云帆万里-数据技术的发展和平台创新  

盖国强

云和恩墨创始人

下一代企业级云数据库POLARDB架构设计

吕漫漪 

阿里云研究员

腾讯云自研分布式数据库—CynosDB 

胡彬 

腾讯云专家工程师

Oracle 18c 云时代下的架构与创新

侯圣文

恩墨学院院长




640?wx_fmt=jpeg


来自清华大学MBA,中科院软件所硕士、软件工程博士 花磊 先生,他是博云的创始人 CEO,曾在微软亚洲工程院长期任职,担任Office 365平台监管和数据挖掘模块的高级项目经理,设计并完成Office 365平台的第一版的服务器BI功能。花磊老师带来的主题是“企业服务的新时代”。


640?wx_fmt=jpeg


来自云和恩墨的 熊军 先生,他是云和恩墨软件产品研发部总经理,Oracle ACE总监,具备近20年的数据领域服务经验,面对云时代的挑战,熊军带领团队研发了基于底层分布式存储的zData数据库一体机,支持多数据库管理运行的PaaS平台 zCloud,这些产品正在帮助电信、金融等行业客户快速构建统一的数据库云平台,在本次大会他将和大家分享PaaS领域的新进展以及核心行业客户的实践案例。熊老师带来的主题是“基于企业核心数据系统的PaaS云平台建设新进展”。


640?wx_fmt=jpeg


来自EasyStack的 周崇毅 先生,他是 EasyStack 公司副总裁,曾任职于Oracle公司,担任中国区政府行业Exadata首席架构师、在HP公司担任中国北方区政府行业技术主管职位、在长天科技集团担任技术总监职位。周崇毅老师带来的主题是“开源云计算推动金融云创新实践”。


640?wx_fmt=png


来自优云数智的CTO 王璞 博士,美国 George Mason 大学计算机博士,北大计算机硕士,擅长分布式计算、大规模机器学习、海量数据处理,曾任 Google 广告部门数据平台构架师。王璞老师带来的主题是“业务场景驱动,IaaS与PaaS融合成常态”。


640?wx_fmt=jpeg


来自微软公司的首席创新技术架构师 董乃文 先生,他有20多年的计算机软件行业工作经验,积极推动云计算、大数据、人工智能等创新技术在制造业、零售业、新媒体、在线游戏等行业的技术推广与合作。作为标准化专家工作组成员参加多个云计算、大数据、SOA等国家技术标准的制定工作。曾任北京软件行业协会软件过程改进协会秘书处副秘书长等积极推动创新开发方法和技术的社区共享。董老师带来的主题是“燃烧云的卡路里,在云端运行数据密集型工作负荷”。


640?wx_fmt=jpeg


来自DaoCloud公司的产品总监 叶挺 先生,他对于企业应用上云有深入研究和丰富实践,擅长从业务场景寻找技术解决方案,致力于帮助企业落地金融级稳定的应用支持 PaaS 平台。叶老师带来的主题“企业容器化平台落地的二三事 ”。


640?wx_fmt=jpeg


阿里云研究员 吕漫漪 女士,她在数据库领域有近20年的从业经验。2018年加入阿里云,负责领导基于MySQL的云数据库开发。在此之前就职于Oracle,负责领导全球MySQL的 query processing团队,并曾在Sun的数据库核心部门任职产品经理和工程经理,吕老师带来的主题是下一代企业级云数据库POLARDB架构设计”。


640?wx_fmt=jpeg


胡彬,专家工程师,10年后台研发经验,从事数据库领域工作近5年。目前任职于腾讯云数据库团队,负责腾讯云TDSQL、PostgreSQL、SQLServer等多款数据库产品的研发工作。目前主导CynosDB的架构设计与研发。胡老师带来的主题是“腾讯云自研分布式数据库—CynosDB”


640?wx_fmt=jpeg


侯圣文,Oracle ACED,OCM联盟创始人,ACOUG核心讲师,曾任职于海关总署数据中心;国际航空运输协会(IATA)任数据架构师。现任云和恩墨培训业务中心总经理一职,致力推广Oracle技术。培训经验丰富,讲课富有激情和感染力,善于理论联系实践,擅长以通俗易懂、诙谐幽默的语言讲解枯燥深奥的数据库理论,作为OCM认证金牌讲师,目前培养OCM大师百余人,培训DBA千余人。侯老师带来的主题是“Oracle 18c 云时代下的架构与创新”。


640?wx_fmt=jpeg


邹建,资深数据库专家,精通各项 SQL Server 技术,具有丰富的管理、维护、优化能力以及业务应用经验。他一直热心于技术知识的分享、传播,持续活跃在 CSDN 和 MSDN 社区,曾多年蝉联 CSDN 论坛积分榜首。邹建还是 2004~2010、2013 年度 MVP (微软最有价值专家)获得者。著有《深入浅出 SQL Server 2005开发、管理与应用实例》《SQL Server 2000开发与管理应用实例》等畅销书。邹建老师带来的主题是“云时代的 SQL Server及高可用技术解析


640?wx_fmt=jpeg


盖国强,云和恩墨创始人,Oracle ACE总监,中国地区首位Oracle ACE和ACE总监,曾获评"中国首届杰出数据库工程师"奖,拥有近 20 年的数据库实施和顾问咨询经验,对于数据库性能优化及内部技术具有深入理解。著有《深入解析Oracle》、《循序渐进Oracle》等技术书籍。盖老师带来的主题是“稳筑基石,云帆万里-数据技术的发展和平台创新”。


本文参考链接:https://zhuanlan.zhihu.com/p/27008115(云时代数据库的核心特点)

数据技术嘉年华大礼包

在本届数据技术嘉年华大会上,您不仅可以获得行业技术大礼包,我们在现场为技术爱好者们准备了抽奖环节,主办方以及各大赞助伙伴为大家准备了多份精美大礼包,每个礼包中包含...


  • 青云——精美限量纪念T恤   

  • 云和恩墨——限量纪念电脑内胆包

  • PingCAP——健身斜跨帆布包 

  • 至顶网——精美玩偶   

  • 戴尔——马拉松纪念款折叠双肩包

  • 创业邦——2018年会价值588门票1张    

  • 容联——2018商务电脑手提包  

  • 易捷行云——运动款纪念双肩包   

  • 华章——2018珍藏版技术图书

  • 等等


支付宝“锦鲤”活动仅仅出现了一个“信小呆”,本届数据技术嘉年华现场将出现多个“信小呆”,以上只是礼包中部分奖品,小编已经迫不及待想要更多的人知道这个福利了,动动手指,转发出去,携身边技术爱好者一起来享用这场技术盛宴,最后“满载而归” 吧,[坏笑][坏笑]。


社团粉丝福利:本文下方评论点赞满10个的读者可以得到价值99元优惠券,小编会留言回复您优惠码,一分钱即可参会。


集赞截止时间:2018年11月15日。



点击“原文链接”注册购票哦,购票过程中有任何问题,可加小助手微信:Enmoedu05。


数据技术嘉年华等你来!




近期文章

删了库之后,不要着急跑路

一道面试题看数据库性能和安全的方方面面

Percona发布XtraBackup for MySQL 8.0

独立发布的Oracle严重CVE-2018-3110公告

Oracle宣布在云上正式上线 自治事务处理数据库

为什么看了那么多灾难,还是过不好备份这一关?640?wx_fmt=jpeg


http://www.ppmy.cn/news/122724.html

相关文章

CV:图像色彩空间及色彩处理

文章目录 基本概念RGB空间HSV空间HSL空间 色彩变换灰度变换色彩反向、调整像素区间增强对比度直方图均衡化 图像平滑/减少噪声图像平均高斯滤波 图像梯度sobel算子/scharr算子prewitt算子Laplacian 算子 参考及更多阅读 基本概念 RGB空间 RGB 是最基本、最常用、最接近硬件的…

匪夷所思:罕见的 Oracle 全局事务锁等待事件分析

数据技术嘉年华等你来 活动预告:11.16-17日,北京市东三环中路61号富力万丽酒店,相聚数据技术嘉年华,(99元票务)免费购票倒计时,点击查看大会详情。 杨长老带来主题“深入内核-Oracle双活架构和踩…

Linux精华内容

关注、星标公众号,不错过精彩内容 整理:黄工 素材来源:极客时间 1991年,一个名不见转的芬兰研究生购买了自己的PC机,并且决定开始开发自己的操作系统,最开始只是为了满足自己读写邮件和新闻的需求。 Linux就…

Seata 长事务解决方案 Saga 模式 | SOFAChannel#10 回顾

<SOFA:Channel/>&#xff0c;有趣实用的分布式架构频道。 本文根据 SOFAChannel#10 直播分享整理&#xff0c;主题&#xff1a;分布式事务 Seata 长事务解决方案 Saga 模式详解。 回顾视频以及 PPT 查看地址见文末。欢迎加入直播互动钉钉群&#xff1a;23372465&#xff…

2019 让自己变的更加优秀(文末新年福利)

回顾2018 时间真的很快&#xff0c;今天是新年第 2 天&#xff0c;在过去的一年中我的宝贝女儿诞生了&#xff0c;她带给我满满的喜悦&#xff1b;在过去的一年里我 2 年前买的房子按时交房&#xff0c;并于年底前装完&#xff1b;在过去的一年里 我完成了 40 多篇原创&#xf…

Service Mesh 通用数据平面 API(UDPA)最新进展深度介绍

在2019年5月&#xff0c;CNCF 筹建通用数据平面 API 工作组&#xff08;Universal Data Plane API Working Group / UDPA-WG)&#xff0c;以制定数据平面的标准 API。 当时我写了一个博客文章 “CNCF 正在筹建通用数据平面 API 工作组&#xff0c;以制定数据平面的标准 API” 对…

程序员的双肩包,大概能装下整个宇宙

音符动态简约分割线 小明的双肩包&#xff0c;几乎每年都要换一个。里面装着Thinkpad笔记本、电源、各种工具、线缆&#xff0c;还有纸笔等其他东西&#xff0c;沉得要命。我不止一次问过他&#xff0c;为什么每次都背这么全&#xff0c;又不是总能用上。小明说&#xff0c;以…

测试用例(双肩包、椅子、电梯)

双肩包 功能测试 存在几个隔层 是否有单独放电脑的内胆包 是否能在侧面放水杯 是否存在有外接的usb接口 双肩包使用场景&#xff08;商务风&#xff09;界面测试 颜色是什么颜色 外观是想要的风格 与所需大小是否一致 材质是否和需求的一样 外观与做的细不细致性能测试 最多能…

聊聊自己的高效学习法

之前在公号给大家推荐过许多极客时间的课程&#xff0c;没想到&#xff0c;转眼间&#xff0c;极客时间发布 2 周年了。 说真的&#xff0c;我在极客时间获益颇多。让我印象深刻的就是胡忠想的从《从0开始学微服务》课程&#xff0c;这是我第一次接触极客时间。在这套学到了很多…

云原生网络代理 MOSN 多协议机制解析 | SOFAChannel#13 直播整理

<SOFA:Channel/>&#xff0c;有趣实用的分布式架构频道。回顾视频以及 PPT 查看地址见文末。 欢迎加入直播互动钉钉群 : 21992058&#xff0c;不错过每场直播。 本文根据 SOFAChannel#13 直播分享整理&#xff0c;主题&#xff1a;云原生网络代理 MOSN 多协议机制解析。 …

数据智能知多少?(超大礼包等你拿)

数据技术嘉年华等你来 随着云计算的不断普及&#xff0c;云技术架构已经成为了IT基础建设领域的广泛现实&#xff0c;企业实践正在加速转向云模式。在云时代基础运维工作也面临严峻挑战&#xff0c;在很长时期内&#xff0c;运维一直处于人工的繁重基础工作状态&#xff0c;而最…

计算机高配置表格,过万的笔记本电脑高配置清单列表

想购买高配置的笔记本电脑&#xff0c;基本上我们要考虑的都是购买游戏本或者工作站机器&#xff0c;而您可以随便百度搜索工作站机器或者游戏本&#xff0c;它们的售价都高达过万元。所以&#xff0c;如果您预算足够&#xff0c;可以考虑购买这类型的电脑。 华为荣耀猎人游戏本…

苹果笔记本包_笔记本的这五种必备小配件?!

大家拿到自己心爱的本本之后&#xff0c;都会买些什么配件呢&#xff1f;来看看朋友们的分享吧~ 1.鼠标 很多人不习惯使用触控板&#xff0c;所以鼠标成了必须入手的小配件。使用鼠标的确比触控板来的更加方便快捷。 但是自从我入手mac后&#xff0c;鼠标是什么&#xff1f;不得…

学编程买什么电脑最好?

补充下背景&#xff0c;在编程界&#xff0c;编程设备-电脑&#xff0c;有两个世界&#xff0c;一个是普通世界&#xff0c;这个世界里&#xff0c;程序员写代码的电脑和大众玩游戏看电影上网做ppt的电脑一样&#xff0c;就是你手头的普通电脑&#xff0c;什么电脑都行。 另一…

笔记本计算机的清洁保养知识,笔记本电脑保养小知识

笔记本电脑保养小知识 想要延长笔记本电脑的使用寿命,那么就要好好保养笔记本电脑,下面小编为大家介绍关于笔记本电脑的保养小知识,欢迎大家阅读! 笔记本电脑保养小知识1 屏幕保护 长时间不使用电脑时,可透过键盘上的功能键暂时仅将液晶显示屏幕电源关闭,除了节省电力外亦…

学编程买什么电脑最好

发个电脑选购帖也能引战。 很多留言的都是鸡同鸭讲&#xff0c;一帮人认定买苹果笔记本就是装b&#xff0c;七八千点东西&#xff0c;不至于吧。 信息自由&#xff0c;骂人的留言不删除。反正不是我丢人 补充下背景&#xff0c;在编程界&#xff0c;编程设备-电脑&#xff0…

熟悉办公笔记本电脑

前言 初步了解计算机是每一个使用计算机人的基本常识&#xff0c;首先要先了解计算机内部主要的一些结构&#xff0c;本文会记录一些计算机中&#xff0c;重点关注的对象&#xff0c;比如CPU、硬盘、内存等 一、认识笔记本电脑 1、学习云计算需要什么样子的笔记本&#xff1f;…

开源!AREX接口自动化回归测试的全过程

AREX是一款开源的基于真实请求与数据的自动化回归测试平台&#xff08;项目地址&#xff1a;https://github.com/arextest&#xff09;&#xff0c;利用JavaAgent技术与比对技术&#xff0c;通过流量录制回放能力实现快速有效的回归测试。同时提供了接口测试、接口比对测试等丰…

苹果笔记本包_笔记本变脏了?是你这三招没做对吧!

我们每天要和笔记本电脑亲密接触无数次。 笔记本外壳长期暴露在外,也是最容易受到伤害的地方,不仅容易划伤,还容易留下污渍。苹果笔记本金属材质的机身,虽然表面光滑,易清理,但也需要注意保养,毕竟“毁容”对于苹果笔记本这种颜值派还是会产生很大的心理落差滴! 1、常…

熟悉笔记本电脑

目录 前言 一、认识笔记本电脑 1、学习云计算需要什么样子的笔记本&#xff1f; 2、云计算对CPU、内存、存储、为什么要这么高的要求&#xff1f; 3、学习云计算&#xff0c;需要什么样子的显卡&#xff1f; 4、学习云计算&#xff0c;能用性能好点的台式机吗 &#xff1…
最新文章