新一代数据库技术在双11中的黑科技

  • 时间:
  • 浏览:0
  • 来源:大发彩神排列五_大发神彩排列五官方

变慢:高性能数据库、高性能存储;

CloudDBA在今年双11也做了其他探索,通过对全量SQL以及监控数据的分析,没如此人歌词 歌词 实现了SQL自动优化(慢SQL调优)、空间优化(无用表无用索引分析)、访问模型优化(SQL和KV)和存储空间增长预测等功能。



阿里拥有业界最宽裕经验的DBA,海量的性能诊断数据。没如此人歌词 歌词 的目标是把阿里DBA的经验、大数据和机器智能技术结合起来,目标是三年后不再时要DBA做数据库诊断、优化等工作,也不让机器来完成数据库的智能化管理。没如此人歌词 歌词 认为自诊断、自优化、自运维是未来数据库技术发展的重要方向。



双11数据库混布技术





X-DB核心技术之三:异步化提交,数据库系统程序池在提交一定会等待时间,为了最大程度提升性能,没如此人歌词 歌词 采用了异步化提交技术,最大将会保证数据库系统程序池都也能高效工作。通过什么技术保证X-DB在三节点模式下的高吞吐量。

本文由云栖社区志愿者小组云迹九州架构设计 ,王殿进校审,编辑:刁云怡。

同城跨AZ部署替代传统主备模式,没如此人歌词 歌词 把那我主备模式变成三节点,处理跨AZ数据质量间题图片和高可用间题图片。跨AZ数据强一致,单AZ不可用数据零丢失、单AZ不可用秒级切换、切换自封闭,无第三方组件。相对主备模式零成本增加。

数据库存储计算分离架构如图,包括存储层、网络层和计算层,存储使用阿里自研分布式存储系统-盘古,数据库计算节点则部署在阿里自研容器(Pouch)中,除此以外,还有存储管控系统。

阿里的业务场景对于数据库有很高的要求:

数据库在双11中的黑科技

2.         怎么能能降低虚拟化带来的性能损耗?

X-KV是基于MySQL Memcached plugin的增强,今年没如此人歌词 歌词 做了大幅度的改进,支持更多数据类型,支持非唯一索引、组合索引,支持Multi get 功能,支持Online Schema change,最大变化是通过TDDL支持SQL转换。对于业务方,X-KV优势是超高读取性能,数据强一致;减少应用响应时间,降低成本;一起支持SQL,应用都也能透明迁移。

数据库上云

数据库上云面临以下几只难点:

X-DB核心技术之一:高性能Paxos基础库X-Paxos是实现三节点能力的核心,可实现跨AZ、Region的数据强一致能力,实现六个9以上的持续可用率。

1.         数据库怎么能能上云,并快速构建混合云?





《2017阿里巴巴双11技术十二讲》完整版讲师直播回顾&资料下载,请点击进入:

更高:更高交易创建峰值;

X-DB架构图





在数据库方面没如此人歌词 歌词 也做了多量优化,最重要的是降低网络吞吐,以此来降低网络延迟对于数据库性能的影响。比如:redo sync优化,吞吐提升30%;将会盘古存储支持原子写,也不没如此人歌词 歌词 关闭Double Write Buffer,高压力下吞吐提升20%,强度节省30%。



数据库怎么能能实现极致弹性能力

X-DB核心技术之二:Batching & Pipelining。X-DB在事务提交时,时要保证日志在数据库节点的多数派收到并提交,这是保证数据强一致基础,将会事务在提交时时要时要跨网络,你这个 定会原应延时增加,要保证高延时下的吞吐是非常困难的。Batching & Pipelining技术保证尽将会批量提交,数据都也能乱序接收和确认,最终保证日志顺序提交。都也能在高延时的具体情况下,保持很高的吞吐能力。

HiTSDB是阿里自研的时序数据库,通过实时计算引擎将秒级性能数据、全量SQL运行具体情况进行预先处理后,存储在HiTSDB中。通过第三代架构,实现了双11高峰不降低的秒级监控能力,这对没如此人歌词 歌词 了解系统运行具体情况、诊断间题图片是非常有帮助的。



2.         多样化的聚合逻辑:地域、机房、单元、业务集群、数据库主备等多维度数据聚合;

更智能:CloudDBA发挥更大价值。



X-DBMySQL Group Replication的对比测试

ESDB是基于ES打造的分布式文档数据库,没如此人歌词 歌词 在ES的基础上,支持了SQL接口,应用都也能从MySQL无缝迁移到ESDB;针对大卖家,提供动态二级散列功能,处理大卖家同步的性能瓶颈。一起还做了多量的性能优化和限流保护等功能。

https://yq.aliyun.com/articles/230798

必须上云是远远过低的,时要进行离在线混布。而数据库实现弹性调度的两大基础条件是容器化和计算存储分离。容器性能时要与物理机持平,存储计算分离依赖于硬件的发展,25G网络和高性能分布式存储盘古让其成为将会。

阿里最早是商业数据库,但会 没如此人歌词 歌词 做去IOE,研发出阿里MySQL分支AliSQL和分布式上边件TDDL。2016年,没如此人歌词 歌词 结束了了英语 思考新一代数据库技术X-DB,X代表追求极限性能,挑战无限将会的含义。



CloudDBA在双11中的应用



没如此人歌词 歌词 与Oracle官方的Group Replication作对比。在三节点同IDC部署模式下,sysbench标准化测试。Insert场景,没如此人歌词 歌词 都也能做到MySQL官方的2.4倍,响应时间比官方低。

3.         公有云环境和内部管理网络的互通间题图片。



展望明年双11HigherFasterSmarter



4.         计算资源:占用尽将会少的资源进行架构设计 和计算。

交易卖家库的性能瓶颈处理方案

为了实现存储和计算分离,没如此人歌词 歌词 在存储上做了其他工作,包括:

3.         实时性要求高:监控盯屏时要立即就看上一秒的监控数值;

容器化和存储计算分离,使得数据库无具体情况化,具备调度能力。在双11高峰,通过将共享存储挂载到不同的计算集群(离线集群),实现数据库的快速弹性。

经过几年的探索,什么难点都已得到处理。第一,高性能ECS都也能和物理机性能一样,主要使用了SPDK、DPDK技术和NVMe存储,让虚拟化损耗非常小,接近物理机;第二,数据库弹性混合云间题图片得到处理,都也能一起管理云上和云下环境,用户都也能在双11前把混合云构建起来,支撑双十一峰值。

数据库弹性调度



阿里新一代数据库技术

在三节点三地部署模式下,sysbench标准化测试。Insert场景,X-DB(5.04万)性能优势有点明显,是MySQL GR(0.840万 )的5.94倍,响应延时X-DB(58ms)是MySQL GR(30ms)的38%。

张瑞:阿里巴巴研究员,阿里集团数据库技术团队负责人,经历阿里数据库技术变革历程,连续六年作为数据库总负责人参与双11备战工作。

X-DB架构如图,引入Paxos分布式一致性协议处理间题图片;可异地部署,并非 网络延时增加,但也能保持高性能(吞吐),在同城三节点部署模式下,性能与单机持平,一起具备网络抖动的高容忍性。

数据库监控系统演进

X-KV在双11中的应用

整个链路经历三代架构:第一代,Agent + MySQL;第二代,Agent + datahub + 分布式NoSQL;第三代,Agent + 实时计算引擎 + HiTSDB。

跨Region部署,用更底层的数据库技术处理异地多活间题图片,三地六副本(主备模式)降低为三地四副本(三地五节点四数据),对于业务来说,都也能享受跨Region数据强一致,单个Region不可用零数据丢失;跨Region强同步下依然保持高性能;切换策略灵活,都也能优先切换同Region,也可定制跨Region切换顺序。

典型应用场景

双11是一场技术大练兵,是互联网界的超级工程。时要做到支撑尽将会高的零点峰值,给用户最好的体验;也要做到成本尽将会低,要求极致的弹性能力;时要做到整体系统的稳定。

12月13-14日,由云栖社区与阿里巴巴技术学好一起主办的《2017阿里巴巴双11技术十二讲》顺利结束了了英语 ,集中为没如此人歌词 歌词 分享了2017双11手中的黑科技。本文是《新一代数据库技术在双11中的应用》演讲架构设计 ,本文主要从数据库上云和弹性调度结束了了英语 谈起,重点分享了新一代数据库以及其在双11中的应用,包括X-DB、X-KV和ESDB等。内容如下。

TDDL for X-KV优化如下:

1.         海量数据:平均每秒处理40万 项监控指标,峰值140万 ;

但会 ,定义新一代数据库就要中有 几只重要特点:具备数据强一致、全球部署能力;内置分布式、高性能、高可用能力;具备自动数据生命周期管理能力。

数据库实现弹性是比较难的,数据库对性能要求非常高,但会 ,时要实现数据库上云,但会 怎么能能上云呢?



随着双11交易量增长,近两年交易卖家库的同步延时一个劲比较大,原应商户必须及时处理双11订单;且卖家库有多量多样化的查询,性能差。没如此人歌词 歌词 那我通过为大卖家设置独立队列、同步链路合并操作和卖家库限流等进行优化,但仍然如此完整版处理间题图片。

数据库秒级监控的技术挑战有也不,具体有以下四点:

分享嘉宾: