腾讯披露大数据平台技术演进历程：14次升级 每日数据计算量超30万亿

【云库科技】11月6日信息，在Techo开发人员交流会上，腾讯云高级副总裁、腾讯数据服务平台部经理蒋杰宣布对外开放公布腾讯大数据平台10年技术性演变过程。

腾讯云高级副总裁、腾讯数据服务平台部经理蒋杰

蒋杰强调，历经10年的累积，腾讯大数据平台的算率資源池现阶段现有超出20万辆的经营规模，每日即时数据测算量超出30万亿元条。而且每日数据连接总数达35万亿元条数据。除此之外，腾讯云的分布式系统设备学习平台，能支撑点1万亿元层面的数据训炼。

据悉，能支撑点这般规模性数据的连接和与运算，是腾讯在大数据技术性行业超出10年的累积，其关键的大数据平台早已进行了三次迭代更新。从以Hadoop为关键的线下测算时期到以Spark、Storm、Flink为关键的即时测算时期，再到现如今的深度学习和深度神经网络时期，腾讯不断发展产品研发了分布式系统的深度学习模块Angel，及其一站式AI软件开发平台智能化钛TI，用于处理数据训炼和优化算法的难题。

2015今年初，腾讯刚开始自研性能的分布式系统设备学习平台Angel，选用PS构架，能适用10亿层面。现阶段Angel发展趋势到3.0版本号，能适用万亿元层面，还可以适配Spark、PyTorch、TensorFlow等绿色生态，进一步减少了应用门坎。除此之外，Angel2019年还增加了对深度神经网络、图测算等的适用。

现阶段，腾讯已经科学研究以批流结合、ABC结合、及其数据湖和联邦政府学习培训为方位的下一代大数据平台的科学研究,该服务平台将具有混和布署、跨域数据共享资源和边缘计算等工作能力。

技术性迭代更新持续加快，公司基本建设大数据平台和设备学习平台，不但成本费昂贵，并且欠缺相对的复合型人才，遭遇诸多难题。       

现阶段，腾讯早已把互联网、储存、数据库等IaaS工作能力，大数据、深度学习等PaaS的工作能力，及其顶层的图象、视频语音、NLP、BI等SaaS工作能力，根据腾讯云扩大开放。在大数据和AI2个行业，腾讯发布了以TBDS和智能化钛TI为先的双引擎。让每一公司，不用技术专业的大数据和AI精英团队，也可以方便快捷用起领跑的大数据和AI的工作能力。

此外，腾讯也根据开源系统和众多开发人员共享资源科技成果。从2014刚开始，将第一代服务平台的关键，腾讯版的Hive开展了开源系统，2017年，也是把第三代服务平台的关键Angel开源系统。2019年，腾讯加速了开源系统的步伐，在內部拉开源协作的发展战略促进下，腾讯全部的技术性栈，事后会愈来愈对外开放。

本次在Techo交流会当场，腾讯公布宣布开源系统资源优化配置服务平台关键TKE和分布式系统数据库TBase。两月前，腾讯在ApacheCon 2019上，朝向全世界开发人员正式发布开源系统本身关键服务平台——即时数据收集服务平台TubeMQ，并捐赠给Apache小区。