市面上很多大数据框架,为什么要自研大数据平台

  • 时间:
  • 浏览:1
  • 来源:大发彩神排列五_大发神彩排列五官方

林伟

第三,什么都我做到用户精细控制数据访问控制,从而做到最大程度保护用户数据,一块儿又还需用灵活分享发布此人 的数据来让服务商来根据哪几个数据去创造更好用户服务。在你这个系统上,大伙儿还打造数加等多款数据加工平台,提供智能推荐,智能语音,图像视屏处置,机器学习,数据流控制,监控,数据发现,任务调度等等,从而并能帮助用户更好的去处置他的数据

第二,开源系统这个也需用完善,在规模上,性能上,功能上,大伙儿结构对于大数据计算其他更高的要求,大伙儿希望通过你这个更好需求下去推动系统的提高,有随后开源还欠缺其他配套组件,比如数据仓库,数据质量管理,部署,监控。什么都大伙儿希望大伙儿并能完善哪几个,从而提供更完整性的服务体验,什么都从你这个深度图上,MaxCompute提供更像bigquery是一一个 开放共享(区别于用虚拟器加开源的软件包)计算服务平台,当然大伙儿也努力把大伙儿的工作比如optimization等回馈社区,有随后从api接口上去兼容社区,从而帮助大伙儿用户更加好的来使用大伙儿的服务

林伟

有以下考虑:第一,大伙儿有众多的开源的大数据框架,比如hadoop,spark,storm,大伙儿基本上是在虚拟集群中去部署运用的,哪几个计算框架较少考虑多租户的使用场景,需用依赖虚拟机去做各种资源的隔离和共享,有随后你这个最好的措施对于计算任务太重有随后粒度欠缺小和灵活,对于阿里结构这个那末大体量的计算任务来说,从成本,性能,和规模上都达后能 目标,这是为哪几个各个大公司结构完整性也有一一个 自研的大数据平台,比如Azure, Google

林伟

感谢您的提问。 的确现在有什么都开源的软件,阿里第一天处置大数据时也是使用的Hadoop,当时阿里Hadoop集群服务器数量超过了10000台。随着集团数据业务的增长,10000台无法满足数据处置的需用了,再向上扩展机器的完后 ,Hadoop肯能无法支持跨机房数据存储和计算的需求。 一块儿阿里在使用Hadoop的完后 ,也遇到了其他问提,像数据安全,今天MaxCompute的权限还需用做到字段级授权。在日常数据业务中,不同的用户也需用流计算、机器学习算法,哪几个作业都需用混合运行在同一一个 集群中。 如何为作业合理的分配资源、进行作业管理,也是在Hadoop时代无法很好的实现的。大伙儿吸收了开源软件的优点,一块儿结合比较复杂的数据业务,在你这个情况下 MaxCompute诞生了。MaxCompute是阿里的攻城獅们使用C++代码一行一行写出来的,性能要比开源的软件高什么都。 去年MaxCompute参加了Sort bench mark 大赛,用377秒完成1000TB数据的排序,以优异的成绩获取了第一名,而第二名用了1378秒。。

liu_andy