Greenplum

Greenplum。该公司成立于2003年,2006年推出了首款产品,其主营业务关注在数据仓库和商业智能方面,GreenplumDW/BI软件可以在虚拟化x86服务器上运行无分享(shared-nothing)的大规模并行处理(MPP)架构。

当前使用的OLTP程序中,用户访问一个中心数据库,如果采用SMP系统结构,它的效率要比采用MPP结构要快得多。而MPP系统在决策支持和数据挖掘方面显示了优势,可以这样说,如果操作相互之间没有什么关系,处理单元之间需要进行的通信比较少,那采用MPP系统就要好,相反就不合适了。

公司规模

Greenplum是一家总部位于加利福尼亚州,为全球大型企业用户提供新型企业级数据仓库(EDW)、企业级数据云(EDC)和商务智能(BI)提供解决方案和咨询服务的公司,在全球已有:纳斯达克股票交易所纽约证券交易所,Skype.FOX,T-Mobile;中国已有:中信银行中国东方航空集团有限公司,阿里巴巴,华泰保险,中国远洋海运集团有限公司(中远海运),李宁体育用品有限公司等大型企业用户选择Greenplum的产品。

MPP系统

Greenplum的架构采用了MPP(大规模并行处理)。在MPP系统中,每个SMP节点也可以运行自己的操作系统、数据库等。换言之,每个节点内的CPU不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的,这个过程一般称为数据重分配(DataRedistribution)。与传统的SMP架构明显不同,通常情况下,MPP系统因为要在不同处理单元之间传送信息,所以它的效率要比SMP要差一点,但是这也不是绝对的,因为MPP系统不共享资源,因此对它而言,资源比SMP要多,当需要处理的事务达到一定规模时,MPP的效率要比SMP好。这就是看通信时间占用计算时间的比例而定,如果通信时间比较多,那MPP系统就不占优势了,相反,如果通信时间比较少,那MPP系统可以充分发挥资源的优势,达到高效率。

名字来源

Greenplum的大中华区总裁StanleyChen告诉我们:“Greenplum这个名字是一个7岁小女孩无意中脱口而出的。”起初几个创始人在斟酌公司名字的时候都很没头绪,于是他们去问了朋友的孩子,一个年仅7岁的可爱小姑娘告诉他们叫“Apple”,但是爸爸告诉她,这个名字已经被别人用了,还有其他的么?很快孩子便随口说了“Greenplum”,于是“Greenplum”公司的名字就这样诞生了。

数据量

依照需求,快速简便的建立任意大小和种类的数据仓库

使用业界的标准硬件,扩充符合成本效益

查询能力

相比于传统查询,可以以10倍到100倍的超快速度得到答案

随着您的数据增长确保高性能的分析效率

数据处理

一个平台可以支持数据查询,机器学习,文本挖掘,统计计算等

使用业界标准的语言(SQL,MapReduce,R),在各个数据层级进行并行分析

Greenplum数据引擎的技术突破在于使用群集(Cluster)业界标准的硬件,可以对于从

TB量级到PB量级的数据进行分组,存储和分析,因为Greenplum数据引擎在处理数据的时候尽可能接近的数据源,快速的并行处理,如此的技术可以提供超级大量的数据处理和无与伦比的导入和查询性能。同时Greenplum数据引擎可以很容易依照需求,增加存储容量和处理能力,避免代价高昂的设备升级。

Greenplum数据库是业界最快和最高性价比的高端数据仓库解决方案。用户将可以对于大量的数据运行复杂的分析,通常用传统的解决办法需要几天的运算,实际上只需几秒钟就可以完成。

Greenplum数据引擎-世界上最强大的分析数据库

Greenplum数据引擎是为了支持新一代数据仓库和分析处理大规模数据而建立的软件解决方案。Greenplum支持SQL和MapReduce的并行处理功能,并能以较低的成本向管;理TB量到PB量级数据的企业提供业界领先的性能。

发展历程

2006年,Sun与Greenplum联手打造即时数据仓库

2008年,Greenplum进军中国市场

2010年,Greenplum中国首届电信行业产品推广会开幕

2010年,Dell EMC收购Greenplum

2012年,Greenplum大数据分析工具亮相EMCWorld

2012年,EMC、威睿和Greenplum又联手建新公司

2016年,PivotalGreenplum4.3.9.0正式发布

2016年,PivotalGreenplum数据库4.3.10.0引入了S3可写表,开启了Greenplum对亚马逊S3的全面读写支持。用户可以非常方便地在亚马逊云平台上使用到Greenplum大数据服务,并且可以快速读写存储在S3上的数据。

近日,Pivotal又刚刚宣布了Greenplum数据库对微软Azure云平台的支持,用户可以在微软Azure云平台上方便地使用到Greenplum提供的各项专业高效的大数据服务。

2016年11月,新版GPCC3.0发布,给用户提供了一个更好的管理Greenplum数据库的工具。管理员可以通过GPCC查询系统的性能指标,查看当前在系统中运行的查询,监控资源使用情况,并且方便问题诊断和报告。GPCC3.0彻底抛弃了过时的Flash技术,使用了对浏览器更加友好和安全的html5方案。采用响应式布局设计,增强了与图表间的交互式操作。

公司文化

目标宗旨

公司专注于OLAP系统数据引擎开发,有世界级的研发团队进行高性能计算和数据库系统的前沿开发工作,宗旨是向客户提供高性能的超级数据引擎,并将强大的并行计算能力融入到大规模数据仓库分析领域中。公司具有发展趋势超前的视野和洞察力,为全球很多最大规模的数据仓库提供推动力;公司最先将SQL和MapReduce的功能整合到统一的数据处理框架中。

Greenplum中国公司拥有一支具备丰富行业经验的销售和技术团队,具备金融、电信、政府、互联网等等行业的数据仓库项目行业经验,专注于推动Greenplum在数据仓库分析领域的应用,为客户实现投资回报、价值增长。

公司业务

中国运营

Greenplum于2008年12月进入中国市场,经过一年多的开拓,2010年1月1日Greenplum正式宣布在中国独立运营,并任命StanleyChen先生为Greenplum大中华区总裁职务,StanleyChen先生在IT行业从业25年以上,曾在甲骨文公司工作16年担任亚太区副总裁。StanleyChen总裁将管理和运营Greenplum在大中华区的业务,Greenplum公司将为大中华区的企业级用户提供世界领先的数据仓库解决方案和服务。Greenplum在中国迅速而高效的适应能力已经彰显了其卓越的实力,宣布在中国的独立运营展示了Greenplum对中国市场的信心,也体现了Greenplum描绘中国市场宏伟蓝图的决心,也预示着新一代超级数据引擎Greenplum在中国市场的无限前景。

2010年7月Dell EMC收购Greenplum,2010年4月Greenplum借助EMC中国卓越研发集团进入中国,组建Greenplum研发并稳步成长,覆盖了Chorus,Greenplum和Hadoop等多个产品研发。2014年4月,伴随着全球Pivotal公司的组建,冯雷(RayFeng,时任EMC中国卓越研发集团Greenplum部门经理)在范承工博士和Greenplum创始人ScottYara的支持下组建了Pivotal中国研发中心。Greenplum作为Pivotal的核心大数据产品,有着一支技术实力很强的团队。Greenplum中国研发团队占全球研发团队的一半以上,在研发总监姚延栋,产品经理高小明的带领下,专注于Greenplum分布式数据库内核开发。此外中国研发团队还独立负责GPText(文本检索)和GPCC(Greenplum数据库监控管理)两个产品的全部研发工作。Greenplum中国研发团队将敏捷软件开发方法学引入到分布式数据库的开发中,通过使用站立会议、回顾会议、结对编程、持续集成、测试驱动、单周迭代等敏捷方法建立了高效的快速反馈系统,大大提高了产品的质量和客户的满意度。Greenplum中国研发团队开放、协作、创新的文化吸引了大量来自于清华、北大、中科院、人大、北京航空航天大学等国内知名院校的人才,是分布式数据库研发领域的知名团队。

Greenplum于2015年10月开源,开源社区在中国有很高的知名度。在2014年,为了筹备Greenplum开源后中国生态的建设和商业开发,冯雷聘请了陆公瑜加入Pivotal。陆公瑜先生就读于英国约克大学,并曾担任过IBM云计算资深研发经理。在Greenplum中国产品领导团队的带领下,Greenplum/Pivotal越来越多的企业和开发者正在加入,阿里巴巴,易观等国内知名企业纷纷使用或提供Greenplum开源服务。

2016年,Pivotal中国研发中心总经理冯雷和Pivotal全球设施团队一起为Greenplum中国研发团队打造了一个全新的办公场所,新办公室位于北京融科资讯中心B座,设施先进,科技创新氛围浓厚,体现了Pivotal的企业文化和创新精神。

数据存储

当今是个数据不断膨胀的时代,采取MPP架构的数据库系统可以对海量数据进行管理。

Greenplum支持50PB(1PB=1024TB)级海量数据的存储和处理,Greenplum将来自不同源系统的、不同部门、不同平台的数据集成到数据库中集中存放,并且存放详尽历史的数据轨迹,业务用户不用再面对一个又一个信息孤岛,也不再困惑于不同版本数据导致的偏差,同时对于IT人员也降低管理维护工作的复杂度。

高并发

随着商业智能在企业内的快速发展,BI用户对信息分析平台的访问频率和查询复杂度也快速提升,因此要求相应的数据库系统对高并发查询进行支持。Greenplum利用强大并行处理能力提供并发支持。

Greenplum提供资源管理功能(workloadmanagemnt)来管理数据库资源,利用资源队列管理可实现按用户组的进行资源分配,如Session同时激活数、最大资源值等。通过资源管理功能,可以按用户级别进行资源分配和管理用户SQL查询优先级别,同时也能防止低质量SQL(如没有条件的多表join等)对系统资源的消耗。

线性扩展

Greenplum与其他分布式大数据产品如YonghongZ-DataMart一样采用了通用的MPP并行处理架构,在MPP架构中增加节点就可以线性提高系统的存储容量和处理能力。Greenplum在扩展节点时操作简单,在很短时间内就能完成数据的重新分布。

Greenplum线性扩展支持为数据分析系统将来的拓展给予了技术上的保障,用户可根据实施需要进行容量和性能的扩展。

高性价比

Greenplum数据库软件系统节点基于业界各种开放式硬件平台,如SUN/HP/戴尔股份有限公司等厂商的PCServer等,在普通的x86Server上就能达到很高的性能,因此性价比很高,相比于其他封闭式数据仓库专用系统,Greenplum每TB的投资是前者的1/5甚至更低。同样,Greenplum产品的维护成本相比同类厂商也低许多。

反应速度

我们面对的是一个瞬息变化的市场,谁能首先感知到市场的需求和变化,就能在竞争中先行一步,获得主动权,在竞争中立于不败之地。

Greenplum通过准实时、实时的数据加载方式,实现数据仓库的实时更新,进而实现动态数据仓库(ADW)。基于动态数据仓库,业务用户能对当前业务数据进行BI实时分析-“JustInTimeBI”,能够让企业敏锐感知市场的变化,加快决策支持反应速度。

高可用性

Greenplum是高可用的系统,在已有案例中最多使用了96台机器的集群MPP环境。除了硬件级的Raid技术外,Greenplum还提供数据库层Mirror机制保护,即每个节点数据在另外的节点中同步镜像,单个节点的错误不影响整个系统的使用。

对于主节点,Greenplum提供Master/Standby机制进行主节点容错,当主节点发生错误时,可以切换到Standby节点继续服务。

系统易用

Greenplum产品是基于流行的PostgreSQL之上开发,几乎所有的PostgreSQL客户端工具及PostgreSQL应用都能运行在Greenplum平台上,在Internet上有着丰富的PostgreSQL资源供用户参考。

最新进展

Greenplum被Dell EMC公司收购,将其整合到EMC云计算战略中。

参考资料

Sun与Greenplum联手打造即时数据仓库.搜狐IT.2016-08-30

国外数据引擎Greenplum进军中国市场.网易科技.2016-08-30

Green plum中国首届电信行业产品推广会将开幕.搜狐IT.2016-12-17

HybridDB正式上线 支持Greenplum大数据服务.环球网.2016-12-15

友情链接