华为云鲲鹏大数据容器解决方案 助力企业智能化转型升级

2019-11-01      

伴随着信息量的指数级增长,大数据面临着算力吃紧、存储资源告急、数据处理效率无法满足业务增长诉求等一系列问题,直到近年来兴起的容器技术的出现,才得以有效解决此类问题。

据悉,容器技术以其易迁移、扩容快、轻量化等优势,结合计算存储分离的分布式架构,可以更好地发挥大数据平台在高并发、实时分析、海量数据集等应用场景下的优势。诸如保险、电力、零售、互联网、汽车、等行业,通过这种方式能够制定更贴近用户的商业策略、服务方案,并进行精准推送。

随着5G+云+AI时代来临,数据变得更复杂、更多、更精细化,大数据对企业的发展越来越重要。而行业所面临的则是如何用一种更实用、更高效的解决方案,处理爆炸式增长的数据。对此,各大公司也进行了新一轮的技术探讨。

 

伴随着容器技术的成熟及在各行业的深入应用,部分企业也着手于平台的容器化改造,希望结合容器的优势,为大数据平台赋予新的力量。截止目前,存算分离的方案相对较为成熟以Spark为例,其大致可分为Spark On Kubernetes和Spark Standalone两种方案。

Spark On Kubernetes集群方案,该方案使用Kubernetes替代Yarn来进行统一的资源编排和调度,通过相关技术可以进一步提升资源管理效率,优化了资源分配,同时也实现了对容器资源的动态管理。

另一种Spark Standalone方案得益于容器任务隔离、细粒度、轻量化的算力管理等特点,可以将主机划分成更多小颗粒的任务单元,充分利用了主机资源。但该方案无法对容器进行动态管理,尽管资源利用率有所提升,但仍存在浪费现象。

然而,Kubernetes不属于Hadoop生态组件,与传统Spark on YARN相比存在着性能较差、缺少任务队列、external shuffle service等特性,同样也不好解决企业的问题。基于此,华为云推出鲲鹏大数据容器解决方案,能很好地解决这个问题。

据了解,华为云鲲鹏大数据容器解决方案能提供一套更完善的容器化大数据解决方案。该方案以支持原生多协议的OBS对象存储服务为统一的存储数据湖,可以无限弹性扩容的鲲鹏算力作为计算资源,提供“极致弹性、极致高效、存算分离”的全新公有云大数据解决方案,能有效应对当前大数据行业存在的瓶颈,大幅提升了大数据集群的资源利用率,助力企业智能转型升级。未来,华为云也同样会将更多的技术融入到该方案中,致力为企业带来更好的服务。

免责声明:1.本网站所转载的文章资料、图片、图表、数据等仅供参考使用,所刊登的转载信息均来源于第三方,和本网站无任何关系。如有侵权,请及时联系电玩城,本网站将及时删除相关信息,相关侵权责任由信息来源第三方承担。2.本网站仅对自身享有版权的发布信息的真实性、合法性、准确性作保证。由其他用户自行发布的信息内容的真实性、合法性、准确性,访问者请自行确认并承担使用或传播该信息所造成的一切后果。同时本网站不承担除本网站以外其他用户自行发布的信息所造成的相关后果,发布信息的其他用户需自行独立承担相应责任,同时本网站保留因此给本网站造成不利后果的追责权。3.凡以任何方式直接或间接使用本网站信息者,视为自愿接受本网站声明的约束。