028-85024766

工作日 09:00-18:00(周末至17:30)

现代数据栈构建要选对路,才能上“高速”

强川科技 成都华为视频会议 2023-03-10 16:02 12

现代数据栈构建要选对路,才能上“高速”

IDC调研显示,大数据分析已在数字化转型战略中成为第一要务。今年1月发布的《大数据技术前瞻》中更指出:超大规模数据如何组织和管理、数据量指数级增长时效性差、数据如何打破多源异构造成的隔阂、从单域走向跨域数据融合、数据治理质量评估等仍是制约大数据发展的瓶颈。当前,湖仓一体是最佳解决方案。

湖仓一体是构建现代数据栈的关键


在近两年的Gartner数据管理技术成熟曲线图中Lakehouse湖仓一体技术已成为主流架构,其主要观点是结合数据湖和数据仓库的优势,旨在构建高效、灵活、简洁的现代数据平台


数据湖内承载全量数据,根据业务需求灵活组合,对数据进行批量、实时加工,让企业用一份数据,按需建立AI、BI、数据科学等多工作负载,加速数据在湖内流动,减少80%的数据搬迁,一个数据平台按需支持批处理、流计算、交互式查询和机器学习四大场景,根据上层业务建设多样性数仓集市。


湖仓一体避免了烟囱式割裂建设导致的效率问题,进一步降低多技术平台导致的运维复杂度,降低了跨湖仓来回ETL的时延。



云技术、开源社区和开放技术模式

促使大数据飞速发展


头部云厂商引领大数据技术发展


根据《IDC大数据平台市场报告,2021H1》发现大数据平台的Top4厂商均为云厂商。云计算为大数据提供计算、存储资源,具有弹性伸缩,动态扩展等优势,加速了云与大数据技术深度融合。



优势一:资源弹性发放,业务快速上线

通过云原生大数据服务,实现小时级发放上线,容器化部署,让客户更加聚焦上层业务。



优势二:存算分离,更低TCO

云计算可以将计算和存储资源分离,实现计算不够扩计算、存储不足扩存储。



优势三:多服务组合,灵活按需建立多工作负载

通过湖仓一体和云原生技术,围绕全局一份数据,按数据全生命周期展开,灵活按需构建。

大数据开源技术蓬勃发展


近十年来,经过全球持续技术投入,大数据开源技术已经成为事实标准,并在客户数字化、智能化转型推动下加速迭代更新。看似免费、易获得的特点,使得开源软件在各领域有意无意获得广泛使用。


根据DB-Engine显示开源license流行度已经超过一半,开源技术仍将持续主导大数据技术发展,即“软件吞噬世界,开源吞噬软件”


开放数据格式更加适合灵活建模分析


大数据如今已经从早期的批量加工深入到政企客户全业务场景,但如果还采用传统的FS-LDM方式建模,将会面临灵活性差、周期长、成本高的问题。处于业务高速发展期的客户,往往要求数据平台要灵活、高效。


大数据技术通过开放的数据格式,帮助客户快速构建面向不同使用者的贴源层-明细层-汇总层-集市层,结合大宽表自助式OLAP分析组件,进一步解决大数据的大表关联问题,面向业务灵活建模,让数据驱动业务创新更加轻量敏捷。



华为云Stack FusionInsight MRS

云原生数据湖让数据走上“高速”路


华为在湖仓一体早有布局,在2020年华为全球分析师大会上华为云CTO张宇昕发布了FusionInsight湖仓一体架构

1.png

作为部署在政企客户本地数据中心的云基础设施,华为云Stack提供FusionInsight MRS云原生数据湖(以下简称“FusionInsight MRS”),采用“一湖+多样集群+数据智能”分层建设加速现代数据栈构建。


当前,政企客户数据平台存在三种常见的建设方案:


2.png

X 传统数仓

兴起于上世纪90年代,对于早期仅需求数据OLAP较为常用。随着政企客户业务高速发展,对于面对多样性数据需要匹配业务特定场景的多样化诉求,能力太过单一。


X 传统大数据

早期政企往往按业务部门需求,分开建设批处理集群、流处理集群,烟囱式建设导致建设成本居高不下。多系统平台运维复杂,还存在大量数据冗余,造成ETL来回搬迁,制约了政企数据发挥要素关键价值。


X 湖外建仓

数仓在上世纪90年代高速发展,当时信息化程度较高的金融、运营商等行业,大量使用了传统数仓。2010-2020年之间,随着Spark、Flink、Hive、HBase、ClickHouse等技术逐步成熟,大数据逐步成为数据处理主要平台,湖外建仓导致湖仓来回搬迁的耗时问题日益凸显,超长的数据处理链路,多系统维护的复杂度,成为政企客户释放数据价值的障碍。


上述三种传统企业数据分析平台,现在都可以平滑演进到FusionInsight MRS。


FusionInsight MRS“一湖+多样集群+数据智能”分层建设


FusionInsight MRS通过“一湖+多样集群+数据智能”分层建设,有效整合传统大数据、传统数仓、湖外建仓方案,实现传统大数据平台向云原生数据湖演进、传统数仓数据集可以向MRS多样性集市升级。




FusionInsight MRS采用湖仓一体架构,结合湖仓优势,即保障了全局一份数据,还实现了数据的一致性,进一步让实现大数据平台SQL化更好的落地;


政企客户可以采用全局一个数据湖,让内部全量数据充分共享、存储与计算,实现数据资源相关的集约化;


现代数据栈可以提供多样性集市,政企客户按照业务场景,在一个数据湖之上,匹配最适合当前业务的数仓集市,让数据计算达到极致性能;


当然,近年来数智融合技术的成熟,在Gartner相关报告建设“以数据为中心的人工智能”的指导下,AI将基于数据湖,实现“数据->信息->知识->智慧”的价值闭环。


FusionInsight MRS湖仓一体架构实现集约化建设“一企一湖”


政企客户使用湖仓一体后,可以实现:



架构开放,让企业数据平台持续演进

相较传统数仓、数据库系统,大数据面向海量数据分析而生,其横向扩展能力强,并随着政企客户业务的高速发展,最大单集群已经可扩至6万多节点,还可以通过集群联邦无限扩容。



单向流动,数据一致性好

单向流动,无交叉。湖仓一体批流一体技术的成熟,让一份数据在加工时就实现不同业务数据的分层解耦,即保障了灵活性,又保障了时效性,更是实现全局数据的一致性,保障数据的“清洁”,也进一步减轻了数据治理的负担。



全生命周期数据开发和数据治理,提高数据质量

数据治理是数据分析正确的前提,数据治理为政企客户提供多源数据的集成,通过数据开发编排实现数据作业的ETL和作业自动化,采用数据适量实现政企客户多层级全局统一的数据质量,最终形成可视、可管、可用的高质量数据地图。



数据“可用不可见”

随着人工智能、密码学、可信执行环境三个关键技术的成熟,以保障数据安全与隐私为前提,数据的可信流通与用数,将通过多域数据联邦分析与训练实现,在数据开放、数据交易、普惠金融、联合营销、联合风控等场景大放异彩。

FusionInsight MRS多样集市灵活匹配高速发展的业务诉求


为灵活匹配高速发展的业务诉求,FusionInsight MRS也提供了丰富的组件:



在多表复杂关联场景

大容量多表复杂关联分析组件Doris可以实现PB级数据亚秒响应的。



在多维分析场景

ClickHouse支持亚秒级大宽表实时OLAP,单表支持1万多列,万亿行数据。



在时序分析方面

专业的时序数据库IoTDB提供“专、快、易、稳、省”能力,压缩比相较传统时序数据库压缩比高达20多倍。


成都华为视频会议】- 成都强川科技有限公司 一直以客户需求为导向,专业提供最新最全的视频会议终端产品及优质的解决方案。如需了解更多华为产品的信息及最新报价,请电询或前往公司实地购买。 

咨询电话 ]:028-85024766(办公室座机)、18215624006(24小时响应)

公司地址 ]:成都市武侯区新世纪商业中心东18楼A座






HOT NEWS
  • MAXHUB会议平板新锐SC86 轻松搞定一切商务会议

    ​会议讲究的就是效率,而提升会议效率最直接的就是配上一台功能全面的会议平板。在此给大家推荐这台86寸MAXHUB会议平板新锐SC86,有了它,能轻松搞定一切商务会议演示。

    浏览124
  • MAXHUB XCore Kit 亮相微软Ignite 2023技术大会

    Microsoft Teams作为全球广泛使用的会议协作软件,在全球已有超过3亿的活跃用户,同时MAXHUB作为会议终端头部企业,2017至2022年连续6年国内会议平板市占第一。此次微软与MAXHUB的强强结合,通过MAXHUB硬件终端+微软Teams Rooms软件,为用户提供完整的Teams会议解决方案。

    浏览60
  • 十个技巧告诉你如何提高视频会议通话效率

    与任何类型的会议一样,电话会议很容易偏离轨道并变得毫无成效。视频会议允许参与者看到彼此的肢体语言并感觉更投入,从而有助于提高电话会议的效率。 在通话期间强制打开摄像机、设置严格的议程和委派任务可以提高视频会议的效率。本文适用于希望提高视频会议通话效率的企业主。

    浏览49
  • 罗技在ISE2023上展示Project Ghost视频会议展台原型

    在 COVID-19 大流行期间,视频聊天大行其道,为支离破碎的家庭和社会团体提供视听生命线,并让远程工作团队保持联系。但与罗技本周在 ISE 2023 上展示的远程呈现展台概念相比,它们看起来相当扁平且技术含量低。得益于其优质的网络摄像头和会议摄像头,罗技拥有使在线交流成为可能的体面形式。通过 Project Ghost,该公司为一对一视频聊天增加了另一个维度。

    浏览37
  • Maxhub和会参谋Leaderhub对比,谁更好

    要问近几年办公领域最具代表性的划时代产品,智能会议平板绝对当仁不让。作为企业们提升会议与办公效率的新“神器”,智能会议平板成功走进了越来越多的企业会议室,我国的智能会议平板市场随之肉眼可见地热闹起来。

    浏览34
GUESS YOU LIKE
换一批
联系我们
在线咨询
QQ咨询 微信咨询
电话咨询
028-85024766 18215624006
提交项目需求 > 用户意见反馈 > 更多联系方式 >