数据湖与实时数仓应用实操

发布时间：2023-10-21 13:12:14 所属栏目：大数据来源：

导读：接下来，我们将对数据 fabric 做一个概述性的了解。

Data Fabric 是一种新兴的数据管理设计理念，起源于美国。根据 Gartner 的定义，Data Fabric 可以实现跨异构数据源的增强、数据集成和共享。这意味着以前在构建

接下来，我们将对数据 fabric 做一个概述性的了解。

Data Fabric 是一种新兴的数据管理设计理念，起源于美国。根据 Gartner 的定义，Data Fabric 可以实现跨异构数据源的增强、数据集成和共享。这意味着以前在构建数据仓库时需要进行大量的ETL工作，将不同业务关系数据库中的数据加载到数据仓库中，并通过各种链路进行数据同步。然后，在数据仓库中进行分层加工，最终生成各种指标，供用户进行分析和生成报表。

Data Fabric 的理念与传统的数据仓库有所不同。在某些情况下，分析师可能并不需要将整个数据完全搬移到自己的工作环境中，而只需要进行简单的数据探查。因此，Data Fabric 的概念就应运而生。简单来说，Data Fabric 就是一种对企业内部数据进行轻量级探查的编织概念。

基于Data Fabric 的理念，我们可以进行更加灵活和高效的数据分析。自2019年起，Gartner 已经连续三年将 Data Fabric 技术列入十大数据分析技术趋势之一。这表明 Data Fabric 技术正在逐渐成为数据管理和分析领域的重要趋势。在2022年，Gartner 将 Data Fabric 技术列为数据管理和分析领域的排名第一的技术趋势，它的出现为企业提供了更加灵活和高效的数据管理和分析解决方案，因此备受关注和追捧。

综上所述Data Fabric 的价值在我看来主要体现在大规模降低成本和小规模提高效率两个方面。它可以帮助用户减少在数据开发、分析和管理过程中的工作量，避免频繁的数据迁移和复制。那么，Data Fabric 实际上解决了什么问题呢？最主要的问题是打破数据孤岛。通过将数据接入到统一的平台中，企业可以获得对整个企业内所有数据的高级视图，了解企业内部的数据在哪里、做什么用途。此外，用户还可以进行简单的数据探查，而无需将数据全部迁移到数据仓库或数据湖中。这样一来，Data Fabric 为企业提供了更加综合和灵活的数据管理和探索方式，从而提高了数据分析的效率和准确性。

目前，硅谷的一些头部互联网公司都推出了基于 Data Fabric 概念的产品。例如微软在今年五月份推出了 Microsoft Fabric 和 OneLake 两款产品，它们共同组成了整个数据平台。IBM 也在5月9日发布了基于 Data Fabric 理念的产品 Watsonx.data lakehouse，与其另一款产品 Cloud Pak for Data 相互关联，构建了一个从底层到开发应用的全数据加工平台。微软的 Fabric 理念是"All your data, all your teams, all in one place"，意味着所有数据都可以在一个平台上进行查看，但并不一定要将所有数据都搬到一个地方。这样的好处是，不管是哪个国家的用户，都可以通过网络查看自己的信息。

（编辑：马鞍山站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!