数据是 2024 年世界各个方面的关键组成部分。它比大多数商品都更有价值,而且对更安全、更准确地共享、使用、存储和组织这些数据的需求呈指数级增长。

数据架构就是:用户在存储和使用数据时必须遵循的规则和准则。将这些数据管理集中到一个统一的平台中具有显著的优势,但也存在一些新出现的挑战,例如数据复杂性和安全考虑,这些挑战将使这种简化变得更加复杂。正在席卷技术行业的生成式人工智能(通常称为 GenAI)的流行意味着数据架构将在这个革命性的现代时代彻底改变。

毫不奇怪,由于这种现代化正以非常快和竞争激烈的方式席卷全球,因此人们面临着越来越大的压力和压力,要求他们迅速跟上。虽然有预测称 80% 的企业将采用 GenAI API 或支持 GenAI 的应用程序,但只有不到 25%的银行机构将其关键数据实施到目标架构中;这只是一个行业。我们需要摆脱数据孤岛,转向更新、更现代的数据结构数据网格

数据孤岛已成过去 — 数据结构和数据网格才是关键

在汽车行业等,人们已经意识到需要摆脱过时的数据孤岛。有了数据孤岛,信息就无法访问。它只能由一个组织使用。这阻碍了任何沟通或发展,并将数据归为单一用途,而不考虑如果将其视为[共享资产],可能发生的转变和演变。

数据结构是一种统一数据管理的方法。如前所述,数据通常被封锁,而数据结构旨在从宏观层面解锁数据,并提供给多个实体用于多种不同的目的。数据网格将数据分成产品,并以去中心化和个性化治理的方式交付给所有各方。

人工智能 (AI) 的采用也改变了向现代数据架构的过渡。人工智能可以帮助找到复杂的模式、生成预测,甚至自动化许多流程。这可以提高准确性,并极大地提高可扩展性和灵活性。然而,数据质量、透明度、道德和法律因素以及集成障碍也存在挑战。这导致了许多策略和见解,可以帮助指导和顺利完成从传统数据架构到现代数据架构的过渡。

关键策略

首先构建一个最小可行产品

如果您从最低需求开始,然后从那里开始构建数据存储,则可以更快地实现数据架构计划的加速成果。首先考虑所有用例,并找到开发所需的一个组件,以便交付数据产品。随着时间的推移,随着使用和反馈,扩展可能会发生,这实际上将创建一个更定制化和更理想的产品。

教育,教育,教育

向您的关键人员传授知识,让他们了解能够并准备好从以前熟悉的旧式数据系统转向数据湖或混合云平台等现代架构的重要性。迁移到统一、混合或基于云的数据管理系统最初可能看起来很有挑战性,但这对于实现全面的数据生命周期管理和 AI 就绪至关重要。通过投资持续的教育和培训,组织可以提高数据素养、简化流程并改善长期数据治理,为可扩展且安全的分析实践做好准备。

预测人工智能的挑战

通过为人工智能的典型挑战做好准备,可以预测和预见问题,这有助于减少数据架构现代化过程中的停机时间和挫折感。其中一些主要问题是:数据质量、数据量、数据隐私以及偏见和公平性。数据清理、分析和标记、偏见缓解、验证和测试、监控、边缘计算、多模态学习、联合学习、异常检测和数据保护法规都可以帮助最大限度地减少人工智能造成的障碍。

关键见解

统一数据有利于竞争

几乎一致认为,统一数据对企业大有裨益。它有助于简化流程、提高灵活性、增强数据治理和安全性、更轻松地与 AI 的新工具和模型集成以及提高可扩展性。数据结构为企业带来价值,并且可以通过了解五种竞争力量来提高竞争优势:新进入者、供应商讨价还价、买家讨价还价、竞争对手对抗和替代产品/服务威胁。

数据是一种产品

有一种观点认为,数据应该由领域驱动,作为资产进行查看和处理,在平台上自助服务,并接受联合计算治理。这是通过按领域和类型分离数据来实现的;合并元数据以使数据以自己的独立格式存在和解释;独立搜索和定位数据的能力;以及支持性和有组织的住房结构。

处理多个数据源具有挑战性

必须记住的是,整合来自众多来源的数据非常困难。欺诈检测、在线购物和医疗保健等某些流程的实时功能尚未准备就绪。需要采用标准和政策。管理所有云和数据源、潜在的安全漏洞和治理难题以及持续开发和定制的必要性将不可避免地出现问题。

现代数据架构将随着人工智能的出现而不断进步

尽管更新现有和传统的数据架构方法存在困难和复杂性,但毫无疑问,现代数据架构也将包括人工智能。人工智能将继续发展,并帮助组织以规范的方式而不是描述的方式使用数据。尽管许多人对人工智能持谨慎态度,但仍然有压倒性的希望和愿景,即它将创造机会,最大化产出,并推动所有市场(包括数据结构和管理)的创新。那些追随人工智能和现代数据架构的人将了解更高的生产力和运营效率、增强的客户体验和风险管理的好处。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐