亚马逊云科技-连接Redshift数据用于分析GenAI

关键字: [yt, Amazon Redshift, Amazon Redshift, Data Ingestion, Data Transformation, Machine Learning, Data Sharing, Data Visualization]

本文字数: 2100, 阅读完需: 10 分钟

导读

在一场亚马逊云科技活动上,演讲者们展示了”利用GenAI连接REDSHIFT数据进行分析”。在这个演示中,他们阐述了AMAZON REDSHIFT如何实现连接所有数据源并使用SQL运行分析和预测。具体而言,他们解释了REDSHIFT与AURORA MYSQL集成实现近实时数据复制、与KINESIS DATA STREAMS集成实现流式数据摄入、与AMAZON S3集成实现自动复制文件、与亚马逊云科技GLUE集成实现数据转换,以及与SAGEMAKER集成实现机器学习。该演示着重阐释了AMAZON REDSHIFT如何从各种来源摄入数据、转换数据、大规模运行分析、做出预测、通过数据共享实现工作负载隔离,以及使用QUICKSIGHT进行数据可视化。

演讲精华

以下是小编为您整理的本次演讲的精华，共1800字，阅读时间大约是9分钟。

在数据驱动型企业不断发展的环境中,客户正在开启一段转型之旅,拥抱数据的力量来推动企业向前发展。这种范式转变促使他们发展自己的数据平台,利用尖端技术和创新方法的潜力,开启洞见和机遇的新领域。

在这场革命的前沿地位是Amazon Redshift,一款完全托管的数据仓库服务,使客户能够无缝集成来自各种来源的数据。凭借其强大的功能,Redshift实现了数据民主化,让最终用户能够使用简单的SQL运行分析。该服务不仅可以大规模处理不断增长的数据量,而且还提供卓越的性能和经济效益,同时免费提供内置的安全措施。Amazon Redshift Serverless的推出进一步简化了最终用户体验,为自助分析铺平了道路。

客户可以轻松通过行业标准的JDBC和ODBC驱动程序连接到Amazon Redshift,也可以利用Data API进行编程访问。Redshift的覆盖范围不仅限于传统的数据仓库,还包括存储在数据湖中的开放格式数据,并支持Hudi、Delta Lake和Iceberg等事务表格式。这种多功能性使最终用户能够运行分析并将数据湖中的数据与存储在Amazon Redshift中的数据进行连接,开启了无限可能。

最近推出的AutoCopy彻底改变了从Amazon S3进行数据摄取的方式,无需复杂的数据管道。该功能可以无缝跟踪Amazon S3路径并自动加载新文件,无需额外工具或自定义解决方案,大大简化了数据加载过程。

Redshift与Amazon SageMaker的集成,即完全托管的机器学习服务,为数据分析开辟了新的前景。通过这种集成,客户可以使用SQL创建、训练和部署机器学习模型进行预测,实现本地推理和与Apache Spark的远程推理集成。这种强大的组合使具有SQL技能的数据分析师和数据库开发人员能够利用机器学习的潜力,而无需学习新工具或语言。

此外,Redshift与Amazon Kinesis Data Streams、Amazon Managed Streaming for Apache Kafka、Amazon Aurora以及Amazon RDS MySQL和Postgres深度集成,通过联邦查询和零ETL集成,解锁了直接从数据仓库内的运营数据存储执行近实时分析的能力。这种无缝集成消除了复杂数据管道的需求,使客户能以前所未有的速度和效率利用丰富的运营数据并获得可操作的洞见。

Redshift Data Sharing这一创新功能彻底改变了客户处理工作负载隔离、协作和数据货币化的方式。通过在Redshift数据仓库之间安全共享数据而无需数据复制,客户可实现前所未有的敏捷性和经济性。该功能实现了摄取和消费工作负载的分离,确保它们互不干扰或影响,同时还允许根据特定工作流程需求独立调整端点大小。

为说明Amazon Redshift的强大功能和多功能性,让我们深入探讨亚马逊云科技解决方案架构师Anusha Love提出的一个真实案例。Example Corp是一家零售公司,面临着从各种来源(包括运营数据库中的交易客户和产品数据、以JSON格式流式传输的信用卡支付交易以及持续摄取到数据湖中的Web服务器日志文件)摄取、转换、分析和可视化数据的挑战。此外,Example Corp还希望运行预测以识别其信用卡支付中的欺诈行为。

为解决这一用例而设计的架构体现了Amazon Redshift无缝集成和可扩展性的优势。其核心是采用中心辐射式架构部署的Redshift,具有独立的摄取/转换和消费工作负载端点,实现了完全的工作负载隔离。

第一个数据源源自Aurora MySQL数据库中的交易客户和产品数据,通过零ETL集成与Redshift无缝集成。该集成以近乎实时的方式将数据从Aurora MySQL复制到Redshift,消除了复杂数据管道的需求,实现了无与伦比的低延迟。交易数据写入Aurora MySQL仅数秒后,即可在Redshift中使用,使最终用户能够通过无缝集成利用Redshift的分析功能来处理运营数据。

第二个数据源是流式信用卡支付交易,使用流式摄取功能被摄取到Redshift中。该功能与Amazon Kinesis Data Streams或Amazon Managed Streaming for Apache Kafka集成,允许每秒摄取数百兆字节的数据,实现近乎实时的查询。该集成无缝支持不断演化的模式用例,确保数据分析师可以使用简单的SQL符号从半结构化数据中提取单个属性,即使模式随时间推移而发生变化。

第三个数据源是从Amazon S3持续摄取的Web日志文件,使用AutoCopy from S3功能加载到Redshift中。该集成大大简化了从S3到Redshift的数据加载过程,消除了识别和加载新文件所需的复杂管道。通过跟踪Amazon S3路径,AutoCopy可以自动加载新文件,无需额外工具或自定义解决方案,从而实现近乎实时的数据摄取和分析。

对于数据转换,Example Corp利用了Amazon云科技Glue,这是一种直接与Redshift集成的无服务器数据转换服务。Glue提供了一个易于使用的交互式可视化ETL界面,允许数据工程师使用节点(每个节点代表一个数据处理步骤)来构建数据转换工作负载。然后,Glue将这些节点转换为可执行代码,简化了转换过程。

为实现 Example Corp 利用机器学习预测支付欺诈的目标,该演示展现了 Amazon Redshift ML 的强大功能。Redshift 与 Amazon SageMaker 之间的直接集成,使数据分析师和数据库开发人员能够使用 SQL 创建、训练和应用机器学习模型,无需专门的工具或语言。通过利用历史支付交易数据作为训练数据集,Example Corp 可以创建一个机器学习模型来预测即将到来的信用卡支付中的欺诈行为。该模型被部署到 Redshift 作为用户定义函数,从而能够使用简单的 SQL 语句对流数据进行预测,全部在熟悉的 Redshift 环境中完成。

数据共享在实现工作负载隔离和分离数据摄入与消费工作负载方面发挥着关键作用。该演示阐释了在拥有数据集的生产者 Redshift 端点和访问就地数据的消费者端点之间设置数据共享的过程。这种分离确保了摄入和消费工作负载不会相互干扰或影响,同时还允许根据特定工作流程需求独立调整端点大小。

最后,该演示展现了 Amazon Redshift 与 Amazon QuickSight 之间的集成,QuickSight 是一种无服务器 BI 报告解决方案。QuickSight 提供了与 Redshift 的无缝连接,通过各种小部件和图表实现数据可视化。这种集成使最终用户能够更深入地洞察他们的数据,以用户友好和直观的方式可视化关键指标和趋势。

随着客户应对现代数据架构的复杂性,Amazon Redshift 成为了一个强大的助手,使他们能够充分发挥数据的潜力。通过采用跨行业观察到的常见模式和最佳实践,客户可以利用 Redshift 的功能推进他们的数据驱动战略。

一种常见的模式是采用数据共享来实现工作负载隔离、性能优化和成本效益。客户利用Redshift的数据共享功能建立生产者数据仓库,安全地与消费者数据仓库共享数据,后者可以是预配置的或无服务器的。这种方法实现了工作负载隔离,允许不同的工作负载或部门访问共享数据而不会相互影响性能。此外,数据共享有助于实施收费机制,确保成本准确地归因于各自的消费者。

在Amazon Redshift中的数据共享跨越了单个亚马逊云科技账户的界限,实现了跨账户和跨区域的数据共享。这种灵活性使客户能够采用中心辐射、联合和数据网格模式,促进整个组织内的协作和数据民主化。此外,数据共享为数据货币化铺平了道路,允许客户安全地与外部客户共享精心策划的数据集,开辟新的收入来源和商机。

另一种普遍观察到的模式是采用流式摄取和对传入数据运行预测的能力。游戏和制造业的客户利用Redshift与Amazon Kinesis Data Streams和Amazon Managed Streaming for Apache Kafka的集成,从IoT传感器、日志数据和Amazon DynamoDB流等源近实时摄取数据。这些数据被物化到Redshift物化视图中,实现实时分析和可操作见解的生成。

与此模式相辅相成的是Redshift与Amazon SageMaker之间强大的集成,能够将机器学习模型作为用户定义函数部署到Redshift中。这种能力使客户能够使用SQL对流式数据运行预测,开启实时决策和自动化的新领域。

安全性和多租户是许多客户的重大关注点,Amazon Redshift通过全面的安全功能套件来满足这些需求。Redshift提供静态和传输中的安全性,确保数据在整个生命周期中受到保护。基于角色的访问控制机制实现了列级和行级的细粒度访问控制,而动态数据掩码进一步增强了数据隐私和合规性。

在不断演进的数据领域中,亚马逊 Redshift 作为值得信赖的合作伙伴,赋予客户释放数据全部潜能的能力。凭借其无缝集成、可扩展性和创新功能,Redshift 使客户能够推进数据驱动的战略,促进创新、协作和业务增长。

总的来说,视频”亚马逊云科技-连接Redshift数据用于分析GenAI”展示了亚马逊 Redshift 强大而多样的功能,这是一种完全托管的数据仓库服务,让客户能够无缝集成来自各种来源的数据、执行复杂分析,并利用 SQL 运用机器学习功能。通过真实世界的用例和演示,该视频突出了 Redshift 从操作数据库、流媒体源和数据湖中摄取数据的能力,使用无服务器服务(如亚马逊云科技 Glue)转换和丰富数据,并利用与亚马逊 SageMaker 的集成,在流式数据上运行预测。此外,该视频探讨了跨行业客户采用的常见模式和最佳实践,例如数据共享以实现工作负载隔离、流式摄取和实时预测,以及强大的安全性和多租户功能。凭借其全面的功能套件和无缝集成,亚马逊 Redshift 使客户能够释放数据的全部潜能,推动数据驱动的战略,并促进创新、协作和业务增长。

总结

1. Amazon Redshift简化了从各种来源引入数据的过程,实现近实时分析。这些数据源包括通过零ETL集成的运营数据库、通过Kinesis或Kafka的流数据,以及使用S3的AutoCopy功能的数据湖。
2. Redshift与Amazon云科技Glue的集成允许使用可视化ETL界面进行无服务器数据转换,而与SageMaker的集成则通过基于SQL的模型创建、训练和部署,实现了机器学习的普及。
3. 数据共享功能实现了工作负载隔离,将引入和消费工作负载分离,促进了收费模型,并支持跨账户和区域的数据货币化。

总之,这次会议强调了Amazon Redshift在帮助组织释放数据全部潜力方面的重要作用,通过无缝集成、先进分析和数据共享功能,推动业务成果。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。