Apache Iceberg数据湖与Trino的集成
目录1. 介绍2. 配置Connector1. 介绍Trino连接Iceberg的Connector,需要通过Hive的metastore,查询每个partition的HDFS location,然后获取partition下的metadata文件信息2. 配置Connector在所有节点上新建catalog配置文件[root@bigdata001 catalog]# pwd/opt/trino-s
·
1. 介绍
Trino连接Iceberg的Connector,需要通过Hive的metastore,查询每个partition的HDFS location,然后获取partition下的metadata文件信息
2. 配置Connector
在所有节点上新建catalog配置文件
[root@bigdata001 catalog]# pwd
/opt/trino-server-375/etc/catalog
[root@bigdata001 catalog]#
[root@bigdata001 catalog]# cat iceberg.properties
connector.name=iceberg
hive.metastore.uri=thrift://bigdata003:9083
[root@bigdata001 catalog]#
对于HA高可用的HDFS,需要在Trino所有节点的etc/catalog/iceberg.properties添加如下配置
hive.config.resources=/opt/hadoop-3.3.1/etc/hadoop/core-site.xml,/opt/hadoop-3.3.1/etc/hadoop/hdfs-site.xml
重启所有节点trino

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
所有评论(0)