1. 介绍

Trino连接Iceberg的Connector,需要通过Hive的metastore,查询每个partition的HDFS location,然后获取partition下的metadata文件信息

2. 配置Connector

在所有节点上新建catalog配置文件

[root@bigdata001 catalog]# pwd
/opt/trino-server-375/etc/catalog
[root@bigdata001 catalog]#
[root@bigdata001 catalog]# cat iceberg.properties 
connector.name=iceberg
hive.metastore.uri=thrift://bigdata003:9083
[root@bigdata001 catalog]# 

对于HA高可用的HDFS,需要在Trino所有节点的etc/catalog/iceberg.properties添加如下配置

hive.config.resources=/opt/hadoop-3.3.1/etc/hadoop/core-site.xml,/opt/hadoop-3.3.1/etc/hadoop/hdfs-site.xml

重启所有节点trino

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐