1. 添加 ExecuteSQL 处理器
    1. 添加 ExecuteSQL 到面板

    2. 配置 ExecuteSQL

    3. 配置 DBCPConnectionPool

      更改 DBCPConnectionPool 配置,直到将 state 从 Invalid 变为 Disable

      数据库连接池配置信息

      启用 DBCPConnectionPool

    4. 任务成功或失败时的处理方式


      .

  2. 添加 ConvertAvroToJSON 处理器

    添加 ConvertAvroToJSON 到面板,无需修改任何配置

  3. 添加 PublishKafka 处理器
    1. 添加 PublishKafka_0_10 到面板

    2. 配置 PublishKafka_0_10
      1. PLAINTEXT

      2. SSL

      3. SASL_SSL

        连接阿里云 kafka 配置

        注意:

        1. 修改 ${NIFi_HOME}/conf/bootstrap.conf 配置文件中 java.arg.16 ,然后重启 NiFi 服务。
          [root@cdh01 nifi-1.10.0]$ cat conf/bootstrap.conf | grep java.arg.16
          #java.arg.16=-Djavax.security.auth.useSubjectCredsOnly=true      # 默认
          java.arg.16=-Djava.security.auth.login.config=/root/kafka_conf/kafka_client_jaas.conf
          [root@cdh01 nifi-1.10.0]$ cat /root/kafka_conf/kafka_client_jaas.conf
          KafkaClient {
            org.apache.kafka.common.security.plain.PlainLoginModule required
            username="123456"
            password="123456";
          };
          
        2. 增加 sasl.mechanism 配置
    3. 配置 StandardSSLContextService

      提示: PLAINTEXT 无需配置此项

      更改 StandardSSLContextService 配置,直到将 state 从 Invalid 变为 Disable

      配置 StandardSSLContextService
      如无 Keystore 则不用配置 Keystore 相关属性

      启用 StandardSSLContextService

  4. 连接处理器

  5. 启动处理器

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐