Apache SeaTunnel 是一款开源、分布式、高性能的数据集成工具，可以通过配置快速搭建数据管道，支持实时海量数据同步。

Apache SeaTunnel 专注于数据集成和数据同步，主要旨在解决数据集成领域的常见问题：

数据源多样性：常用数据源有数百种，版本不兼容。 随着新技术的出现，更多的数据源不断出现。用户很难找到一个能够全面、快速支持这些数据源的工具。
同步场景复杂：数据同步需要支持离线全量同步、离线增量同步、CDC、实时同步、全库同步等多种同步场景。
资源需求量高：现有的数据集成和数据同步工具往往需要大量的计算资源或 JDBC 连接资源来完成海量小表的实时同步。 这增加了企业的负担。
缺乏质量监控：数据集成和同步过程经常会出现数据丢失或重复的情况。 同步过程缺乏监控，无法直观了解任务过程中数据的真实情况。
技术栈复杂性：企业使用的技术组件不同，用户需要针对不同组件开发相应的同步程序来完成数据集成。
管理维护困难：受限于底层技术组件（Flink/Spark）不同，离线同步和实时同步往往需要分开开发和管理，增加了管理和维护的难度。
系统架构
Apache SeaTunnel 的运行流程如下图所示。

用户配置作业信息并选择提交作业的执行引擎，然后输入连接器（Source Connector）负责并行读取数据并将数据发送到下游的转换连接器（Transform）或直接发送到输出连接器（Sink），Sink 负责将数据写入目标。 三种连接器都可以支持用户自定义开发和扩展。

Apache SeaTunnel 是一个 EL(T) 数据集成平台。 因此，转换连接器只能用于对数据进行一些简单的转换，例如将一列的数据转换为大写或小写，更改列名，或者将一列拆分为多列。

Apache SeaTunnel 使用的默认引擎是 SeaTunnel Engine； 如果使用 Flink 或者 Spark 引擎，它会将连接器打包成 Flink 或者 Spark 程序并提交给相应的引擎运行。

数据源
Apache SeaTunnel 目前已经能够支持上百个数据源，包括各种关系数据库、图数据库、NoSQL、文档和内存数据库、分布式文件系统（例如 HDFS）以及各种云存储解决方案（例如 S3 以及 OSS）。同时还支持很多常见 SaaS 服务的数据读写，用户也可以开发自己的连接器。

功能特性
Apache SeaTunnel 不同于其他数据集成平台的功能特性如下：

多引擎支持，提供了不依赖于特定执行引擎的 Connector API，基于该 API 开发的三种连接器（Source、Transform、Sink）可以运行在不同的引擎之上，例如 SeaTunnel Engine、Flink、Spark 等。
插件式连接器，插件式设计让用户可以轻松开发自己的 Connector 并将其集成到 Apache SeaTunnel 项目中。目前已经支持超过 100 个连接器，并且数量正在激增。
批流一体，完美兼容离线同步、实时同步、全量同步、增量同步等场景，大大降低了管理数据集成任务的难度。
支持分布式快照算法，保证数据一致性。
支持多表或全库同步，解决了过度 JDBC 连接的问题；支持多表或全库日志读取解析，解决了CDC多表同步场景下需要处理日志重复读取解析的问题。
高吞吐量、低延迟，持并行读写，提供稳定可靠、高吞吐量、低延迟的数据同步能力。
完善的实时监控，支持数据同步过程中每一步的详细监控信息，让用户轻松了解同步任务读写的数据数量、数据大小、QPS 等信息。
支持两种作业开发方法：可视化开发以及代码开发。
SeaTunnel Web 项目提供作业、调度、运行和监控功能的可视化管理。

获取官方镜像
从 Docker Hub 上拉取最新的 Apache SeaTunnel 镜像：

docker pull apache/seatunnel:latest

创建目录

sudo mkdir -p /data/{conf,logs}  # 需要 root 权限创建 /data 目录
sudo chown -R $USER:$USER /data  # 将目录权限给当前用户（可选）

docker run -d \
  --name sea_tunnel_container \
  -p 9090:8080 \
  -v /data/conf:/opt/seatunnel/conf \
  -v /data/logs:/opt/seatunnel/logs \
  -e SEATUNNEL_HOME="/opt/seatunnel" \
  apache/seatunnel:latest

docker ps -a | grep sea_tunnel_container

4. 查看日志
   如果需要查看容器日志：

docker logs sea_tunnel_container

5. 停止和清理容器

docker stop sea_tunnel_container
docker rm sea_tunnel_container

注意事项
权限问题：确保 SeaTunnel 容器有权限写入 /data/logs 目录。如果遇到权限错误，可以：

sudo chmod -R 777 /data/logs  # 开放所有权限（测试环境可用）

或更安全的方式：

sudo chown -R 1000:1000 /data/logs  # 通常容器内用户 UID 是 1000

配置准备：SeaTunnel 需要特定的配置文件（如 config.yaml 或 application.conf），确保提前放入 /data/conf 目录。
数据持久化：所有日志和配置都保存在宿主机的 /data 目录下，即使容器删除也不会丢失。
端口冲突：如果 9090 端口已被占用，可以更改为其他端口，如 -p 9091:8080。
这样配置后，SeaTunnel 的所有日志和配置都会持久化在宿主机的 /data 目录下。

docker-compose安装

对于单节点部署可以采用如下形式的 docker-compose.yml

version: '3.8'
services:
  seatunnel:
    image: apache/seatunnel:latest
    container_name: sea_tunnel_container
    hostname: seatunnel-server
    ports:
      - "9090:8080"  # Web UI 访问端口
    volumes:
      - /data/seatunnel/conf:/opt/seatunnel/conf   # 配置文件目录
      - /data/seatunnel/logs:/opt/seatunnel/logs   # 日志目录
      - /etc/localtime:/etc/localtime:ro           # 同步宿主机时区
    environment:
      SEATUNNEL_HOME: "/opt/seatunnel"
      TZ: Asia/Shanghai                            # 设置容器时区
    restart: unless-stopped                        # 自动重启策略
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:8080"]  # 健康检查
      interval: 30s
      timeout: 10s
      retries: 3
    deploy:
      resources:
        limits:
          cpus: '2'     # 限制 CPU 使用
          memory: 2G     # 限制内存使用
        reservations:
          memory: 1G     # 内存保留值
    networks:
      - seatunnel-net    # 使用自定义网络（可选）

networks:
  seatunnel-net:
    driver: bridge

配置目录：/data/seatunnel/conf → 映射到容器内的 /opt/seatunnel/conf
日志目录：/data/seatunnel/logs → 映射到容器内的 /opt/seatunnel/logs

确保宿主机目录存在（需手动创建）：

sudo mkdir -p /data/seatunnel/{conf,logs}  # 创建目录结构
sudo chown -R $USER:$USER /data/seatunnel  # 赋予当前用户权限（避免权限问题）

如果 Docker 默认用户（UID 1000）需要访问：

sudo chmod -R 775 /data/seatunnel  # 开放读写权限

或更安全的做法：

sudo chown -R 1000:1000 /data/seatunnel  # 让容器用户（通常UID 1000）拥有权限

使用方式
启动 SeaTunnel：

docker-compose up -d

检查容器状态：

docker-compose ps
docker-compose logs -f  # 实时查看日志

访问 Web UI：
浏览器访问 http://<宿主机IP>:9090

优点
✅ 数据持久化：所有配置和日志存储在 /data/seatunnel，即使容器删除也不会丢失。
✅ 统一管理：所有数据集中存放在 /data 目录，便于备份和维护。
✅ 权限可控：通过 chown/chmod 确保容器能正确读写数据。
如果 SeaTunnel 还需要其他数据卷（如插件目录），可以按相同方式挂载到 /data/seatunnel/plugins。