logstash 数据同步

logstash 数据同步

logstash.conf 配置

input {
  elasticsearch {
    # 源 Elasticsearch 集群配置
    hosts => ["http://192.168.30.10:9200", "http://192.168.30.10:9200"]
    index => "*"                   # 同步所有索引
    user => "yourUser"      # 如果源集群开启认证
    password => "yourPassWord"
    size => 5000                   # 增大批量获取的文档数（提升性能）
    scroll => "10m"                # 控制单次任务中 scroll 上下文的有效期
    docinfo => true                # 保留文档元数据（_id、_index）
    schedule => "* * * * *"        # 调度频率,数据量大时适当调大
  }
}

output {
  elasticsearch {
    # 目标 Elasticsearch 集群配置
    hosts => ["http://192.168.30.8:9200"]
    index => "%{[@metadata][_index]}"      # 保持原索引名
    user => "yourUser"      # 如果源集群开启认证
    password => "yourPassWord"
    document_id => "%{[@metadata][_id]}"   # 保留原文档ID（避免重复）
    retry_on_conflict => 5          # 增加冲突重试次数
    action => "create"              # 避免覆盖已有文档
    ilm_enabled => false            # 关闭索引生命周期管理（若目标集群未启用ILM）
  }

  # （可选）调试时输出到控制台
  stdout {
    codec => rubydebug { metadata => true }  # 显示文档元数据
  }
}

指定排除的索引，修改 input 配置, - 代表排除

input {
  elasticsearch {
    # 源 Elasticsearch 集群配置
    hosts => ["http://192.168.30.10:9200", "http://192.168.30.10:9200"]
    index => "*,-system*"
  }
}