高可用分布式日志收集系统实践：Vector 与 SQLite 在家用 NAS 的轻量落地

泠不丁

589人浏览 · 2026-09-19 21:49:28

泠不丁 · 2026-09-19 21:49:28 发布

高可用分布式日志收集系统实践：Vector 与 SQLite 在家用 NAS 的轻量落地

封面信息图

在家庭搭建了十几个 Docker 容器与后台自动化进程后，排查故障面临的一个核心难题是日志的碎片化与难以追溯（Log Silos & Observability Gap）：

客厅音箱网关报错了，需要登录 NAS 敲 docker logs family_gateway；
微信记账机器人没反应了，需要看 docker logs wechat_bot；
智能门锁和传感器日志又存放在另一个文本文件里。

如果照搬企业级的日志全家桶（如 ELK / Elasticsearch + Logstash + Kibana 或 Loki + Grafana），这套方案光是 JVM 和 Java 内存开销就能吃掉 3GB~4GB 内存，直接把家用 NAS 压垮。

在轻量级可观测性领域，基于 Rust 编写的高性能日志管道 Vector + 嵌入式轻量数据库 SQLite（或 DuckDB），凭借其常驻内存仅 35MB、零 GC 暂停、纳秒级吞吐的极致性能，是家用私有云环境下的不二之选。

flowchart LR
    ContainerLogs[全屋 15+ 个 Docker 容器 stdout/stderr 日志流] --> VectorPipeline[Vector 轻量日志中枢 (Rust 编写 / 内存占用 35MB)]
    VectorPipeline --> VRL_Transform[VRL 规则实时解析过滤:\n- JSON 提取 timestamp / level\n- 敏感信息 (手机号/家庭地址) 自动正则脱敏]
    VRL_Transform --> SinkSQLite[(写入本地 SQLite 结构化日志库: family_logs.db)]
    VRL_Transform -->|ERROR / CRITICAL 级别| ImmediatePush[触发企业微信即时故障推送]

Vector + SQLite 架构的三大核心优势

极致的系统资源消耗（Ultra-Low Memory Footprint）：
- Vector 由 Rust 语言编写，内存安全且无任何垃圾回收开销，在 NAS 上常驻内存稳定在 25MB ~ 35MB 之间。
强大的 VRL（Vector Remap Language）实时转换与脱敏：
- 在日志落盘前，通过内置的高性能 VRL 脚本，在微秒级内完成 JSON 结构化解析、日志级别过滤、以及家庭敏感个人信息（身份证、银行卡号）的正则掩码脱敏。
极简的本地单文件存储（Zero-Maintenance Storage）：
- 所有日志结构化存入单个 family_logs.db 文件，支持直接通过标准 SQL 进行毫秒级时序聚合查询，免除任何复杂的集群维护。

生产级 Vector 配置文件 `vector.yaml`

sources:
  # 1. 自动捕获本机所有 Docker 容器日志
  docker_source:
    type: docker_logs
    include_containers:
      - "family_gateway"
      - "family_wechat_bot"
      - "family_qdrant"
      - "family_dashboard"

transforms:
  # 2. VRL 实时结构化与脱敏转换
  parse_and_mask:
    type: remap
    inputs:
      - docker_source
    source: |
      # 尝试解析 JSON 日志
      parsed, err = parse_json(.message)
      if err == null {
        . = merge(., parsed)
      }

      # 敏感信息脱敏 (将 11 位手机号替换为 138****0000)
      if exists(.message) {
        .message = replace(.message, r'1[3-9]\d{9}', "138****0000")
      }

      # 规范化日志级别
      .level = upcase(string(.level) ?? "INFO")
      .service_name = .container_name

sinks:
  # 3. 结构化持久化输出至 SQLite
  sqlite_sink:
    type: sqlite
    inputs:
      - parse_and_mask
    database: "/mnt/storage/app_data/logs/family_logs.db"
    table: "app_logs"
    schema:
      timestamp: "TEXT"
      service_name: "TEXT"
      level: "TEXT"
      message: "TEXT"

  # 4. 严重异常即时触发微信报警 Webhook
  alert_sink:
    type: http
    inputs:
      - parse_and_mask
    uri: "http://127.0.0.1:8000/api/internal/alarm_webhook"
    method: "post"
    encoding:
      codec: "json"
    healthcheck:
      enabled: false

Docker Compose 极简拉起清单

version: '3.8'

services:
  vector:
    image: timberio/vector:0.39.0-alpine
    container_name: family_vector
    restart: always
    volumes:
      - /mnt/storage/app_data/vector/vector.yaml:/etc/vector/vector.yaml:ro
      - /var/run/docker.sock:/var/run/docker.sock:ro
      - /mnt/storage/app_data/logs:/mnt/storage/app_data/logs
    deploy:
      resources:
        limits:
          memory: 60M

极速 SQL 日志排障查询示例

排查过去一小时内家庭 AI 网关的所有报错：

SELECT timestamp, service_name, level, message 
FROM app_logs 
WHERE level IN ('ERROR', 'FATAL') 
  AND timestamp >= datetime('now', '-1 hour')
ORDER BY timestamp DESC 
LIMIT 50;