在嵌入式边缘设备（如边缘工控机、智能机器人、边缘网关）上部署端侧大模型或复杂计算机视觉模型时，系统物理 RAM 通常受到极其严格的硬件成本限制（常见规格仅为 4GB 或 8GB，且由 CPU、GPU、NPU 统一共享内存）。

在这类资源高度受限的系统上，经常出现一种极其隐蔽但破坏力极强的“内存雪崩”：

• 设备在平稳运行 AI 推理时一切正常；
• 一旦后台视频录制程序开始向 eMMC / NVMe 写入连续视频流，或者日志收集器扫描压缩数 GB 的历史日志，系统可用的 Free RAM 迅速被内核的 Page Cache（页缓存） 贪婪地吞噬殆尽；
• 当推理引擎在下一轮交互中需要动态扩容 KV Cache 或申请张量工作区内存时，系统触发内核级的同步直接内存回收（Direct Reclaim）；
• 此时 CPU 核心被内核锁死在遍历 LRU 链表和刷盘脏页中，端侧推理延迟从 50ms 瞬间飙升至数秒，甚至直接触发 OOM Killer 将 AI 主进程直接杀死。

要彻底消除这一隐患，必须从**“I/O 零缓存绕行（Direct I/O）”与“内核虚拟内存参数紧缩（VM Tuning）”**两个维度建立刚性的内存防护隔离墙。

一、Page Cache 挤占推理 RAM 的内存崩溃链路

[后台视频录制 / 磁盘大文件读写]
       │
       ▼ (传统 I/O 写入)
[Linux 内核 Page Cache 极速膨胀] ──> 占满所有空闲物理 RAM (Free RAM -> 0)
                                            │
                                            ▼
                             [端侧模型申请 KV Cache 内存]
                                            │
                                            ▼
                             [触发内核直接内存回收 (Direct Reclaim)]
                                            │
                 ┌──────────────────────────┴──────────────────────────┐
                 ▼                                                     ▼
    [CPU 100% 陷入内核态内存规整]                              [无法即时分配内存 -> OOM Panic]
    [推理延迟暴涨 20 倍 (50ms -> 1200ms)]                     [Linux 内核强制杀死 AI 核心进程]

二、Direct I/O（直接 I/O）零页缓存实战

对于视频流写入、模型权重冷加载或大数据流式处理，应用层必须显式使用 O_DIRECT 标志打开文件，彻底绕过内核 Page Cache，直接在用户空间缓冲区与底层块设备之间进行 DMA 传输。

以下是使用 C 语言实现的高性能 Direct I/O 读取/写入代码：

/* direct_io_runner.c - 绕过 Page Cache 的直接 I/O 实战 */
#define _GNU_SOURCE
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <fcntl.h>
#include <string.h>
#include <malloc.h>
#include <errno.h>

#define ALIGNMENT   4096       /* 512 或 4096 字节扇区对齐 */
#define BUFFER_SIZE (2 * 1024 * 1024) /* 2MB 数据块 */

int write_data_direct(const char *filepath, const void *data, size_t size) {
    int fd;
    void *aligned_buf = NULL;
    ssize_t ret;

    // 1. 打开文件时传入 O_DIRECT 与 O_SYNC
    fd = open(filepath, O_WRONLY | O_CREAT | O_TRUNC | O_DIRECT | O_SYNC, 0644);
    if (fd < 0) {
        perror("Open with O_DIRECT failed");
        return -1;
    }

    // 2. 内存缓冲区地址必须严格对齐到物理扇区边界 (posix_memalign)
    if (posix_memalign(&aligned_buf, ALIGNMENT, BUFFER_SIZE) != 0) {
        perror("posix_memalign failed");
        close(fd);
        return -1;
    }

    // 填充数据 (实际业务中直接由 DMA 填充)
    memcpy(aligned_buf, data, size > BUFFER_SIZE ? BUFFER_SIZE : size);

    // 3. 执行写入 (直接穿透至存储介质，内核完全不留 Page Cache)
    ret = write(fd, aligned_buf, BUFFER_SIZE);
    if (ret < 0) {
        fprintf(stderr, "Direct write failed: %s (errno: %d)\n", strerror(errno), errno);
        free(aligned_buf);
        close(fd);
        return -1;
    }

    free(aligned_buf);
    close(fd);
    printf("Direct I/O write success, 0 bytes Page Cache consumed!\n");
    return 0;
}

三、内核虚拟内存（VM）参数紧缩调优

在嵌入式端侧 AI 场景下，Linux 内核的默认内存回收参数偏向于“最大化利用内存作为缓存（适用于服务器）”，必须修改 /etc/sysctl.conf 进行激进的紧缩调优：

# 1. 提高内核回收目录项和 inode 缓存的积极性 (默认 100，调高至 500)
sysctl -w vm.vfs_cache_pressure=500

# 2. 保留足够的水位线 (Watermark)，确保紧急分配时不跌入 Direct Reclaim
# 对于 4GB 内存设备，预留 256MB 刚性安全水位
sysctl -w vm.min_free_kbytes=262144

# 3. 极早触发后台脏页刷盘，防止脏页堆积占用过多 RAM
sysctl -w vm.dirty_background_ratio=3
sysctl -w vm.dirty_ratio=8

# 4. 彻底禁用或大幅降低 swap 倾向 (端侧无换页盘)
sysctl -w vm.swappiness=0

# 5. 内存分配严格模式 (防止过度过度申请 Overcommit)
sysctl -w vm.overcommit_memory=1

内存水位线 (Watermarks) 保护机制:
[ 物理 RAM 上限 ]
      │
      ▼
[ High Watermark ] ──── (系统平稳分配)
      │
      ▼
[ Low Watermark ]  ──── (触发 kswapd 后台异步回收，不阻塞应用)
      │
      ▼  <-- 调高 vm.min_free_kbytes 扩充该安全缓冲区!
[ Min Watermark ]  ──── (🚨 触发 Direct Reclaim，全系统线程挂起抢救内存)
      │
      ▼
[ 0 / OOM Panic ]

四、实测性能与系统抖动消除表现

在 4GB 内存的 RK3588 边缘模组上，同时运行 3.8B 视觉大模型推理与连续 4K 视频流本地录制，对比调优前后的关键工程指标：

五、端侧内存治理的三条刚性法则

1. 大模型权重内存与文件系统解绑：
   模型加载后，对于只读的临时中间文件，如果无法使用 Direct I/O，必须在读取后立即调用 posix_fadvise(fd, 0, 0, POSIX_FADV_DONTNEED) 主动通知内核丢弃该文件的 Page Cache。
2. 使用 Cgroup v2 对非 AI 进程施加内存紧箍咒：
   将录屏、日志上传、网络同步等辅助进程放入独立的 Memory Cgroup，设置 memory.high 与 memory.max 上限为 512MB，确保即便辅助服务内存泄漏，也绝不会波及核心 AI 进程。
3. 严格禁止在 Direct I/O 缓冲区使用未对齐内存：
   O_DIRECT 要求用户态 Buffer 地址、文件偏移量以及读写长度必须是底层块设备逻辑扇区大小（如 4096 字节）的整数倍，否则 write/read 会直接返回 -EINVAL 错误。