Qt编程：开源工具QtScrcpy -- QtScrcpyCore

QtScrcpyCore 是一个基于 Qt 框架的 Android 屏幕镜像和控制核心库，它是开源项目 QtScrcpy 的核心组件。

WaitingHereFor

1941人浏览 · 2025-06-13 08:34:48

WaitingHereFor · 2025-06-13 08:34:48 发布

QtScrcpyCore 是一个基于 Qt 框架的 Android 屏幕镜像和控制核心库，它是开源项目 QtScrcpy 的核心组件。下面我将从多个方面详细解析这个核心库。

1. 基本概述

QtScrcpyCore 主要功能：

通过 USB 或 WiFi 连接 Android 设备
实时显示 Android 设备屏幕
支持从电脑向设备发送触摸和按键事件
支持音频传输（部分版本）
支持剪贴板同步

2. 核心架构

主要模块组成：

QtScrcpyCore
├── AdbProcess       # ADB 命令执行模块
├── Device           # 设备管理模块
├── VideoSocket      # 视频数据传输
├── ControlSocket    # 控制指令传输
├── Decoder          # H264 解码器
├── FrameProducer    # 帧生成器
└── Stream           # 数据流处理

项目结构分析

典型项目目录结构：

QtScrcpyCore/
├── include/        # 头文件
│   ├── adbprocess.h
│   ├── decoder.h
│   └── ...
├── src/            # 源文件
│   ├── adbprocess.cpp
│   ├── decoder.cpp
│   └── ...
├── thirdparty/     # 第三方库
│   ├── ffmpeg/
│   └── ...
└── resources/      # 资源文件

3. 关键技术实现

3.1 设备连接管理

// 典型的设备连接流程
bool connectDevice(const QString& serial) {
    // 1. 检查adb连接
    if (!adbProcess->checkAdbRun()) {
        return false;
    }
    
    // 2. 建立视频流socket连接
    if (!videoSocket->connect(serial)) {
        return false;
    }
    
    // 3. 建立控制socket连接
    if (!controlSocket->connect(serial)) {
        return false;
    }
    
    // 4. 启动解码线程
    decoder->startDecode();
    
    return true;
}

3.2 视频流处理

视频流处理流程：

设备端通过 scrcpy-server 推送 H.264 视频流
通过 socket 传输到 PC 端
使用 FFmpeg 或 MediaCodec 进行解码
转换为 QImage 供 Qt 渲染

3.3 输入事件处理

// 鼠标事件处理示例
void handleMouseEvent(QMouseEvent* event) {
    QPoint pos = event->pos();
    // 转换为设备坐标
    QPoint devicePos = convertToDevicePos(pos);
    
    // 构造控制指令
    ControlMsg msg;
    msg.type = CONTROL_MSG_TYPE_INJECT_TOUCH;
    msg.injectTouch.action = AMOTION_EVENT_ACTION_DOWN;
    msg.injectTouch.pointerId = POINTER_ID_MOUSE;
    msg.injectTouch.position = devicePos;
    
    // 发送到设备
    controlSocket->sendControlMsg(msg);
}

性能优化技术

视频解码优化：
- 使用硬件加速解码
- 多线程解码流水线
- 动态调整视频质量参数
网络传输优化：
- 自适应比特率
- 帧间差分压缩
- 零拷贝传输
渲染优化：
- OpenGL 加速渲染
- 脏矩形更新
- 帧率自适应

使用示例

基本使用流程：

// 初始化核心
QtScrcpyCore* core = new QtScrcpyCore();

// 连接设备
core->connectDevice("设备序列号");

// 设置视频接收回调
connect(core, &QtScrcpyCore::onFrame, this, [](const QImage& frame) {
    // 更新UI显示
    m_screenLabel->setPixmap(QPixmap::fromImage(frame));
});

// 发送控制命令
core->sendKeyEvent(AKEYCODE_HOME);  // 发送HOME键

扩展开发

自定义功能扩展：

添加新控制指令：
- 在 ControlMsg 中添加新消息类型
- 实现对应的编解码逻辑
- 更新设备端 server 代码

插件系统：

// 注册插件
void registerPlugin(ScrcpyPlugin* plugin) {
    m_plugins.append(plugin);
    plugin->init(this);
}

// 插件接口示例
class ScrcpyPlugin {
public:
    virtual void onFrame(const QImage& frame) = 0;
    virtual void onDeviceEvent(DeviceEvent event) = 0;
};

常见问题解决

连接失败：
- 检查 adb 是否正常工作
- 确认设备已开启调试模式
- 检查端口是否被占用
视频卡顿：
- 降低视频分辨率
- 尝试使用硬件解码
- 检查网络状况
输入延迟：
- 减少视频比特率
- 关闭不必要的后台处理
- 使用 USB 连接代替 WiFi

高级功能

多设备支持：

// 管理多个设备连接
QMap<QString, QtScrcpyCore*> m_devices;

void addDevice(const QString& serial) {
    QtScrcpyCore* core = new QtScrcpyCore();
    core->connectDevice(serial);
    m_devices.insert(serial, core);
}