边缘计算+WEB端应用融合：AI行为识别智能监控系统搭建指南 -- 边缘设备图像识别及部署(1)

初始化模型、视频解码器、视频编码器、线程池解码帧画面推送至识别线程池从识别线程池中获取识别结果绘制检测框、识别预警并保留视频、帧画面推流运行不正常？结束yesno其中有一个问题就是怎么获取原始的视频流信息？我个人在开发中主要是获取三种流方式：方式1:模拟视频流模拟是通过mediamtx和ffmpeg实现的，通过一台局域网内的设备进行模拟信号的输送就可以实现获取rtsp流的目的，我自己用的就是闲置的

2401_84166147

1169人浏览 · 2024-04-08 23:39:58

2401_84166147 · 2024-04-08 23:39:58 发布

初始化模型、视频解码器、视频编码器、线程池

解码帧画面推送至识别线程池

从识别线程池中获取识别结果

绘制检测框、识别预警并保留视频、帧画面推流

运行不正常？

结束

yes

原始视频信号

其中有一个问题就是怎么获取原始的视频流信息？我个人在开发中主要是获取三种流方式：
方式1:模拟视频流
模拟是通过mediamtx和ffmpeg实现的，通过一台局域网内的设备进行模拟信号的输送就可以实现获取rtsp流的目的，我自己用的就是闲置的树莓派。
mediamtx下载地址：https://github.com/bluenviron/mediamtx/releases
ffmpeg官网：https://ffmpeg.org/ffmpeg.html，ffmpeg网上有很多安装教程可以根据自身系统版本搜索。

nohup ./mediamtx mediamtx.yml > mediamtx.log 2>&1 &
nohup ffmpeg -re -stream_loop -1 -i /home/medias/test.mp4 -vcodec copy -acodec copy -b:v 5M -f rtsp -rtsp_transport tcp rtsp://localhost:8554/live.sdp > testffmpeg.log 2>&1 &

rtsp://192.168.124.31:8554/live.sdp

方式2:网络摄像头原始视频流【海康设备】

rtsp://admin:XXXXXX@192.168.124.38:554/h265/ch1/main/av_stream

方式3:网络录像机原始视频流【海康设备】

rtsp://admin:XXXXXXX@192.168.124.29:554/Streaming/Channels/101

部分核心代码

以下是部分 核心代码片：

创建线程池

// 创建线程池
yolo_thread_pool = new Yolov5ThreadPool();
// 初始化线程池
// 参数1：模型文件地址
// 参数2：线程数量
// 参数3：非极大值抑制
// 参数4：置信度
// 参数5：模型标签文件路径
// 参数6：标签数量
yolo_thread_pool->setUp(model_path, num_threads, NMS_threshold, box_threshold, model_label_file_path, obj_class_num);

定义解码器

MppDecoder *decoder = new MppDecoder(); // 创建解码器
decoder->Init(video_type, app_ctx.source_frame_rate, &app_ctx); // 初始化解码器
// mpp在每次解析后都会回调mpp_decoder_frame_callback方法
decoder->SetCallback(mpp_decoder_frame_callback); // 设置回调函数，用来处理解码后的数据
app_ctx.decoder = decoder;

解码后处理

// 这里利用了rk3588自带的rga进行颜色通道的转换：YUV420SP -> RGB888
// 也可以使用opencv
origin = wrapbuffer_fd(fd, width, height, RK_FORMAT_YCbCr_420_SP, width_stride, height_stride);
src = wrapbuffer_fd(mpp_frame_fd, width, height, RK_FORMAT_YCbCr_420_SP, width_stride, height_stride);
cv::Mat origin_mat = cv::Mat::zeros(height, width, CV_8UC3);
rga_buffer_t rgb_img = wrapbuffer_virtualaddr((void *)origin_mat.data, width, height, RK_FORMAT_RGB_888);
imcopy(origin, rgb_img);
// 提交推理任务给线程池
yolo_thread_pool->submitTask(origin_mat, job_cnt++);

获取处理结果并绘制预警

std::vector objects;
// 获取推理结果
auto ret_code = yolov5_thread_pool->getTargetResultNonBlock(objects, result_cnt);
// 遍历检测结果并且进行判断
for (const auto &object : objects)
{
auto iter = ctx->labels_map.find(object.className);
// 设置参数判断是否全图警戒，1为全图
bool temp_ret = true;
if (ctx->enable_region == 1 && ctx->g_ploygon.size() > 0)
{
Point p = {
object.box.x + object.box.width / 2,
object.box.y + object.box.height / 2};
// 判断是否在预警区域中
temp_ret = isInside(ctx->g_ploygon, p);
}
double value = iter->second;
// 判断识别对象是否在识别要素中，同时判断要素是否在警戒区域中,执行度大于设定值
if (iter != ctx->labels_map.end() && temp_ret && object.confidence >= value)
{
cv::rectangle(img, object.box, cv::Scalar(255, 0, 0), 2);
// class name with confidence
std::string draw_string = object.className + " " + std::to_string(object.confidence);
cv::putText(img, draw_string, cv::Point(object.box.x, object.box.y - 5), cv::FONT_HERSHEY_SIMPLEX, 1,
cv::Scalar(255, 0, 0), 2);
// 在迭代中发现了存在异常的标记，进行临时变量标记，此变量可能会在过程中重复赋值。
if_warning_hold = true;
}
else
{
cv::rectangle(img, object.box, object.color, 2);
// class name with confidence
std::string draw_string = object.className + " " + std::to_string(object.confidence);
cv::putText(img, draw_string, cv::Point(object.box.x, object.box.y - 5), cv::FONT_HERSHEY_SIMPLEX, 1,
cv::Scalar(255, 0, 255), 2);
}
}

检测结果推流

// mk的参数初始化
char *ini_path = mk_util_get_exe_dir(ctx->mk_file_path.c_str());
mk_config config = {
.thread_num = 10,
.log_level = 0,
.log_mask = LOG_CONSOLE,
.log_file_path = NULL,
.log_file_days = 0,
.ini_is_path = 1,
.ini = ini_path,
.ssl_is_path = 1,
.ssl = NULL,
.ssl_pwd = NULL
};

// memset(&config, 0, sizeof(mk_config));
// config.log_mask = LOG_CONSOLE;
// 初始化环境，调用该库前需要先调用此函数
mk_env_init(&config);
mk_free(ini_path);
// 在端口80上启动HTTP服务器
if (ctx->enable_http == 1)
mk_http_server_start(ctx->push_http_port, 0);
// 在端口554上启动RTSP服务器
if (ctx->enable_rtsp == 1)
mk_rtsp_server_start(ctx->push_rtsp_port, 0);
// 在端口1935上启动RTMP服务器
if (ctx->enable_rtmp == 1)
mk_rtmp_server_start(ctx->push_rtmp_port, 0);
if (ctx->enable_rtc == 1)
mk_rtc_server_start(ctx->push_rtc_port);
// 创建一个新的Codeium播放器
ctx->player = mk_player_create();
ctx->stream_url = url;
// 设置处理播放事件的回调函数
mk_player_set_on_result(ctx->player, on_mk_play_event_func, ctx);
// 设置播放被异常中断的回调
mk_player_set_on_shutdown(ctx->player, on_mk_shutdown_func, ctx);
// 播放来自提供的RTSP URL的视频流
mk_player_play(ctx->player, ctx->stream_url);
// 推流
ret = mk_media_input_h264(ctx->media, enc_data, enc_data_size, millis, millis);

根据以上代码无法完整完成编码工作，由于本专栏主要方向是关于边缘计算设备和WEB端应用的融合，实现AI行为识别的智能监控系统。所以不会对终端设备的实际使用技术及代码原理进行特别详细的描述。如果读者有需要可以留言，我可以出一个关于RK3588的独立专栏。
其实本质上边缘计算设备无论是选择RK3588，还是带有GPU的主机都可以，本项目是为了减少项目的搭建预算所以找的更便宜的解决方案，同时也能符合国产化、信创需要。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。