基于RK3568/RK3588/全志H3/飞腾芯片/音视频通话程序/语音对讲/视频对讲/实时性好/极低延迟

news2025/6/4 5:57:10

一、前言说明

近期收到几个需求都是做音视频通话,很多人会选择用webrtc的方案,这个当然是个不错的方案,但是依赖的东西太多,而且相关组件代码量很大,开发难度大。所以最终选择自己属性的方案,那就是推流拉流,采集端负责采集本地摄像头或者桌面,编码推流到流媒体服务器,然后要拉取对方的视音频,就是播放对应的rtsp地址即可,其实也可以是rtmp等地址,一般流媒体服务程序还提供各种http/flv等格式的拉流,方便各种场景需求,比如网页上可以直接播放flv或者webrtc的流。

为了使得使用更方便,还特意增加了可自定义悬浮画面位置,指定左上角、右上角、左下角、右下角、自定义位置和大小。还支持固定画中画功能,可交换主画面和浮窗画面,可设置画面左右排列等布局方式。考虑到客户的实际需求,还支持自定义水印,包括文字和图片水印,支持多个水印,指定任意位置。

二、效果图

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

三、相关代码

#include "frmconfig.h"
#include "frmmain.h"
#include "ui_frmmain.h"
#include "qthelper.h"
#include "apphelper.h"
#include "osdgraph.h"
#include "ffmpegthread.h"
#include "ffmpegthreadcheck.h"

frmMain::frmMain(QWidget *parent) : QWidget(parent), ui(new Ui::frmMain)
{
    ui->setupUi(this);
    this->initForm();
    this->installEventFilter(this);
    QMetaObject::invokeMethod(this, "formChanged", Qt::QueuedConnection);
}

frmMain::~frmMain()
{
    delete ui;
}

void frmMain::savePos()
{
    AppConfig::FormMax = this->isMaximized();
    if (!AppConfig::FormMax) {
        AppConfig::FormGeometry = this->geometry();
    }

    AppConfig::writeConfig();
}

bool frmMain::eventFilter(QObject *watched, QEvent *event)
{
    //尺寸发生变化或者窗体移动位置记住窗体位置
    int type = event->type();
    if (type == QEvent::Resize || type == QEvent::Move) {
        QMetaObject::invokeMethod(this, "savePos", Qt::QueuedConnection);
    } else if (type == QEvent::Close) {
        audioInput->stop(false);
        audioOutput->stop(false);
        exit(0);
    }

    //尺寸发生变化重新调整小预览窗体的位置
    if (this->isVisible() && type == QEvent::Resize) {
        this->formChanged();
    }

    return QWidget::eventFilter(watched, event);
}

void frmMain::initForm()
{
    //初始化输入输出视频控件
    int decodeType = AppConfig::DecodeType;
    AppHelper::initVideoWidget(ui->videoInput, decodeType);
    AppHelper::initVideoWidget(ui->videoOutput, decodeType);

    //初始化输入输出音频线程
    audioInput = new FFmpegThread(this);
    audioOutput = new FFmpegThread(this);
    checkInput = new FFmpegThreadCheck(audioInput, this);
    AppHelper::initAudioThread(audioInput, ui->levelInput, decodeType);
    AppHelper::initAudioThread(audioOutput, ui->levelOutput, decodeType);

    //输入打开成功后立即推流
    connect(audioInput, SIGNAL(receivePlayStart(int)), this, SLOT(receivePlayStart(int)));
    connect(ui->videoInput, SIGNAL(sig_receivePlayStart(int)), this, SLOT(receivePlayStart(int)));

    ui->ckInput->setChecked(AppConfig::MuteInput ? Qt::Checked : Qt::Unchecked);
    ui->ckOutput->setChecked(AppConfig::MuteOutput ? Qt::Checked : Qt::Unchecked);
    if (AppConfig::StartServer) {
        on_btnStart_clicked();
    }
}

void frmMain::clearLevel()
{
    ui->levelInput->setLevel(0);
    ui->levelOutput->setLevel(0);
}

void frmMain::formChanged()
{
    AppHelper::changeWidget(ui->videoInput, ui->videoOutput, ui->gridLayout, NULL);
}

void frmMain::receivePlayStart(int time)
{
    QObject *obj = sender();
    if (obj == ui->videoInput) {
#ifdef betaversion
        OsdGraph::testOsd(ui->videoInput);
#endif
        ui->videoInput->recordStart(AppConfig::VideoPush);
    } else if (obj == audioInput) {
        audioInput->recordStart(AppConfig::AudioPush);
    }
}

void frmMain::on_btnStart_clicked()
{
    if (ui->btnStart->text() == "启动服务") {
        if (AppConfig::VideoUrl == "video=" || AppConfig::AudioUrl == "audio=") {
            QtHelper::showMessageBoxError("请先打开系统设置, 选择对应的视音频设备");
            //return;
        }

        ui->videoInput->open(AppConfig::VideoUrl);
        ui->videoOutput->open(AppConfig::VideoPull);
        audioInput->setMediaUrl(AppConfig::AudioUrl);
        audioOutput->setMediaUrl(AppConfig::AudioPull);
        audioInput->play();
        audioOutput->play();
        checkInput->start();
        ui->btnStart->setText("停止服务");
    } else {
        ui->videoInput->stop();
        ui->videoOutput->stop();
        audioInput->stop();
        audioOutput->stop();
        checkInput->stop();
        ui->btnStart->setText("启动服务");
        QMetaObject::invokeMethod(this, "clearLevel", Qt::QueuedConnection);
    }

    AppConfig::StartServer = (ui->btnStart->text() == "停止服务");
    AppConfig::writeConfig();
}

void frmMain::on_btnConfig_clicked()
{
    static frmConfig *config = NULL;
    if (!config) {
        config = new frmConfig;
        connect(config, SIGNAL(formChanged()), this, SLOT(formChanged()));
    }

    config->show();
    config->activateWindow();
}

void frmMain::on_ckInput_stateChanged(int arg1)
{
    bool muted = (arg1 != 0);
    audioInput->setMuted(muted);
    AppConfig::MuteInput = muted;
    AppConfig::writeConfig();
}

void frmMain::on_ckOutput_stateChanged(int arg1)
{
    bool muted = (arg1 != 0);
    audioOutput->setMuted(muted);
    AppConfig::MuteOutput = muted;
    AppConfig::writeConfig();
}

四、相关地址

  1. 国内站点:https://gitee.com/feiyangqingyun
  2. 国际站点:https://github.com/feiyangqingyun
  3. 个人作品:https://blog.csdn.net/feiyangqingyun/article/details/97565652
  4. 文件地址:https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码:01jf 文件名:bin_video_call。

五、功能特点

  1. 支持局域网和外网音视频实时通话,延迟极低,资源占用极低。
  2. 自动获取本地所有视音频输入设备,本地摄像头设备自动罗列所有支持的分辨率、帧率、采集格式等信息。
  3. 可以指定采集的视频设备和音频输入设备,自由组合,视频设备可以设置不同的分辨率、帧率、采集格式。
  4. 支持本地桌面屏幕作为视频设备采集,支持多个屏幕,自动识别屏幕分辨率。
  5. 可以选择不同的声卡设备播放声音。
  6. 内置自动重连机制,视音频设备支持热插拔。
  7. 支持固定画中画功能,可交换主画面和浮窗画面,可设置画面左右排列等布局方式。
  8. 可自定义悬浮画面位置,指定左上角、右上角、左下角、右下角、自定义位置和大小。
  9. 内置流媒体服务程序,程序启动后自动启动流媒体服务,自动推拉流。
  10. 视音频流数据支持rtsp/rtmp/http/webrtc等方式拉流,可以直接网页上打开视频画面。
  11. 实时显示本地音频振幅和远程音量振幅,可以分别对输入输出音量设置静音,方便测试。
  12. 支持自定义水印,包括文字和图片水印,支持多个水印,指定任意位置。
  13. 支持不同的视音频设备组合,比如本地摄像头加电脑麦克风而不是摄像头的麦克风,比如本地电脑桌面屏幕加摄像头的麦克风等。
  14. 纯Qt+ffmpeg编写,支持windows和linux以及macos等系统,支持所有Qt版本、所有系统、所有编译器。
  15. 支持嵌入式linux板子和树莓派香橙派等,以及国产linux系统。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2395789.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

解决 Win11 睡眠后黑屏无法唤醒的问题

目录 一、问题描述二、解决方法1. 禁用快速启动2. 设置 Management Engine Interface3. 允许混合睡眠其他命令 4. 修复系统文件5. 更新 Windows 或驱动程序6. 其他1)更改电源选项2)刷新 Hiberfil.sys 文件3)重置电源计划4)运行系统…

[ElasticSearch] RestAPI

🌸个人主页:https://blog.csdn.net/2301_80050796?spm1000.2115.3001.5343 🏵️热门专栏: 🧊 Java基本语法(97平均质量分)https://blog.csdn.net/2301_80050796/category_12615970.html?spm1001.2014.3001.5482 🍕 Collection与…

Linux中的shell脚本

什么是shell脚本 shell脚本是文本的一种shell脚本是可以运行的文本shell脚本的内容是由逻辑和数据组成shell脚本是解释型语言 用file命令可以查看文件是否是一个脚本文件 file filename 脚本书写规范 注释 单行注释 使用#号来进行单行注释 多行注释 使用 : " 注释内容…

dvwa3——CSRF

LOW: 先尝试change一组密码:123456 修改成功,我们观察上面的url代码 http://localhost/DVWA/vulnerabilities/csrf/?password_new123456&password_conf123456&ChangeChange# 将password_new部分与password_conf部分改成我们想要的…

【学习笔记】Transformer

学习的博客(在此致谢): 初识CV - Transformer模型详解(图解最完整版) 1 整体结构 Transformer由Encoder和Decoder组成,分别包含6个block。 Transformer的工作流程大体如下: 获取每个单词的em…

欢乐熊大话蓝牙知识12:用 BLE 打造家庭 IoT 网络的三种方式

🏠 用 BLE 打造家庭 IoT 网络的三种方式 不止是“蓝牙耳机”,BLE 还能把你家“点亮成精”! 👋 前言:BLE 不只是蓝牙耳机的“代名词” 蓝牙?很多人一听就联想到“耳机连接失败请重试”。但你知道吗?现在 BLE(Bluetooth Low Energy)在智能家居中已经偷偷搞起了大事情。…

02.上帝之心算法用GPU计算提速50倍

本文介绍了上帝之心的算法及其Python实现,使用Python语言的性能分析工具测算性能瓶颈,将算法最耗时的部分重构至CUDA C语言在纯GPU上运行,利用GPU核心更多并行更快的优势显著提高算法运算速度,实现了结果不变的情况下将耗时缩短五…

MES管理系统:Java+Vue,含源码与文档,实现生产过程实时监控、调度与优化,提升制造企业效能

前言: 在当今竞争激烈的制造业环境中,企业面临着提高生产效率、降低成本、提升产品质量以及快速响应市场变化等多重挑战。MES管理系统作为连接企业上层计划管理系统与底层工业控制之间的桥梁,扮演着至关重要的角色。它能够实时收集、分析和处…

LeetCode算法题 (搜索二维矩阵)Day18!!!C/C++

https://leetcode.cn/problems/search-a-2d-matrix/description/ 一、题目分析 给你一个满足下述两条属性的 m x n 整数矩阵: 每行中的整数从左到右按非严格递增顺序排列。每行的第一个整数大于前一行的最后一个整数。 给你一个整数 target ,如果 ta…

VectorStore 组件深入学习与检索方法

考虑到目前市面上的向量数据库众多,每个数据库的操作方式也无统一标准,但是仍然存在着一些公共特征,LangChain 基于这些通用的特征封装了 VectorStore 基类,在这个基类下,可以将方法划分成 6 种: 相似性搜…

HackMyVM-First

信息搜集 主机发现 ┌──(kali㉿kali)-[~] └─$ nmap -sn 192.168.43.0/24 Starting Nmap 7.95 ( https://nmap.org ) at 2025-05-31 06:13 EDT Nmap scan report for 192.168.43.1 Host is up (0.0080s latency). MAC Address: C6:45:66:05:91:88 (Unknown) …

跨平台浏览器集成库JxBrowser 支持 Chrome 扩展程序,高效赋能 Java 桌面应用

JxBrowser 是 TeamDev 开发的跨平台库,用于在 Java 应用程序中集成 Chromium 浏览器。它支持 HTML5、CSS3、JavaScript 等,具备硬件加速渲染、双向 Java 与 JavaScript 连接、丰富的事件监听等功能,能处理网页保存、打印等操作,助…

WEBSTORM前端 —— 第3章:移动 Web —— 第3节:移动适配

目录 一、移动Web基础 1.谷歌模拟器 2.屏幕分辨率 3.视口 4.二倍图 二、适配方案 三、rem 适配方案 四、less 1.less – 简介 2.less – 注释 3.less – 运算 4.less – 嵌套 5.less – 变量 6.less – 导入 7.less – 导出 8.less – 禁止导出 五…

弱光环境下如何手持相机拍摄静物:摄影曝光之等效曝光认知

写在前面 博文内容为一次博物馆静物拍摄笔记的简单总结内容涉及:弱光环境拍摄静物如何选择,以及等效曝光的认知理解不足小伙伴帮忙指正 😃,生活加油 我看远山,远山悲悯 持续分享技术干货,感兴趣小伙伴可以关注下 _ 采…

【HTML】基础学习【数据分析全栈攻略:爬虫+处理+可视化+报告】

- 第 102 篇 - Date: 2025 - 05 - 31 Author: 郑龙浩/仟墨 文章目录 HTML 基础学习一 了解HTML二 HTML的结构三 HTML标签1 标题2 文本段落3 换行4 加粗、斜体、下划线5 插入图片6 添加链接7 容器8 列表9 表格10 class类 HTML 基础学习 一 了解HTML 一个网页分为为三部分&…

Next.js路由导航完全指南

在前端框架(如 React、Vue 等)或移动端开发中,路由系统是实现页面 / 界面导航的核心机制。Next.js 采用 文件系统路由(File System Routing),即根据项目目录结构自动生成路由。 Next.js 目前有两套路由解决…

五、web安全--XSS漏洞(1)--XSS漏洞利用全过程

本文章仅供学习交流,如作他用所承受的法律责任一概与作者无关1、XSS漏洞利用全过程 1.1 寻找注入点:攻击者首先需要找到目标网站中可能存在XSS漏洞的注入点。这些注入点通常出现在用户输入能够直接输出到页面,且没有经过适当过滤或编码的地方…

【C++高级主题】命令空间(六):重载与命名空间

目录 一、候选函数与命名空间:重载的 “搜索范围” 1.1 重载集的构成规则 1.2 命名空间对候选函数的隔离 二、重载与using声明:精准引入单个函数 2.1 using声明与重载的结合 2.2 using声明的冲突处理 三、重载与using指示:批量引入命名…

Tomcat运行比较卡顿进行参数调优

在Tomcat conf/catalina.bat或catalina.sh中 的最上面增加参数 1. 初步调整参数(缓解问题) set JAVA_OPTS -Xms6g -Xmx6g -Xmn3g # 增大新生代,减少对象过早晋升到老年代 -XX:MetaspaceSize256m -XX:MaxMetaspaceS…

C++四种类型转换方式

const_cast,去掉(指针或引用)常量属性的一个类型转换,但需要保持转换前后类型一致static_cast,提供编译器认为安全的类型转换(最常使用)reinterpret_cast,类似于c语言风格的强制类型转换,不保证安全;dynamic_cast,主要用于继承结构中&#xf…