opencv进阶 ——（十二）基于三角剖分实现人脸对齐

news2025/10/31 18:01:52

 三角剖分概念  

        三角剖分（Triangulation）是一种将多边形或曲面分解为一系列互不相交的三角形的技术，它是计算几何、计算机图形学、地理信息系统、工程和科学计算中的一个基本概念。通过三角剖分，复杂的形状可以被简化为基本的三角形元素，这些元素更容易处理和分析。

在二维空间中，一个简单的三角剖分将一个多边形划分为若干个不相交的三角形，这些三角形的边要么是多边形的边，要么是连接多边形内部点的边。在三维空间中，三角剖分通常应用于表面建模，将一个曲面分割成一系列互不相交的三角面片。

三角剖分有多种类型，其中最著名的一种是Delaunay三角剖分。在Delaunay剖分中，一个点的邻接三角形的内切圆（包含该点但不包含其他点的最小圆）是唯一的，且该点位于圆的外部。这种剖分在很多应用中非常有用，因为它保证了相邻三角形之间的良好分布，从而避免了过于狭长的三角形，这对于数值计算和图形渲染来说是理想的。

三角剖分在以下领域有广泛应用：

  • 计算机图形学：在3D建模和渲染中，用于将复杂的模型简化为三角面片，便于计算和显示。
  • 地理信息系统（GIS）：用于将地图数据分割成三角形网格，便于空间分析和数据可视化。
  • 有限元分析（FEM）：在工程计算中，用于将连续区域划分为离散的三角形单元，以便于数值求解偏微分方程。
  • 游戏开发：在游戏引擎中，用于减少模型的多边形数量，提高渲染效率。
  • 机器学习：在某些算法中，比如最近邻搜索，Delaunay三角剖分可以作为数据结构加速计算。

        三角剖分通常可以通过算法来实现，例如Graham扫描、 Jarvis March 或者更高效的算法如incremental方法和flip-based方法。在实际应用中，有许多现成的库和工具提供了三角剖分的功能，例如CGAL（Computational Geometry Algorithms Library）和Triangle库。 

人脸对齐实现   

实现步骤 

1、检测人脸区域

2、对人脸区域进行关键点标识

3、考虑到人脸可以存在倾斜，为了能更好的对齐效果，可以对关键点做旋转矩阵拟合

4、这里以经典的人脸68关键点为示例，为了边界部分更自然，可以对旋转矩阵进行扩展

5、将每一个三角形与目标三角形进行仿射变换得到一张与目标点对齐的人脸

代码实现

扩展旋转矩阵区域

void increaseRect(std::vector<cv::Point2f>& points,const cv::Mat& img)
{
    // 计算点集合构成的矩形的边界框
    cv::Rect rect = cv::boundingRect(points);
    // 定义增加比例
    float scale = 0.2;
    // 计算增加的宽度和高度
    int width = rect.width*scale;
    int height = rect.height*scale;

    // 定义增加值的lambda函数，用于安全地增加或减少一个值
    auto addVal = [](float& val, float add, float max){
        val = std::min(val + add, max); // 确保值不会超过最大值
    };

    auto subVal = [](float& val, float sub, float min){
        val = std::max(val - sub, min); // 确保值不会低于最小值
    };

    // 应用增加的宽度和高度来调整四个顶点的位置
    // 调整第一个点的x坐标和y坐标
    subVal(points[0].x, width, 0);
    addVal(points[0].y, height, img.rows);
    // 调整第二个点的x坐标和y坐标
    subVal(points[1].x, width, 0);
    subVal(points[1].y, height, 0);
    // 调整第三个点的x坐标和y坐标
    addVal(points[2].x, width, img.cols);
    subVal(points[2].y, height, 0);
    // 调整第四个点的x坐标和y坐标
    addVal(points[3].x, width, img.cols);
    addVal(points[3].y, height, img.rows);
}

增加边界点

void FillPointRect(const std::vector<cv::Point2f>& points,  std::vector<cv::Point>& vecPoint)
{
    // 临时存储扩充的点
    std::vector<cv::Point> addPointsTmp; 
    
    // 根据原始点集，通过向每个点添加偏移量来生成新的点
    addPointsTmp.push_back(points[0] + cv::Point2f(1, -1));
    addPointsTmp.push_back(points[1] + cv::Point2f(1, +1));
    addPointsTmp.push_back(points[2] + cv::Point2f(-1, +1));
    addPointsTmp.push_back(points[3] + cv::Point2f(-1, -1));

    // 通过现有点计算并加入新的点，以构成矩形的外接多边形
    addPointsTmp.push_back((addPointsTmp[0]  + addPointsTmp[1])/2);
    addPointsTmp.push_back((addPointsTmp[1]  + addPointsTmp[2])/2);
    addPointsTmp.push_back((addPointsTmp[2]  + addPointsTmp[3])/2);
    addPointsTmp.push_back((addPointsTmp[3]  + addPointsTmp[0])/2);

    // 将扩充的点集添加到输出向量中
    vecPoint.insert(vecPoint.end(), addPointsTmp.begin(), addPointsTmp.end());
}

获取所有的三角形下标

//获取三角形下标
std::vector<cv::Vec3i> Triangulation::getTrianglesIndexs(std::vector<cv::Vec6f>& triangleList, std::vector<cv::Point>& vecPoint)
{
    auto findPoint = [&vecPoint](cv::Point& p){
        for (int i = 0; i < vecPoint.size(); i++)
        {
            if (vecPoint[i] == p)
            {
                return i;
            }    
        }
        return -1;
    };
    
    std::vector<cv::Vec3i> trianglesIndexs;
    for (auto& item : triangleList)
    {
        cv::Point p1 = cv::Point(item[0], item[1]);
        cv::Point p2 = cv::Point(item[2], item[3]);
        cv::Point p3 = cv::Point(item[4], item[5]);

        auto idx1 = findPoint(p1);
        auto idx2 = findPoint(p2);
        auto idx3 = findPoint(p3);
        if (idx1 != -1 && idx2 != -1 && idx3 != -1)
        {
            trianglesIndexs.push_back(cv::Vec3i(idx1, idx2, idx3));
        }
    }
    return trianglesIndexs;
}

绘制三角剖分图

std::vector<cv::Point> vecPoint = item.boxPoint;
        auto rotateRect = cv::minAreaRect(vecPoint);
        cv::Point2f pot[4];
        rotateRect.points(pot);
        std::vector<cv::Point2f> rotatePoints{pot[0], pot[1], pot[2], pot[3]};

        increaseRect(rotatePoints, img);

        
        FillPointRect(rotatePoints, vecPoint);
        std::vector<cv::Point> vecHull;
        cv::convexHull(vecPoint, vecHull);
        
        auto rect = cv::boundingRect(vecHull);
        
        cv::Subdiv2D subdiv(rect);
        std::vector<cv::Point2f> vecPoint2f;
        for (auto& ptIt : vecPoint)
        {
            vecPoint2f.emplace_back(cv::Point2f(ptIt.x, ptIt.y));
        }
         
        subdiv.insert(vecPoint2f);
        std::vector<cv::Vec6f> triangleList;
        subdiv.getTriangleList(triangleList);
    
        auto trianglesIndexs = std::move(getTrianglesIndexs(triangleList, vecPoint));

        for (auto& item : trianglesIndexs)
        {
            cv::Point pt1 = vecPoint[item[0]];
            cv::Point pt2 = vecPoint[item[1]];
            cv::Point pt3 = vecPoint[item[2]];

            cv::line(destDataOut->img(), pt1, pt2, 255);
            cv::line(destDataOut->img(), pt2, pt3, 255);
            cv::line(destDataOut->img(), pt3, pt1, 255);
        }

人脸对齐

cv::Mat alignmentImageData(const cv::Mat& srcImg, const cv::Rect& srcBox, std::vector<cv::Point> vecPointRoi, std::vector<cv::Point> vecDestPointRoi)
{
    auto srcImgRoi = srcImg(srcBox);

    //构建三角剖分，获取三角形下标
    cv::Subdiv2D subdiv(cv::Rect(0, 0, srcBox.width, srcBox.height));
    std::vector<cv::Point2f> vecPoint2f;
    vecPoint2f.insert(vecPoint2f.end(), vecPointRoi.begin(), vecPointRoi.end());
    
    subdiv.insert(vecPoint2f);
    std::vector<cv::Vec6f> triangleList;
    subdiv.getTriangleList(triangleList);
 
    auto trianglesIndexs = std::move(getTrianglesIndexs(triangleList, vecPointRoi));
    qDebug() << "triangles size:" << trianglesIndexs.size();
    
    
    cv::Mat destNewImg = srcImgRoi.clone();
    auto maxRoiSize = srcImgRoi.size();

    for (auto& item : trianglesIndexs)
    {
        cv::Point tr1Pt1 = vecPointRoi[item[0]];
        cv::Point tr1Pt2 = vecPointRoi[item[1]];
        cv::Point tr1Pt3 = vecPointRoi[item[2]];

        auto rect1 = cv::boundingRect(std::vector<cv::Point>{tr1Pt1, tr1Pt2, tr1Pt3});
        auto croppedTriangle = srcImgRoi(rect1);
        cv::Point rect1Beg = cv::Point(rect1.x, rect1.y);


        cv::Point tr2Pt1 = vecDestPointRoi[item[0]];
        cv::Point tr2Pt2 = vecDestPointRoi[item[1]];
        cv::Point tr2Pt3 = vecDestPointRoi[item[2]];


        auto rect2 = cv::boundingRect(std::vector<cv::Point>{tr2Pt1, tr2Pt2, tr2Pt3});
        cv::Mat croppedTr2Mask = cv::Mat::zeros(rect2.size(),  CV_8UC1);
        //生成模板图像三角形掩码
        cv::Point rect2Beg = cv::Point(rect2.x, rect2.y);
        std::vector<cv::Point> maskPoints2 = {tr2Pt1 - rect2Beg, tr2Pt2 - rect2Beg, tr2Pt3 - rect2Beg};
        cv::fillConvexPoly(croppedTr2Mask, maskPoints2, 255);

        cv::Point2f srcTri[3] = {tr1Pt1 - rect1Beg, tr1Pt2 - rect1Beg, tr1Pt3 - rect1Beg};
        cv::Point2f dstTri[3] = {tr2Pt1 - rect2Beg, tr2Pt2 - rect2Beg, tr2Pt3 - rect2Beg};
        auto warpMat = cv::getAffineTransform(srcTri, dstTri);

        cv::Mat warpTriangle;
        cv::warpAffine(croppedTriangle, warpTriangle, warpMat, rect2.size());

        cv::bitwise_and(warpTriangle, warpTriangle, warpTriangle, croppedTr2Mask);
        cv::Mat roi = destNewImg(rect2);
        warpTriangle.copyTo(roi, croppedTr2Mask);
    }
    return  destNewImg;
}

人脸68关键点和5关键点三角剖分图

人脸对齐

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1795106.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【蓝桥杯2025备赛】分巧克力

【蓝桥杯2025备赛】分巧克力

【蓝桥杯2025备赛】分巧克力 [蓝桥杯 2017 省 AB] 分巧克力 题目描述 儿童节那天有 K K K 位小朋友到小明家做客。小明拿出了珍藏的巧克力招待小朋友们。 小明一共有 N N N 块巧克力&#xff0c;其中第 i i i 块是 H i W i H_i \times W_i Hi​Wi​ 的方格组成的长方形…
阅读更多...
达梦 执行查询语句时报[-544]:Out of sort buf space

达梦 执行查询语句时报[-544]:Out of sort buf space

达梦数据库有时执行SQL中有时报[-544]:Out of sort buf space, try to adjust SORT_BUF_GLOBAL_SIZE, SORT_BUF_SIZE, SORT_BLK_SIZE. 第一反应是这条语句占用排序区太大。但真实原因是前面执行的语句耗光了全局排序区&#xff0c;后面SQL任何小的排序操作都会报这个错误从而执…
阅读更多...
YOLO系列模型 pt文件转化为ONNX导出

YOLO系列模型 pt文件转化为ONNX导出

文章目录 啥是onnx怎么导出导出之后 啥是onnx Microsoft 和合作伙伴社区创建了 ONNX 作为表示机器学习模型的开放标准。许多框架&#xff08;包括 TensorFlow、PyTorch、scikit-learn、Keras、Chainer、MXNet 和 MATLAB&#xff09;的模型都可以导出或转换为标准 ONNX 格式。 在…
阅读更多...
RxSwift - 实现一个MVVM架构的TableView

RxSwift - 实现一个MVVM架构的TableView

文章目录 RxSwift - 实现一个MVVM架构的TableView前沿MVVM架构的Tableview目录结构1、模型&#xff08;Model&#xff09;2、视图模型&#xff08;ViewModel&#xff09;3、视图&#xff08;View&#xff09; 界面效果 RxSwift - 实现一个MVVM架构的TableView 前沿 MVVM架构在…
阅读更多...
敏捷开发：拥抱变化，持续交付价值的艺术

敏捷开发：拥抱变化，持续交付价值的艺术

目录 敏捷开发&#xff1a;拥抱变化&#xff0c;持续交付价值的艺术 引言 第一部分&#xff1a;敏捷开发是什么&#xff1f; a.定义&#xff1a;敏捷开发的基本概念和核心原则 b.历史&#xff1a;敏捷宣言的诞生和敏捷开发的历史背景 c.价值观&#xff1a;敏捷宣言的12条…
阅读更多...
python的优势有哪些？

python的优势有哪些？

python的优点很多&#xff0c;下面简单地列举一些&#xff1a; 简单 Python的语法非常优雅&#xff0c;甚至没有像其他语言的大括号&#xff0c;分号等特殊符号&#xff0c;代表了一种极简主义的设计思想。阅读Python程序像是在读英语。 易学 Python入手非常快&#xff0c;学习…
阅读更多...
for深入学习

for深入学习

目录 练习&#xff1a; 例1&#xff1a; 求解0-100中整除3的数有哪些 例2&#xff1a; 求0-100中含数字9个个数 作业&#xff1a; 练习&#xff1a; 例1&#xff1a; 求解0-100中整除3的数有哪些 代码&#xff1a; #include<stdio.h> int main() {printf("整…
阅读更多...
Ubuntu系统中Apache Web服务器的配置与实战

Ubuntu系统中Apache Web服务器的配置与实战

✨✨ 欢迎大家来访Srlua的博文&#xff08;づ&#xffe3;3&#xffe3;&#xff09;づ╭❤&#xff5e;✨✨ &#x1f31f;&#x1f31f; 欢迎各位亲爱的读者&#xff0c;感谢你们抽出宝贵的时间来阅读我的文章。 我是Srlua小谢&#xff0c;在这里我会分享我的知识和经验。&am…
阅读更多...
封装了一个仿照抖音评论轮播效果的iOS轮播视图

封装了一个仿照抖音评论轮播效果的iOS轮播视图

效果图 原理 就是我们在一个视图里面有两个子视图&#xff0c;一个是currentView, 一个是willShowView,在一次动画过程中&#xff0c;我们改变current View的frame&#xff0c;同时改变willShowView的frame&#xff0c;同时&#xff0c;需要改变currentVIew 的transform.y不然…
阅读更多...
【数据结构】链式二叉树详解

【数据结构】链式二叉树详解

个人主页~ 链式二叉树基本内容~ 链式二叉树详解 1、通过前序遍历的数组来构建二叉树2、二叉树的销毁3、二叉树节点个数4、二叉树叶子节点个数5、二叉树第k层节点个数6、二叉树查找7、前序遍历8、中序遍历9、后序遍历10、层序遍历与检查二叉树是否为完全二叉树Queue.hQueue.c层序…
阅读更多...
（echarts）图上数值显示单位

（echarts）图上数值显示单位

&#xff08;echarts&#xff09;图上数值显示单位 series: [{name: 比例,type: bar,...label: {show: true,position: top,formatter: (params) > params.value % //图上数值显示格式},tooltip: { //鼠标移入图上数值显示格式valueFormatter: function(value) {return val…
阅读更多...
电源设计01

电源设计01

嵌入式电源设计 电池容量的计算电路充电时的选择&#xff1a; 科普硬件知识&#xff0c;写写关于电路板电源的事情。各类电源模块实物但为什么硬件工程师又必须要了解电源并且在板内自己设计电源呢&#xff1f;首先是DCDC的降压芯片下面推荐几个升压芯片&#xff1a;LDO 电池容…
阅读更多...
Unity 自定义编辑器根据枚举值显示变量

Unity 自定义编辑器根据枚举值显示变量

public class Test : MonoBehaviour {[HideInInspector][Header("数量")][SerializeField]public int num;[Header("分布类型")][SerializeField]public DistributionType distType;[HideInInspector][Header("位置")][SerializeField]public Li…
阅读更多...
数据结构 | 超详细讲解七大排序（C语言实现，含动图，多方法！）

数据结构 | 超详细讲解七大排序（C语言实现，含动图，多方法！）

目录 ​编辑 排序的概念 常见排序算法 ​编辑 1.冒泡排序 &#x1f379;图解 &#x1f973;代码实现 &#x1f914;时间复杂度 2.插入排序 &#x1f379;图解 &#x1f334;深度剖析 &#x1f34e;代码思路 &#x1f973;代码实现 &#x1f914;时间复杂度 3.希尔…
阅读更多...
【深度学习-第6篇】使用python快速实现CNN多变量回归预测（使用pytorch框架）

【深度学习-第6篇】使用python快速实现CNN多变量回归预测（使用pytorch框架）

上一篇我们讲了使用CNN进行分类的python代码&#xff1a; Mr.看海&#xff1a;【深度学习-第5篇】使用Python快速实现CNN分类&#xff08;模式识别&#xff09;任务&#xff0c;含一维、二维、三维数据演示案例&#xff08;使用pytorch框架&#xff09; 这一篇我们讲CNN的多变…
阅读更多...
【Linux】磁盘文件和软硬链接

【Linux】磁盘文件和软硬链接

上篇博客我们说了内存级文件&#xff0c;就是文件加载到内存中它的一些操作。那么不可能所有文件文件都要加载到内存中&#xff0c;大部分文件都要存在与一种可以永久性存储数据的硬件中&#xff0c;就是我们要说的磁盘。现在的笔记本电脑用的都是硬盘&#xff0c;你可以理解为…
阅读更多...
C语言 io-文件拷贝

C语言 io-文件拷贝

#include <stdio.h> int main(int argc, const char *argv[]) {//1文件拷贝到2文件FILE* fileAfopen(argv[1],"r");FILE* fileBfopen(argv[2],"w");if(NULLfileA){perror("fopen");return -1;}if(NULLfileB){perror("fopen");re…
阅读更多...
【Vue】scoped解决样式冲突

【Vue】scoped解决样式冲突

默认情况下写在组件中的样式会 全局生效 → 因此很容易造成多个组件之间的样式冲突问题。 全局样式: 默认组件中的样式会作用到全局&#xff0c;任何一个组件中都会受到此样式的影响 局部样式: 可以给组件加上scoped 属性,可以让样式只作用于当前组件 一、代码示例 BaseOne…
阅读更多...
MYSQL ORDER BY

MYSQL ORDER BY

在MySQL中&#xff0c;默认情况下&#xff0c;升序排序会将NULL值放在前面&#xff0c;因为在排序过程中&#xff0c;NULL会被视为最小值。然而&#xff0c;有时会要求在升序排序中需要将NULL值放在最后。 例如根据日期升序时就会出现这种问题 方案一&#xff1a; SELECT sor…
阅读更多...
Docker成功启动Rabbitmq却访问不了管理页面问题解决

Docker成功启动Rabbitmq却访问不了管理页面问题解决

目录 启动步骤&#xff1a; 无法访问问题总结&#xff1a; 启动步骤&#xff1a; 拉取镜像&#xff1a; docker pull rabbitmq 运行&#xff1a; docker run -d -p 5672:5672 -p 15672:15672 --name rabbitmq rabbitmq进入容器&#xff1a; docker exec -it 容器id /bin/…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023