OpenCV教程（9）图像容器Mat

Mat结构的使用

自2001年以来，OpenCV的函数库一直都是基于C的接口构建的，因此在最初的几个版本中，一般使用名为IplImage的C语言结构体在内存中存储图像，时至今日，这仍然出现在旧版教材或嵌入式代码中。

C++的出现，带来了类的概念，这使得我们有了另外一个选择，自动内存管理（一定程度上），在对于广大的图像处理领域的开发人员来说，的确是一件可喜可贺的事情。同样的，OpenCV2/3引入了C++的内存管理机制，利用自动内存管理给出了解决内存泄漏的新方法。使用这种方法，我们不需要再纠结于内存管理，而且代码会变得干净而整洁。

OpenCV中有一个重要的名为Mat的类,首先我们对它稍作了解：

(1) 不需要手动为其开辟内存空间；

(2) 不需要手动释放内存空间。

Mat是一个类，它由两个数据部分组成：矩阵头（包含矩阵尺寸、存储方法、存储地址等信息）和一个指向存储所有像素值的矩阵的内存空间的指针。OpenCV是一个图像处理库，囊括了大量的图像处理函数，为了解决问题通常要使用函数库中的很多函数，因此在函数中传递图像是常有的事情。同时，图像处理涉及到大量的数据运算和处理，因此，除非万不得已，不应该进行大图像的复制操作，因为这会大幅降低程序的运行速度。

为了解决这一问题，opencv使用了引用计数机制，其思路是让每个Mat对象有自己的信息头，但共享同一个矩阵信息。这通过让矩阵指针指向同一地址来实现。而拷贝构造函数则只需要复制信息头和矩阵指针，而不复制整个矩阵数据。

感兴趣区域（ROI）

我们有多种方法可以从现实世界中获取数字图像：数码相机，扫描仪，计算机断层扫描和磁共振成像等等。在每种情况下，我们（人类）看到的都是图像。然而，当将其转换为我们的数字设备时，我们记录的是图像的每个点的数值。

例如，在上图中，您可以看到汽车的镜子只不过是一个包含像素点所有强度值的矩阵。我们如何获取和存储像素值可能根据我们的需要而变化，但最终计算机世界中的所有图像可以简化为数字矩阵和描述矩阵本身的其他信息。OpenCV是一个计算机视觉库，其主要重点是处理和操作这些信息。因此，您需要熟悉的第一件事是OpenCV如何存储和处理图像。

Mat

OpenCV自2001年开始出现。那时候，这个库是围绕一个C接口构建的，并将图像存储在内存中，它们使用了一个名为IplImage的C结构。这是您在大多数旧教程和教学材料中看到的内容。这样做的问题是它带来了C语言的所有缺点。最大的问题是手动内存管理。它建立在用户负责处理内存分配和释放的假设之上。虽然这对于较小的程序来说不是问题，但是一旦你的代码库增长，处理所有这些问题将更加困难，而不是专注于解决你的开发目标。

幸运的是，C ++出现并通过自动内存管理（或多或少）引入了类更容易让用户使用的概念。好消息是C ++与C完全兼容，因此进行更改不会产生兼容性问题。因此，OpenCV 2.0引入了一种新的C ++接口，它提供了一种新的处理方式，这意味着您不需要操作内存管理，使您的代码更简洁（更少编写，实现更多）。C ++界面的主要缺点是目前许多嵌入式开发系统只支持C.因此，除非你的目标是嵌入式平台，否则使用旧方法是没有意义的（除非你是一个受虐狂的程序员，你要问的是麻烦）。

关于Mat，您需要了解的第一件事是，您不再需要手动分配其内存并在不需要时立即释放它。虽然这样做仍有可能，但大多数OpenCV函数都会自动分配其输出数据。如果您传递已经存在的Mat对象（已经为矩阵分配了所需的空间），这将是一个很好的奖励，这将被重用。换句话说，我们始终只使用执行任务所需的内存。

Mat基本上是一个包含两个数据部分的类：矩阵头（包含诸如矩阵大小，用于存储的方法，存储矩阵的地址等信息）和指向包含矩阵的矩阵的指针。像素值（取决于选择存储的方法取任何维度）。矩阵标题大小是恒定的，但是矩阵本身的大小可能因图像而异，并且通常大于数量级。

OpenCV是一个图像处理库。它包含大量图像处理功能。为了解决计算挑战，大多数时候您最终会使用库的多个功能。因此，将图像传递给函数是一种常见的做法。我们不应该忘记我们正在讨论图像处理算法，这些算法往往计算量很大。我们要做的最后一件事是通过制作不必要的潜在大图像副本来进一步降低程序的速度。

为解决此问题，OpenCV使用引用计数系统。这个想法是每个Mat对象都有自己的头，但是矩阵可以通过让矩阵指针指向同一个地址来共享它们的两个实例。此外，复制操作符只会将标题和指针复制到大矩阵，而不是数据本身。

Mat A，C; //只创建标题部分

A = imread（argv [1]，IMREAD_COLOR）; //这里我们会知道使用的方法（分配矩阵）

Mat B（A）; //使用复制构造函数

C = A; //赋值运算符

最后，所有上述对象都指向相同的单个数据矩阵。但是，它们的标题不同，并且使用它们中的任何一个进行修改也会影响所有其他标题。实际上，不同的对象只是为相同的底层数据提供不同的访问方法。然而，他们的标题部分是不同的。真正有趣的部分是您可以创建仅涉及完整数据的子部分的标题。例如，要在图像中创建感兴趣区域（ROI），只需使用新边界创建新标题：

Mat D（A，Rect（10,10,100,100））; //使用矩形

Mat E = A（Range :: all（），Range（1,3））; //使用行和列边界

现在您可能会问矩阵本身是否属于多个Mat对象，这些对象在不再需要时负责清理它。简短的回答是：使用它的最后一个对象。这是通过使用引用计数机制来处理的。每当有人复制Mat对象的标题时，矩阵的计数器就会增加。每当清洁标题时，该计数器就会减少。当计数器达到零时，矩阵也被释放。有时您也希望复制矩阵本身，因此OpenCV提供了cv :: Mat :: clone（）和cv :: Mat :: copyTo（）函数。

Mat F = A.clone（）;

Mat G;

A.copyTo（G）;

修改F或G不会影响Mat头指向的矩阵。你需要记住的是：

• OpenCV函数的输出图像的内存分配是自动的（除非另有说明）。
• 您不需要考虑使用OpenCV的 C ++接口进行内存管理。
• 赋值运算符和复制构造函数仅复制信息头。

可以使用cv :: Mat :: clone（）和cv :: Mat :: copyTo（）函数复制图像的基础矩阵。

像素值的存储方法

存储像素值需要选择颜色空间和使用的数据类型。

颜色空间 指的是我们如何组合颜色组件以编码给定颜色。最简单的是灰度，我们处理的颜色是黑色和白色。这些组合使我们可以创建许多灰色阴影。

对于丰富多彩的方式，我们有更多的方法可供选择。它们中的每一个都将其分解为三个或四个基本组件，我们可以使用这些组合来创建其他组件。最受欢迎的是RGB，主要是因为这也是我们的眼睛如何建立颜色。它的基色是红色，绿色和蓝色。要编码颜色的透明度，有时会加第四个元素：添加alpha（A）。

然而，还有许多其他颜色系统各有其优点：

• RGB是最常见的，因为我们的眼睛使用类似的东西，他也被显示设备所采用，但请记住，OpenCV标准显示系统使用BGR颜色空间（蓝色、绿色和红色通道）组成颜色。
• HSV和HLS将颜色分解为色调，饱和度和值/亮度分量，这是我们描述颜色的更自然的方式。例如，您可能会忽略最后一个组件，使您的算法对输入图像的光照条件不太敏感。
• YCrCb由流行的JPEG图像格式使用。
• CIE L * a * b *是一个感知上均匀的色彩空间，如果您需要测量给定颜色与另一种颜色的距离，它会派上用场。

每个组成元素都有自己的有效域或定义域，而定义域取决于其数据类型，如何存储一个元素决定了我们在其定义域上能够控制的精度。最小的数据类型是char，占据一个字节或8位。也可能是无符号int（因此可以存储0到255之间的值）或有符号（值从-127到+127）。虽然在三个元素的情况下，这已经提供了1600万种可能的颜色来表示（如在RGB的情况下），我们可以通过使用float浮点（4字节= 32位）或double型（8字节= 64位）数据来获得更精细的颜色分辨能力。不过，增加元素的尺寸也会增加图像存储空间的大小。

显式创建Mat对象六种办法：

您已经学习了如何使用cv :: imwrite（）函数将矩阵写入图像文件。但是，出于调试目的，查看实际值会更方便。您可以使用Mat的<<运算符来执行此操作。请注意，这仅适用于二维矩阵。

尽管Mat作为图像容器工作得很好，但它也是一般的矩阵类。因此，可以创建和操纵多维矩阵。您可以通过多种方式创建Mat对象：

1. 【法一】使用Mat（）构造函数  cv :: Mat :: Mat

   Mat M（2,2，CV_8UC3，Scalar（0,0,255））;
   
   cout << “M =” << endl << “” << M << endl << endl;

   

   对于二维和多通道图像，我们首先定义它们的大小：行和列数。然后我们需要指定用于存储元素的数据类型和每个矩阵点的通道数。为此，我们根据以下约定构建了多个定义：

   CV_ [每个项目的位数] [有符号或无符号] [类型前缀] C [通道号]

   例如，CV_8UC3意味着我们使用8位长的无符号字符类型，每个像素有三个元素以形成三个通道。这是预定义的最多四个通道号。该CV ::标量是四个元件短矢量。指定此项，您可以使用自定义值初始化所有矩阵点。如果您需要更多，可以使用上部宏创建类型，在括号中设置通道编号，如下所示。

2. 【法二】使用C / C ++数组并通过构造函数初始化

   int [3] = {2,2,2};
   
   Mat L（3，sz，CV_8UC（1），Scalar :: all（0））;
   

   上面的示例显示了如何创建具有两个以上维度的矩阵。指定其尺寸，然后传递包含每个尺寸的尺寸的指针，其余尺寸保持不变。

3. 【法三】cv :: Mat :: create 函数：

M.create（4,4，CV_8UC（2））;

cout << “M =” << endl << “” << M << endl << endl;

您无法使用此构造初始化矩阵值。如果新大小不适合旧大小，它将仅重新分配其矩阵数据存储器。

4. 【法四】MATLAB样式初始化器：

cv :: Mat :: zeros，cv :: Mat :: ones，cv :: Mat :: eye。

指定要使用的大小和数据类型：

Mat E = Mat :: eye（4,4，CV_64F）;

cout << “E =” << endl << “” << E << endl << endl;

Mat O = Mat :: ones（2,2，CV_32F）;

cout << “O =” << endl << “” << O << endl << endl;

Mat Z = Mat :: zeros（3,3，CV_8UC1）;

cout << “Z =” << endl << “” << Z << endl << endl;

5. 【法五】对于小型矩阵使用逗号分隔初始化：

初始值设定项或初始化列表（在最后一种情况下需要C ++ 11支持）：

Mat C =（Mat_ <double>（3,3）<< 0，-1,0，-1,5，-1,0，-1,0）;

cout << “C =” << endl << “” << C << endl << endl;

C =（Mat_ <double>（{0，-1,0，-1,5，-1,0，-1,0}））。reshape（3）;

cout << “C =” << endl << “” << C << endl << endl;

6. 【法六】为现有Mat对象创建一个新信息头：

cv :: Mat :: clone或cv :: Mat :: copyTo。

Mat RowClone = C.row（1）.clone（）;

cout << “RowClone =” << endl << “” << RowClone << endl << endl;

注意：使用cv :: randu（）函数填充具有随机值的矩阵，需要为随机值指定较低和较高值：

Mat R = Mat（3,2，CV_8UC3）;

randu（R，Scalar :: all（0），Scalar :: all（255））;

输出格式

在上面的示例中，您可以看到默认格式选项。但是，OpenCV允许您格式化矩阵输出：

• 默认

  cout << “R（默认）=” << endl << R << endl << endl;

  

• Python

  cout << “R（python）=” << endl << format（R，Formatter :: FMT_PYTHON）<< endl << endl;

  

• 逗号分隔值（CSV）

  cout << “R（csv）=” << endl << format（R，Formatter :: FMT_CSV）<< endl << endl;

  

• NumPy

  cout << “R（numpy）=” << endl << format（R，Formatter :: FMT_NUMPY）<< endl << endl;

  

• C

  cout << “R（c）=” << endl << format（R，Formatter :: FMT_C）<< endl << endl;

  

输出其他常见数据结构

OpenCV也通过<<运算符提供对其他常见OpenCV数据结构输出的支持：

• 2D点

  Point2f P（5,1）;

  cout << “Point（2D）=” << P << endl << endl;

  

• 3D点

  Point3f P3f（2,6,7）;

  cout << “Point（3D）=” << P3f << endl << endl;

  

• std :: vector via cv :: Mat

  vector <float> v;

  v.push_back（（float）CV_PI）; v.push_back（2）; v.push_back（3.01f）;

  cout << “浮动的向量通过Mat =” << Mat（v）<< endl << endl;

  

• std ::点的向量

  vector <Point2f> vPoints（20）;

  for（size_t i = 0; i <vPoints.size（）; ++ i）

  vPoints [i] = Point2f（（float）（i * 5），（float）（i％7））;

  cout << “2D点的矢量=” << vPoints << endl << endl;