小型文物摄影测量三维建模主体对象识别

小型文物摄影测量三维建模主体对象识别 Recognition method of the main object of three-dimensional photogrammetric modeling of cultural relics 1 2 first-author 牛文渊，1987年生，男，博士研究生，研究方向为摄影测量、文化遗产数字化。E-mail：niu_wenyuan@whu.edu.cn 牛文渊，1987年生，男，博士研究生，研究方向为摄影测量、文化遗产数字化。E-mail：niu_wenyuan@whu.edu.cn niu_wenyuan@whu.edu.cn 1 3 4 corresp 黄先锋，1978年生，男，教授，研究方向为摄影测量、计算机视觉、文化遗产数字化。E-mail：huangxf@whu.edu.cn 黄先锋，1978年生，男，教授，研究方向为摄影测量、计算机视觉、文化遗产数字化。E-mail：huangxf@whu.edu.cn huangxf@whu.edu.cn 1 1 1 5 5 武汉大学 测绘遥感信息工程国家重点实验室, 武汉 430079 武汉大学 测绘遥感信息工程国家重点实验室, 武汉 430079 State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan 430079, China State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan 430079, China 塔里木大学 历史与哲学学院, 阿拉尔 843300 塔里木大学 历史与哲学学院, 阿拉尔 843300 College of History and Philosophy, Tarim University, Alaer 843300, China College of History and Philosophy, Tarim University, Alaer 843300, China 武汉大学 长江文明考古研究院, 武汉 430072 武汉大学 长江文明考古研究院, 武汉 430072 Institute of Yangtze River Civilization Archaeology Research, Wuhan University, Wuhan 430072, China Institute of Yangtze River Civilization Archaeology Research, Wuhan University, Wuhan 430072, China 数字云冈联合实验室, 大同 037034 数字云冈联合实验室, 大同 037034 Laboratory of Associated Digital Yungang Society, Datong 037034, China Laboratory of Associated Digital Yungang Society, Datong 037034, China 武汉大势智慧科技有限公司, 武汉 430223 武汉大势智慧科技有限公司, 武汉 430223 Wuhan Daspatial Technology Co., LTD, Wuhan 430223, China Wuhan Daspatial Technology Co., LTD, Wuhan 430223, China 通过拍照进行三维建模的摄影测量技术是文物数字化的重要手段，然而，在摄影测量文物三维重建过程中，文物所在的场景背景也同时参与计算和建模，需要设法删除，以获得文物单体模型。针对上述问题，本文提出一种小型文物三维模型主体对象识别方法，能够自动删除文物摄影测量三维模型的背景数据。该方法分别利用深度学习网络Mask R-CNN和改进为自动获得初值的One Cut进行文物图像前景内容识别，再融合两种方法的识别结果进行文物图像主体对象分割，最后以二维图像分割结果为依据，逐三角形识别三维模型主体对象，并运用多视角约束法优化识别精度。实验表明，本文方法能够获得小型文物单体化三维模型，无需人工干预且精度较高。 Photogrammetry technology helps us reconstruct three dimensional models of cultural relics just by taking photos. However, the background where the cultural relics are located also participates in modeling simultaneously, which wastes storage space and computing resources. Meanwhile, the independence and aesthetics of the three dimensional models are destroyed. Additionally, pure models of cultural relics are obtained by manually deleting the background in three dimensional scenes, which is time consuming and cannot satisfy the practical needs of the flourishing development of digital cultural heritage. This research aims to obtain the three dimensional pure cultural relic models by deleting the redundant background of the photogrammetric model on the basis of object recognition without manual interaction. This paper proposed a method to delete the background of the three dimensional photogrammetric model of cultural relics by objects recognition. First, we recognized the foreground of the cultural relic image by using the deep learning network Mask R-CNN and One Cut, respectively. Second, we extracted the masks of cultural relics by combining the results of Mask R-CNN and One Cut. Last, we applied the masks of cultural relics to delete the background of three dimensional cultural relic models on the basis of the mapping relationships between images and three dimensional models. Moreover, we used the multi-view constraints to optimize the three dimensional recognition accuracy. Additionally, we improved the One Cut method by automatically setting the initial value. In the processing of three dimensional projecting to two dimensional, regarding the cases where triangles overlap, we applied the depth information to distinguish the triangles of foreground and background in three dimensional models. To evaluate proposed method, two cultural relics were selected for the experiments, including Buddha statues in the Beilin Museum in Shaanxi and Mayan masks in the Mexican Museum. We took photos of them and obtained three dimensional models via GET3D (get3d. cn). Our method performs effectively for the Buddha model and the Mayan masks model. Apparently, most of the background of the models is eliminated, and the main bodies of the models are completely preserved. Compared with the artificially labeled ground truth, it can be found that 1) our method preserved three dimensional models complete with a satisfactory recall of 99.23% and 99.20% for the Buddha model and the Mayan masks model, respectively; 2) the algorithm erased the triangles of background with a simplification rate of 85.34% and 86.44% for the Buddha model and the Mayan masks model, respectively; 3) with the advantage of the multi-view constraints, the recognition accuracy of the three dimensional model is higher than two dimensional image. The method proposed in this paper can automatically delete the background of the three dimensional photogrammetric model without manual intervention and preserve the integrity of the object well. The experimental results demonstrate the proposed method is feasible and effective. However, when applied to large three dimensional models, our method is limited to efficiency, given that we distinguished the overlapped triangles successively. Moreover, our pipeline provides a reference for recognizing three dimensional objects in various three dimensional scenes. 遥感 文物数字化 深度学习 One Cut 三维显著性检测 主体对象识别 remote sensing cultural relics digitization deep learning One Cut three-dimensional saliency detection main object recognition 1　引言 1 现代的摄影测量技术已经发展到让观众在参观博物馆的时候，能够利用相机进行三维建模。利用摄影测量技术进行文物三维建模，与手工建模和激光扫描相比更加经济、高效，模型的纹理、质感也更为真实，已经成为文物数字化的重要技术手段（Ch'ng等，2019； Loaiza等，2020 Loaiza等，2020 ； Gong等，2021 Gong等，2021 ）。此外，公众参与基于摄影测量技术的文化遗产三维数字化记录可以大大节约人力和物力。然而，该方法在获取二维图像、生成三维模型时，无法避免文物所在的场景背景参与计算和建模，从而浪费存储空间和计算资源，破坏三维模型独立性、美观性。对于部分可移动文物，通过灯箱、白板拍摄可以适当避免此类问题；对于不可移动文物和一些不便借助灯箱或白板进行拍摄的文物，只能通过人工删除背景获得文物单体模型。但是，人工方法工作强度大、效率低，无法满足数字文化遗产蓬勃发展的现实需求。同时，对于大量已经借助摄影测量技术构建的文物三维模型，无法完全依赖人工删除背景。因此，需要研究三维模型主体对象识别方法，实现文物三维模型主体对象与背景数据的自动分割。 主体对象识别在计算机视觉领域称为显著性检测，旨在识别图像中的主体对象（ Borji，2015 Borji，2015 ）。经过二十多年发展，显著性检测由视觉注意力机制发展为显著性物体检测（ Ullah等，2020 Ullah等，2020 ），从RGB图像检测扩展出RGBD显著性检测（ Peng等，2014 Peng等，2014 ； Qu等，2017 Qu等，2017 ）、协同显著性检测（ Chen，2010 Chen，2010 ； Li等，2013 Li等，2013 ）、视频显著性检测（ Luo等，2016 Luo等，2016 ； Fu等，2014 Fu等，2014 ），从传统计算机视觉方法过渡到机器学习、深度学习方法（ Cong等，2019 Cong等，2019 ； Han等，2018 Han等，2018 ），检测精度更加可靠，应用场景日益广泛。 三维模型内容显著性检测研究相对较少，然而，有不少研究致力于三维模型的内容识别。随着三维数据处理的研究发展，三维模型内容识别领域主要产生了局部特征法（ Jakab等，2015 Jakab等，2015 ； Guo等，2014 Guo等，2014 ）、全局特征法（ Aldoma等，2012 Aldoma等，2012 ； Shen等，2018 Shen等，2018 ）、点云方法（ Wen等，2018 Wen等，2018 ； Li等，2020 Li等，2020 ）和机器学习/深度学习方法（ Singh等，2019 Singh等，2019 ； Zhao等，2019 Zhao等，2019 ），基于这些方法提出的多种算法均获得了较好的效果（Carvalho和von Wangenheim，2019）。然而，由于三维模型结构复杂，三维场景存在遮挡，待识别目标存在差异，三维数据计算复杂度高，直接基于三维模型的内容识别仍有较多问题没有解决（Carvalho和von Wangenheim，2019； Guo等，2020 Guo等，2020 ； Yang等，2021 Yang等，2021 ）。同时，许多文物存在几何特征不明显、几何结构复杂的情况，依赖几何特征的三维模型识别方法难以发挥良好效果。因此，针对文物三维模型的显著性检测，无法借助现有的三维模型内容识别方法实现，是一个非常值得探索的问题。 大量应用场景中需要针对三维模型进行单体操作和属性赋予，近年来有很多在摄影测量三维模型上进行裁切与重构、实现分离效果的模型单体化研究。目前，主要包括人工标注与切割、手工单体化建模、体元分析、影像分割等单体化方法（ 孙轩 等，2011 孙轩 等，2011 ； Vetrivel等，2015 Vetrivel等，2015 ； Yan等，2017 Yan等，2017 ），这些方法均能在一定场景中满足应用需求。然而，这些单体化方法主要面向城市场景中的建筑物模型，而且难免依赖预处理、人工交互，或需要借助数字高程模型、LiDAR点云等其他数据，无法满足文物自动化主体对象识别的应用需求。 摄影测量三维重建的模型能够提供原始图像与三维模型之间的关联信息。由于在图像中进行对象识别比直接在三维模型中识别要容易很多，因而可以利用这种关联信息降低三维模型著性检测的难度。本文提出一种小型文物摄影测量三维建模的主体对象识别方法，借助二维图像与三维模型的映射关系提取三维重建模型主体对象、去除三维模型背景，实现了基于二维图像的三维模型显著性识别。 2　小型文物摄影测量三维建模主体对象识别方法 1 本文提出一种小型文物摄影测量三维建模主体对象识别方法，核心思想在于借助二维图像与三维模型的映射关系，通过分割二维图像处理三维模型。如 图1 图1 所示，本文方法分为4个步骤：首先使用深度学习网络Mask R-CNN进行文物图像前景分割；其次，基于Mask R-CNN的分割结果确定初值，使用改进为无需人工交互的One Cut方法，对文物图像进行前景分割；然后，融合两次单独的前景分割结果，确定文物图像主体对象；最后以二维图像主体对象分割结果为依据，逐三角形识别三维模型主体对象，并运用多视角约束法优化识别精度。 本文算法的输入包括文物原始三维模型及其相应的无畸变图像和空三文件；输出为文物主体对象三维模型。 2.1　基于Mask R-CNN的文物图像前景分割 2 深度学习通过训练多层感知机得到线性决策函数，再用决策函数对像素进行分类，实现图像识别、分类等功能。博物馆环境下拍摄获得的文物图像，背景和前景相对比较简单，深度学习具有较强的对象识别能力，能够很好地进行文物图像前景内容识别。Mask R-CNN是一个高速、准确、易用的深度学习网络，不仅可以用于实例分割，还能非常容易地泛化应用。如 图2 图2 所示，Mask R-CNN采用ResNet-FPN（Feature Pyramid Network）提取特征，使用RPN（Region Proposal Network）完成目标检测，经过兴趣区对齐（ROI Align）后利用Mask分支进行目标分割（ He等，2017 He等，2017 ），因而能够识别文物图像前景内容并用掩膜标注其范围。因此，本文选用Mask R-CNN进行文物前景内容识别。 Mask R-CNN可以很好地进行文物前景内容识别，准确定位文物主体在图像中的范围，但也存在一定不足，导致无法直接使用其分割结果。在目标检测阶段，RPN在3种尺度上按3种比例（1∶1，1∶2，2∶1）生成的9种Anchors（ He等，2017 He等，2017 ），再对Anchors进行分类和回归提出兴趣区ROI（Region of Interest）。由于RPN生成固定标准的Anchors作为初始检测框，相较于文物主体，若某个Anchor过小，会造成主体对象边缘被裁切；若某个Anchor过大，则包含较多非主体信息，容易造成该Anchor被抑制。同时，博物馆展陈光线复杂、照度较低，许多文物边缘结构复杂，容易导致文物图像的主体与背景边界模糊，并存在大量阴影。算法和图像的原因共同导致Mask R-CNN进行文物前景分割时的缘精度较差，需要联合运用One Cut方法进行主体对象分割。 2.2　基于One Cut的文物图像前景分割 2 图论分割是一种基于能量优化的图像分割方法，最早的图论分割算法为Graph Cuts（ Boykov等，2001b Boykov等，2001b ），该算法将图像转化为由顶点集和边集组成的图，再将图像分割问题转化为最小生成树问题，能够获得良好的分割效果。One Cut（ Tang等，2013 Tang等，2013 ）改进了Graph Cuts及其改进算法Grab Cut（ Rother等，2004 Rother等，2004 ）的能量函数，进而简化了计算量。本文在One Cut基础上，改进初值设定方法，避免人工交互，实现批量化和自动化文物图像主体对象分割。 2.2.1　算法原理与能量函数 3 基于图像构建的图是一种拓扑结构，该结构的顶点对应图像像素，边的权值对应像素之间的差异。根据最大流最小割定理（ Boykov等，2001a Boykov等，2001a ），如果把图中的顶点划分为主体和非主体两个子集，那么在最优分割时，分界边的权值之和最小。因此，主体与非主体分割等同于寻找边权重之和最小割，即求解能量函数最小值的分割。 图3 图3 为由图像构建图并进行分割的过程。图中顶点与图像像素一一对应，顶点之间的黑线称为n-links，代表像素之间差异的权值，对应能量函数的边界项。 <math id="M1"><mi>S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703611&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703610&type= 1.86266661 2.62466669 为源点（source）， <math id="M2"><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703613&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703612&type= 2.11666679 2.62466669 为汇点（sink），分别代表主体端点和非主体端点；顶点与源点、汇点的连线称为t-links，其中红线为s-t-links，蓝线为t-t-links，分别代表像素属于主体和非主体的权值，对应能量函数的区域项。包含上述元素的图可称为 <math id="M3"><mi>S</mi><mo>-</mo><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703243&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703238&type= 8.46666718 2.70933342 图， <math id="M4"><mi>c</mi><mi>u</mi><mi>t</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703234&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703229&type= 4.31799984 2.62466669 是 <math id="M5"><mi>S</mi><mo>-</mo><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703243&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703238&type= 8.46666718 2.70933342 图的一个分割， <math id="M6"><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703665&type= 1.69333339 3.47133350 点和 <math id="M7"><mi>q</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703484&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703481&type= 1.69333339 3.47133350 点则是处于分割边界的一对相邻像素。 1,2; Graph Cuts的能量函数（ Boykov等，2001a Boykov等，2001a ）如下： <math display="block" id="M8"><mi>E</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">S</mi><mo stretchy="false">|</mo><msup><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msup></mrow></mfenced><mo>=</mo><mo>-</mo><msub><mo>∑</mo><mrow><mi>p</mi><mi>ϵ</mi><mi mathvariant="bold">Ω</mi></mrow></msub><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">n</mi><msub><mrow><mi>P</mi></mrow><mrow><mi>r</mi></mrow></msub></mrow><mfenced separators="|"><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi>p</mi></mrow></msub><mo stretchy="false">|</mo><msup><mrow><mi>θ</mi></mrow><mrow><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>p</mi></mrow></msub></mrow></msup></mrow></mfenced><mo>+</mo><mfenced open="|" close="|" separators="|"><mrow><mo>∂</mo><mi mathvariant="bold-italic">S</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703303&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703299&type= 57.91199875 5.58799982 其中， <math display="block" id="M9"><mo stretchy="false">|</mo><mo>∂</mo><mi mathvariant="bold-italic">S</mi><mo stretchy="false">|</mo><mo>=</mo><msub><mo>∑</mo><mrow><mo stretchy="false">{</mo><mi>p</mi><mo>,</mo><mi>q</mi><mo stretchy="false">}</mo><mo>∈</mo><mi>N</mi></mrow></msub><mrow/><msub><mrow><mi>ω</mi></mrow><mrow><mi>p</mi><mi>q</mi></mrow></msub><mo stretchy="false">|</mo><msub><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>p</mi></mrow></msub><mo>-</mo><msub><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>q</mi></mrow></msub><mo stretchy="false">|</mo><mtext> </mtext></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703310&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703306&type= 40.55533600 5.16466665 <math display="block" id="M10"><msub><mrow><mi>ω</mi></mrow><mrow><mi>p</mi><mi>q</mi></mrow></msub><mo>=</mo><mtext> </mtext><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mtext> </mtext><mo stretchy="false">(</mo><mo>-</mo><mtext> </mtext><mfrac><mrow><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>p</mi></mrow></msub><mo>-</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>q</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow><mn mathvariant="normal">2</mn><msup><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfrac><mo stretchy="false">)</mo><mo>·</mo><mtext> </mtext><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>d</mi><mi>i</mi><mi>s</mi><mi>t</mi><mo stretchy="false">(</mo><mi>p</mi><mo>,</mo><mi>q</mi><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703317&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703314&type= 50.88466644 8.89000034 式中， Ω 是图像所有像素的集合， <math id="M11"><mi mathvariant="bold-italic">S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703326&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703321&type= 2.03200006 2.62466669 为当前分割中主体像素的集合， <math id="M12"><msup><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703334&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703330&type= 2.87866688 2.96333337 和 <math id="M13"><msup><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703554&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703553&type= 2.87866688 2.96333337 表示主体和非主体的分布。 <math id="M14"><mo>-</mo><msub><mo>∑</mo><mrow><mi>p</mi><mi>ϵ</mi><mi mathvariant="normal">Ω</mi></mrow></msub><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">n</mi><msub><mrow><mi>P</mi></mrow><mrow><mi>r</mi></mrow></msub></mrow><mfenced separators="|"><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi>p</mi></mrow></msub><mo stretchy="false">|</mo><msup><mrow><mi>θ</mi></mrow><mrow><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>p</mi></mrow></msub></mrow></msup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703351&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703347&type= 26.50066566 5.58799982 为区域项，是对 Ω 中每个像素点分配标签的惩罚； <math id="M15"><msub><mrow><mi>P</mi></mrow><mrow><mi>r</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi>p</mi></mrow></msub><mo stretchy="false">|</mo><msup><mrow><mi>θ</mi></mrow><mrow><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>p</mi></mrow></msub></mrow></msup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703361&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703356&type= 13.37733269 5.33400011 表示 <math id="M16"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703414&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703412&type= 2.28600001 2.62466669 点分布在 <math id="M17"><msup><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703551&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703549&type= 2.87866688 2.96333337 或 <math id="M18"><msup><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703554&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703553&type= 2.87866688 2.96333337 的概率， <math id="M19"><mtext> </mtext><msub><mrow><mi>I</mi></mrow><mrow><mi>p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703395&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703388&type= 3.13266683 3.80999994 为 <math id="M20"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703414&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703412&type= 2.28600001 2.62466669 点的灰度值， <math id="M21"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703409&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703405&type= 3.13266683 3.72533321 为当前分割中 <math id="M22"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703414&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703412&type= 2.28600001 2.62466669 点是否属于 <math id="M23"><mi mathvariant="bold-italic">S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703567&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703566&type= 2.03200006 2.62466669 的二元变量， <math id="M24"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>p</mi><mtext> </mtext></mrow></msub><mo>∈</mo><mo stretchy="false">{</mo><mn mathvariant="normal">0,1</mn><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703426&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703423&type= 16.51000023 4.40266657 ； <math id="M25"><mtext> </mtext><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703431&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703429&type= 3.04800010 2.70933342 点分布在 <math id="M26"><msup><mrow><mi>θ</mi></mrow><mrow><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>p</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703437&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703434&type= 3.72533321 3.47133350 的概率越大，区域项的惩罚值越小。 <math id="M27"><mfenced open="|" close="|" separators="|"><mrow><mo>∂</mo><mi mathvariant="bold-italic">S</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703443&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703440&type= 6.68866634 3.80999994 为 <math id="M28"><mi mathvariant="bold-italic">S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703567&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703566&type= 2.03200006 2.62466669 的边界项，是对当前分割的边界上相邻像素点的差异性惩罚，差异性越大边界项的惩罚值越小； <math id="M29"><msub><mrow><mi>ω</mi></mrow><mrow><mi>p</mi><mi>q</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703458&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703455&type= 4.31799984 3.72533321 为 <math id="M30"><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703665&type= 1.69333339 3.47133350 点和 <math id="M31"><mi>q</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703484&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703481&type= 1.69333339 3.47133350 点的差异性，其中 <math id="M32"><mi>d</mi><mi>i</mi><mi>s</mi><mi>t</mi><mo stretchy="false">(</mo><mi>p</mi><mo>,</mo><mi>q</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703473&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703469&type= 13.97000027 3.64066648 代表 <math id="M33"><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703665&type= 1.69333339 3.47133350 点和 <math id="M34"><mi>q</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703484&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703481&type= 1.69333339 3.47133350 点的空间距离，在四邻域下所有邻域点的距离为1； <math id="M35"><msup><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703490&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703486&type= 3.55599999 2.96333337 为图像中每邻两点之间方差的均值。 通常， <math id="M36"><msup><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703551&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703549&type= 2.87866688 2.96333337 和 <math id="M37"><msup><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703501&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703498&type= 2.87866688 2.96333337 是未知的，需要通过用户标记初值来确定 <math id="M38"><msup><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703551&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703549&type= 2.87866688 2.96333337 和 <math id="M39"><msup><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703554&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703553&type= 2.87866688 2.96333337 ，基于确定的 <math id="M40"><msup><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703551&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703549&type= 2.87866688 2.96333337 和 <math id="M41"><msup><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703554&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703553&type= 2.87866688 2.96333337 优化 <math id="M42"><mi mathvariant="bold-italic">S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703567&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703566&type= 2.03200006 2.62466669 ，再通过 <math id="M43"><mi mathvariant="bold-italic">S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703567&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703566&type= 2.03200006 2.62466669 去优化 <math id="M44"><msup><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703532&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703531&type= 2.87866688 2.96333337 和 <math id="M45"><msup><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703554&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703553&type= 2.87866688 2.96333337 ，迭代进行上述操作，直到分割效果或迭代次数达到预设值。 上述图论分割算法，迭代求解最小化能量函数的过程使得 <math id="M46"><mi mathvariant="bold-italic">S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703567&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703566&type= 2.03200006 2.62466669 和 <math id="M47"><mover><mrow><mi mathvariant="bold-italic">S</mi></mrow><mo>¯</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703543&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703541&type= 2.03200006 3.21733332 各自内部的像素差异性最小，分割边界上分别处于 <math id="M48"><mi mathvariant="bold-italic">S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703567&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703566&type= 2.03200006 2.62466669 和 <math id="M49"><mover><mrow><mi mathvariant="bold-italic">S</mi></mrow><mo>¯</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703547&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703546&type= 2.03200006 3.21733332 的相邻像素差异性最大。比较两幅图像（或图像子集）的直方图，可以更加高效地评估其差异性，One Cut算法利用这一原理改进了图论分割的能量函数，将 <math id="M50"><msup><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703551&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703549&type= 2.87866688 2.96333337 和 <math id="M51"><msup><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703554&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703553&type= 2.87866688 2.96333337 换成了非归一化直方图，用 <math id="M52"><msup><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="bold-italic">S</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703558&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703555&type= 2.96333337 2.96333337 和 <math id="M53"><msup><mrow><mi>θ</mi></mrow><mrow><mover><mrow><mi mathvariant="bold-italic">S</mi></mrow><mo>¯</mo></mover></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703564&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703561&type= 2.96333337 2.79399991 表示。改进后，能量函数仅仅与 <math id="M54"><mi mathvariant="bold-italic">S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703567&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703566&type= 2.03200006 2.62466669 的划分有关，区域项如 式（4） 式（4） 所示： <math display="block" id="M55"><msub><mrow><mi>E</mi></mrow><mrow><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub><mfenced separators="|"><mrow><msup><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="bold-italic">S</mi></mrow></msup><mo>,</mo><msup><mrow><mi>θ</mi></mrow><mrow><mover><mrow><mi mathvariant="bold-italic">S</mi></mrow><mo>¯</mo></mover></mrow></msup></mrow></mfenced><mo>=</mo><mo>-</mo><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msup><mrow><mi>θ</mi></mrow><mrow><mi>S</mi></mrow></msup><mo>-</mo><msup><mrow><mi>θ</mi></mrow><mrow><mover><mrow><mi>S</mi></mrow><mo>¯</mo></mover></mrow></msup></mrow></mfenced></mrow><mrow><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703569&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703568&type= 37.16867065 5.84200001 当使用初值进行分割时，用户提供约束条件，能量函数可以进一步简化为 <math display="block" id="M56"><msub><mrow><mi>E</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">s</mi></mrow></msub><mfenced separators="|"><mrow><mi mathvariant="bold-italic">S</mi></mrow></mfenced><mo>=</mo><mo>-</mo><mi>β</mi><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msup><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="bold-italic">S</mi></mrow></msup><mo>-</mo><msup><mrow><mi>θ</mi></mrow><mrow><mover><mrow><mi mathvariant="bold-italic">S</mi></mrow><mo>¯</mo></mover></mrow></msup></mrow></mfenced></mrow><mrow><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub><mo>+</mo><mi>λ</mi><mfenced open="|" close="|" separators="|"><mrow><mo>∂</mo><mi mathvariant="bold-italic">S</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703571&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703570&type= 51.22333527 5.84200001 式中， <math id="M57"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703601&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703600&type= 1.86266661 3.38666677 和 <math id="M58"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703579&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703578&type= 2.28600001 2.62466669 分别是区域项和边界项的权重系数。计算惩罚值时，区域项仅考虑像素差异，而不考虑空间关系，偏重于使分割的前景和背景内部像素趋于一致；边界项仅考虑边界像素的差异，偏重于找出明显的分割界线。根据该原理，可结合分割图像的实际情况分配 <math id="M59"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703581&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703580&type= 1.86266661 3.38666677 和 <math id="M60"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703583&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703582&type= 2.28600001 2.62466669 。本文设置 β =1， λ =1。 直方图将颜色空间划分为若干较小颜色区间，每个区间即为一个bin。bin的数量 <math id="M61"><mi>K</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703589&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703588&type= 2.28600001 2.62466669 由用户定义， <math id="M62"><mi>K</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703589&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703588&type= 2.28600001 2.62466669 越大计算成本越高。三通道RGB图像，最大有效 <math id="M63"><mi>K</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703589&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703588&type= 2.28600001 2.62466669 值为256 3 ，一般设置为 <math id="M64"><msup><mrow><mn mathvariant="normal">128</mn></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703591&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703590&type= 6.51933336 2.96333337 。如 图3 图3 所示，One Cut算法为了更好地利用直方图，在基于图像构建图时，为直方图的每个bin构建一个辅节点 <math id="M65"><msub><mrow><mi>A</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703593&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703592&type= 3.13266683 3.72533321 （ <math id="M66"><mi>k</mi><mo>∈</mo><mo stretchy="false">{</mo><mn mathvariant="normal">1</mn><mo>,</mo><mtext> </mtext><mn mathvariant="normal">2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>K</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703595&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703594&type= 25.31533241 3.30200005 ），同属于一个bin的顶点连接到同一个辅节点构成a-links，权值为 <math id="M67"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703601&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703600&type= 1.86266661 3.38666677 。 2.2.2　初值自动设定 3 One Cut需要人工交互，通过目视判读提供主体对象的初值，这导致无法完全进行程序批量化、自动化实现文物图像主体对象分割。为解决该问题，本文利用Mask R-CNN的分割结果自动设定初值，从而避免人工交互。初值自动设定的方法包括两个步骤： （1）选点。选取主体种子点，首先绘制文物前景内容识别得到的主体对象外接矩形，再以矩形两对角线交点为圆心，矩形对角线长度的1/4为半径画圆，选取圆内的像素作为初值。这样选取的初值来自主体对象中心区域，能够避免深度学习较差的边缘精度导致初值选取错误。选取非主体种子点，需要将主体对象外接矩形向外扩充，以避免被裁切的主体像素误选，然后在扩充区域外随机选取一定数量的像素。扩充比例设置为0.05，种子点数量与主体种子点数量相近即可。 （2）核验。由于文物前景内容识别得到的主体对象几何凹凸性不确定，通过上述选点得到的主体种子点，可能包含非主体对象像素，因此需要叠加Mask R-CNN文物前景分割得到的主体对象进行核验，保留主体像素，删除非主体像素，确保得到正确的初值。 2.2.3　算法流程 3 参照One Cut（ Tang等，2013 Tang等，2013 ）方法，文物主体对象的分割流程如下： （1）输入无畸变文物图像，将图像表示为 <math id="M68"><mi>S</mi><mo>-</mo><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703599&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703598&type= 8.29733276 2.70933342 图，像素点与图的顶点逐一对应，相邻像素点连接成n-links； （2）遍历图像，计算每相邻两点之间方差的均值，计算n-links的权值； （3）计算每个像素点对应的bin值，在图中增加bin值对应的辅节点，将像素点与相应的bin值辅节点相连构成a-links，并将权值设为 <math id="M69"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703601&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703600&type= 1.86266661 3.38666677 ； （4）输入基于Mask R-CNN的文物图像前景分割，计算前景种子点集和背景种子点集； （5）增加源点 <math id="M70"><mi>S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703611&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703610&type= 1.86266661 2.62466669 和汇点 <math id="M71"><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703613&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703612&type= 2.11666679 2.62466669 ，将图中的顶点与 <math id="M72"><mi>S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703611&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703610&type= 1.86266661 2.62466669 和 <math id="M73"><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703613&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703612&type= 2.11666679 2.62466669 连接构成t-links；其中，前景种子点与 <math id="M74"><mi>S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703611&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703610&type= 1.86266661 2.62466669 相连构成的s-t-links权值设为极大常数1000，与 <math id="M75"><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703613&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703612&type= 2.11666679 2.62466669 相连构成的t-t-links权值设为0；背景种子点与此相反； （6）最小化能量函数，得到图像分割结果。 2.3　文物图像主体对象分割 2 文物三维模型的主体对象识别与分割结果，通常会剔除非主体三角网及其对应点云，并重新建立内部索引，以便优化运算效率和空间占用，这意味着三维模型分割结果不可逆转。因此，从二维图像到三维模型，确保分割的可靠性至关重要，尤为重要的是主体像素和主体三角形的查全率。 基于One Cut进行文物图像前景分割，通常能够适当提高Mask R-CNN的分割精度。然而，One Cut分割像素而非目标，有时会产生分割碎片，且更容易在图像阴影和近似背景色的区域产生欠分割。为优化此类问题，提高查全率，减少因丢失主体像素而导致的丢失主体三角形，本文算法通过计算并集的方式融合Mask R-CNN和One Cut，实现文物图像主体对象分割。 2.4　基于映射关系的文物三维模型主体对象识别 2 通过文物图像主体对象分割，可以得到文物图像像素是否属于主体对象的属性，属性的取值范围是 <math id="M76"><mo stretchy="false">{</mo><msub><mrow><mi>S</mi></mrow><mrow><mi>I</mi></mrow></msub><mo>,</mo><mtext> </mtext><msub><mrow><mi>T</mi></mrow><mrow><mi>I</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703615&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703614&type= 11.68400002 4.40266657 ，其中 <math id="M77"><msub><mrow><mi>S</mi></mrow><mrow><mi>I</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703617&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703616&type= 2.70933342 3.72533321 代表主体像素， <math id="M78"><msub><mrow><mi>T</mi></mrow><mrow><mi>I</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703619&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703618&type= 2.96333337 3.72533321 代表非主体像素。文物三维模型是通过无畸变图像进行三维重建产生的，图像的主体像素与非主体像素分割，为文物三维模型的主体三角形与非主体三角形分割提供了基础。本文方法将三维模型映射到二维图像上，借助图像像素属性，通过多视角约束，结合三维深度计算，为三维模型中的三角形赋予属性，属性的取值范围是 <math id="M79"><mo stretchy="false">{</mo><msub><mrow><mi>S</mi></mrow><mrow><mi>M</mi></mrow></msub><mo>,</mo><mtext> </mtext><msub><mrow><mi>T</mi></mrow><mrow><mi>M</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703621&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703620&type= 13.37733269 4.40266657 ，其中 <math id="M80"><msub><mrow><mi>S</mi></mrow><mrow><mi>M</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703823&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703821&type= 3.55599999 3.72533321 代表主体三角形， <math id="M81"><msub><mrow><mi>T</mi></mrow><mrow><mi>M</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703828&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703825&type= 3.80999994 3.72533321 代表非主体三角形。 2.4.1　图像与三维模型映射关系 3 图像中的像素与三维模型中的顶点、三角网处在不同的坐标系中，二者的映射关系可以通过坐标转换恢复。在针孔相机模型下，空间坐标点被映射为图像上的一点，这个点是空间点与投影中心的连线在像平面上的交点。相机模型中一共有4个坐标系：像素平面坐标系（ u ， v） 、图像物理坐标系（ x，y ）、相机坐标系（ X c ， Y c ， Z c ）和世界坐标系（ X w ， Y w ， Z w ）。这4个坐标系逐步转换，可以推得一个点从世界坐标系到像素坐标的转换方式： <math display="block" id="M82"><msub><mrow><mi>Z</mi></mrow><mrow><mi>c</mi></mrow></msub><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mi>u</mi></mtd></mtr><mtr><mtd><mi>v</mi></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">d</mi><mi>x</mi></mrow></mfrac></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><msub><mrow><mi>u</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">d</mi><mi>y</mi></mrow></mfrac></mtd><mtd><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mi>f</mi></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mi>f</mi></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd></mtr></mtable></mrow></mfenced><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mi mathvariant="bold-italic">R</mi></mtd><mtd><mi mathvariant="bold-italic">t</mi></mtd></mtr><mtr><mtd><msup><mrow><mn mathvariant="normal">0</mn></mrow><mrow><mi mathvariant="bold">T</mi></mrow></msup></mtd><mtd><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><msub><mrow><mi>X</mi></mrow><mrow><mi>w</mi></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>Y</mi></mrow><mrow><mi>w</mi></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>Z</mi></mrow><mrow><mi>w</mi></mrow></msub></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703627&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703626&type= 77.21600342 23.28333473 式中， <math id="M83"><mi mathvariant="normal">d</mi><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703629&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703628&type= 3.55599999 2.70933342 、 <math id="M84"><mi mathvariant="normal">d</mi><mi>y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703631&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703630&type= 3.55599999 3.47133350 分别代表单个像素的横轴尺寸、纵轴尺寸； <math id="M85"><msub><mrow><mi>u</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703633&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703632&type= 3.04800010 3.72533321 、 <math id="M86"><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703635&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703634&type= 2.62466669 3.72533321 分别代表像主点在像平面坐标系的横坐标和纵坐标； <math id="M87"><mi>f</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703637&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703636&type= 1.10066664 3.47133350 代表相机焦距； <math id="M88"><mi mathvariant="bold-italic">R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703639&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703638&type= 2.37066650 2.62466669 为相机外方位元素构成的3×3旋转矩阵， <math id="M89"><msup><mrow><mn mathvariant="normal">0</mn></mrow><mrow><mi mathvariant="bold">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703641&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703640&type= 3.30200005 2.96333337 为（0，0，0）； t 为相机光心在世界坐标系的平移向量； <math id="M90"><msub><mrow><mi>X</mi></mrow><mrow><mi>w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703643&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703642&type= 3.64066648 3.72533321 、 <math id="M91"><msub><mrow><mi>Y</mi></mrow><mrow><mi>w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703645&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703644&type= 3.47133350 3.72533321 、 <math id="M92"><msub><mrow><mi>Z</mi></mrow><mrow><mi>w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703647&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703646&type= 3.64066648 3.72533321 为该点在世界坐标的3个坐标值； u 、 v 为该点在像素平面坐标系的横、纵坐标值。 式（6） 式（6） 中的世界坐标系（ X w ， Y w ， Z w ）是指相对世界坐标系，建模平台的部分操作可能使模型的坐标系发生变化，与相对世界坐标系不匹配。例如，建模时添加控制点，将模型置于绝对世界坐标系，或修改模型的质心、缩放比例、摆放姿态等。此时，需要按缩放尺度、平移向量和旋转矩阵把模型反算为原始模型，在原始模型的基础上按 式（6） 式（6） 进行投影转换。 镜头畸变会导致投影转换产生误差，为消减镜头畸变的同时减少计算复杂度，可以在二维图像处理阶段直接使用无畸变图像代替原始图像。无法获得无畸变图像时，可以使用畸变模型和畸变系数进行投影校正。完成建模后，大多数建模平台可以导出无畸变图像和畸变系数。 2.4.2　深度信息处理遮挡三角形 3 三维模型投影至二维图像后，会出现大量相互重叠的三角形，这是由单视角下的遮挡造成。一幅图像的遮挡区域位于摄影中心到可见区域的光线延长线上，三维模型投影至二维影像后，遮挡区域与可见区域因为共线关系而相互重叠。然而，实际上遮挡区域与当前二维影像毫无关联，无法通过该影像对其进行属性识别。因此，在处理当前影像为三维模型三角网赋予属性时，应忽略遮挡区域三角形。 深度信息可以用于判断是否为遮挡区域。在当前影像上，可见区域距离投影中心近，模型相应的三角网靠前，深度小；遮挡区域距离投影中心远，模型相应的三角网靠后，深度大。依据三角形点坐标和摄影中心点坐标，即可计算深度。 如 图4 图4 所示，三维模型投影至二维图像后，三角形 <math id="M93"><mi>A</mi><mi mathvariant="normal">'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703649&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703648&type= 3.30200005 2.70933342 和 <math id="M94"><mi>B</mi><mi mathvariant="normal">'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703651&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703650&type= 3.55599999 2.70933342 相互重叠，计算可知深度 OB > OA ，故判断区域 <math id="M95"><mi>b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703653&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703652&type= 1.69333339 2.62466669 为遮挡区域，在当前视角下，三角形 <math id="M96"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703655&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703654&type= 2.28600001 2.62466669 无法获得正确属性被忽略。 2.4.3　多视角约束优化主体识别精度 3 虽然三维模型任意点的世界坐标可以直接换算到像素坐标，但是基于单幅图像进行三维模型主体识别，完全受单幅图像主体分割精度，难免存在误差。为此，本文提出从多视角约束几何模型，综合判断三维模型中每个三角形在所有图像上的主体、非主体属性，减少对单幅图像分割精度的依赖，保证三维模型主体对象识别的精度和可靠性。 在生成三维模型过程中，相邻图像间需要保证一定的重复率才能成功建模，构成三维模型的每个顶点都可以投影在多张图像上。因此，可将三维模型投影至多幅原始图像，计算每个三角形的顶点在多幅原始图像中对应像点属于主体对象的概率，确定该三角形属于主体或非主体。 <math display="block" id="M97"><mi>p</mi><mo>=</mo><mtext> </mtext><mfrac><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>s</mi></mrow></msub></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>s</mi></mrow></msub><mo>+</mo><msub><mrow><mi>n</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703660&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703659&type= 16.67933464 8.72066593 式中， <math id="M98"><msub><mrow><mi>n</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703662&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703661&type= 2.70933342 3.72533321 表示该三角形的所有顶点投影在多视角图像中对应主体像素的个数； <math id="M99"><msub><mrow><mi>n</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703664&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703663&type= 2.62466669 3.72533321 表示该三角形的所有顶点，投影在多视角图像中对应非主体像素的个数；概率 <math id="M100"><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703665&type= 1.69333339 3.47133350 的阈值设为0.5， p ≥0.5时将该三角形标记为主体，该三角形获得属性 <math id="M101"><msub><mrow><mi>S</mi></mrow><mrow><mi>M</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703823&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703821&type= 3.55599999 3.72533321 ； p < 0.5时将该三角形标记为非主体，该三角形获得属性 <math id="M102"><msub><mrow><mi>T</mi></mrow><mrow><mi>M</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703828&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703825&type= 3.80999994 3.72533321 。 3　实验与分析 1 3.1　Mask R-CNN前景分割 2 实验采集816张文物图像，构建了文物数据集，用于训练Mask R-CNN网络。文物数据集包含石器图像556张，铜器图像218张，陶器图像42张。数据集样本尺寸统一处理为640×640像素，部分样本如 图5 图5 所示。为防止模型过拟合，本文采用缩放、翻转、镜像等方式进行数据增强，增强后训练样本扩充24倍，样本数量增加至19584张，并将其按2∶1划分为训练集和测试集两部分，训练集13056张，测试集6528张。 实验阶段，采用陕西碑林博物馆佛像（以下简称“佛像”）和墨西哥人博物馆玛雅面具（以下简称“面具”）两件文物的摄影测量图像作为原始数据。在博物馆展陈环境下，采用索尼 ILCE-7RM2相机拍摄佛像，获得多角度原始图像17张，图像尺寸3448×5168，分辨率为350 dpi；采用HUAWEI MHA-AL00相机拍摄面具，获得多角度原始图像11张，图像尺寸2976×3968，分辨率为96 dpi。 借助三维建模平台GET3D（get3d.cn）对原始图像进行三维建模，可以获得实验所需的文物原始三维模型、无畸变图像和空三文件。其中，无畸变图像与原始图像一一对应，仅做像素畸变矫正，分辨率等参数与原始图像保持一致；佛像数据统一向右旋转90°，图像尺寸变为5168×3448，面具数据没有更改。为进行精度检验，在无畸变图像上人工标注图像主体真值（Ground Truth）。 运用Mask R-CNN网络进行无畸变图像的前景分割时，搭建Tensorflow为框架的Mask R-CNN网络运行环境，使用coco数据集（ Lin等，2014 Lin等，2014 ）训练所得的权重参数作为初始值，微调网络参数，对文物数据集进行图像特征提取和分割。本文实验设置学习率为0.001，动量因子为0.9，权重衰减系数正则化到0.0001，batch_size为2，训练400个epoch。根据文物数据集目标尺寸的统计结果，设置Anchors在图像中对应的尺寸为［8×6，16×6，32×6，64×6，128×6］像素。 文物前景分割结果见 图6 图6 ，红色掩膜覆盖部分为识别出的前景。结果显示，文物主体的中心区域识别准确、完整；边缘部分准确性差，包含边缘内容识别错误、RPN裁切主体边缘两种现象。 1,2;3,4; 面向本文方法的应用场景，选取查准率 P 、查全率 R 和 IoU 为评价指标，对每幅图像的分割结果进行像素尺度的统计和评价。针对同一组文物图像计算各评价指标的平均值 mP 、 mR 、 mIoU 。各评价指标的含义与计算方法见 表1 表1 。Mask R-CNN的前景分割评价数据见 表2 表2 。 统计数据/评价指标 含义/计算方法 TP（True Positive） 分割结果为 <math id="M103"><msub><mrow><mi>S</mi></mrow><mrow><mi>I</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703690&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703689&type= 2.20133328 2.87866688 ；Ground Truth为 <math id="M104"><msub><mrow><mi>S</mi></mrow><mrow><mi>I</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703702&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703700&type= 2.20133328 2.87866688 FN（False Negative） 分割结果为 <math id="M105"><msub><mrow><mi>T</mi></mrow><mrow><mi>I</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703711&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703709&type= 2.28600001 2.87866688 ；Ground Truth为 <math id="M106"><msub><mrow><mi>S</mi></mrow><mrow><mi>I</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703702&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703700&type= 2.20133328 2.87866688 FP（False Positive） 分割结果为 <math id="M107"><msub><mrow><mi>S</mi></mrow><mrow><mi>I</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703702&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703700&type= 2.20133328 2.87866688 ；Ground Truth为 <math id="M108"><msub><mrow><mi>T</mi></mrow><mrow><mi>I</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703711&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703709&type= 2.28600001 2.87866688 TN（True Negative） 分割结果为 <math id="M109"><msub><mrow><mi>T</mi></mrow><mrow><mi>I</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703711&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703709&type= 2.28600001 2.87866688 ；Ground Truth为 <math id="M110"><msub><mrow><mi>T</mi></mrow><mrow><mi>I</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703711&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703709&type= 2.28600001 2.87866688 P （Precision） TP / （TP + FP） R （Recall） TP / （TP + FN） IoU（Intersection over Union） TP / （TP + FP + FN） mP P 的均值 mR R 的均值 mIoU IoU 的均值 2 文物 3 Mask R-CNN 3 One Cut 3 本文方法 mP mR mIoU mP mR mIoU mP mR mIoU 佛像 0.9774 0.9530 0.9323 0.9892 0.9021 0.8935 0.9716 0.9701 0.9431 面具 0.9774 0.9536 0.9329 0.9992 0.9435 0.9428 0.9775 0.9794 0.9577 3.2　One Cut前景分割 2 基于One Cut开源代码（ Tang等，2013 Tang等，2013 ）和OpenCV 4.5.2实现无需人工交互的One Cut方法。在Mask R-CNN文物前景分割的基础上，自动设定初值，再次针对无畸变图像进行前景分割。 如 图7 图7 所示，基于One Cut的文物图像前景分割能够准确分割文物主体，但部分图像的边缘部分准确性仍然不理想。 图8 图8 可见，One Cut方法在一些图像中存在不同程度的内部主体像素丢失。 1,2;3,4; 1,2; 基于One Cut的前景分割评价数据见 表2 表2 。相比于Mask R-CNN，佛像的查准率提高了1.18%，但查全率降低了5.09%， mIoU 降低了3.88%；面具的查准率提高2.18%，但查全率降低了1.01%， IoU 降低0.99%。可见，One Cut方法能够提高分割精度，但是降低了查全率和 mIoU 。 3.3　文物图像主体对象分割 2 本文将Mask R-CNN和One Cut各自的文物图像前景分割掩膜合并，用该并集掩膜分割无畸变图像，获得文物图像的主体对象。 图9 图9 为不同的分割方法与Ground Truth的叠加对比，红色表示欠分割，绿色表示过分割。联合Mask R-CNN和One Cut的分割结果后，从佛像数据可见，欠分割的区域明显减少；从面具数据可见，Mask R-CNN的边缘欠分割得到改善，One Cut的内部主体像素丢失得到纠正。 1,2;3,4;5,6; 文物图像主体对象分割评价数据如 表2 表2 所示。数据显示，运用本文方法联合Mask R-CNN和One Cut进行文物图像主体对象分割，佛像和面具的查准率均略有下降，但是查全率和 mIoU 都得到提升。其中，对本研究最为重要的查全率，依次对比Mask R-CNN和One Cut，佛像数据分别提高了1.71%和6.8%，面具数据提高了2.58%和3.59%。 3.4　三维模型主体对象识别 2 三维建模平台Get3D重建的文物原始三维模型缩放、旋转和平移参数均为0；导出的空三文件为XML格式，记录了相机内参和外参。以佛像和面具的原始三维模型（ 图10 图10 、 图11 图11 ）为实验样本，借助空三文件将三维模型投影至二维图像，在主体对象分割二维图像中查找三角形顶点属性，结合深度删除遮挡三角形，通过多视角约束提高主体识别精度，最终保留标注为 <math id="M111"><msub><mrow><mi>S</mi></mrow><mrow><mi>M</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703823&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703821&type= 3.55599999 3.72533321 的主体三角形，丢弃被标注为 <math id="M112"><msub><mrow><mi>T</mi></mrow><mrow><mi>M</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703828&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23703825&type= 3.80999994 3.72533321 的非主体三角形。 1,2; 1,2; 两件文物的主体识别结果分别如 图12 图12 、 图13 图13 所示。结果表明，陕西碑林博物馆佛像主体分割完整，除底座边缘处仍有部分非主体残留外，背景三角网基本剔除干净；玛雅面具主体分割完整，背景三角网剔除效果良好。由于主体识别的对象是三角形，两个模型的识别结果均出现少量离散的破碎面，且模型边缘成不规则锯齿状，这类问题很容易优化，但为保证精度评价的准确性，本文未作处理。 1,2; 1,2; 在原始三维模型上人工标注模型主体真值（Ground Truth），进而通过统计方式对主体对象识别效果进行评价，评价方式和评价结果如 表3 表3 所示。分析评价结果可知：（1）三维模型主体对象识别查全率较高，误删Ground Truth标注的主体三角形数量很少，算法能够保证三维模型主体完整；（2）两件文物均呈现出查全率略高于查准率的现象，其原因是二维图像主体对象分割时，融合Mask R-CNN和One Cut的分割结果，保障了查全率、牺牲了一定的查准率；（3）三维模型主体对象识别精度高于图像主体对象分割精度，说明多视角约束法提高了精度，能够避免单幅图像的分割误差引起三维模型主体识别错误；（4）本文算法很好地剔除了背景三角网：相比原始三维模型，佛像模型精简至85.34%，面具模型精简至86.44%。 统计数据（缩写）/评价指标（评价方法） 佛像 面具 原始三维模型三角形数量（OR_A） 163397 32530 Ground Truth主体三角形数量（GT_S） 138314 27881 Ground Truth非主体三角形数量（GT_T） 25083 4649 删除三角形数量（DA） 23957 4411 剩余三角形数量（RA） 139440 28119 误删主体三角形数量（DE） 1065 223 保留主体三角形数量（RR） 137249 27658 查准率 P （RR/RA） 0.9843 0.9836 查全率 R （RR/GT_S） 0.9923 0.9920 IoU （RR/（RA ∪ GT_S）） 0.9768 0.9759 误删率（DE/GT_S） 0.0077 0.0080 模型精简程度（RA/OR_A） 0.8534 0.8644 4　结论 1 本文的主要贡献在于，在日益广泛的利用相机拍照进行文化遗产三维数字化记录场景中，针对文物所在的场景背景参与计算浪费存储资源且破坏三维模型独立性、美观性的问题，将三维建模的原始图像与三维模型进行关联，通过深度学习寻找初值，利用多视角约束和多视图像之间的交叉验证，提出一种三维模型主体对象识别方法。该方法无需人工干预，能够识别并保留三维模型主体对象，自动化剔除小型文物三维模型中没有价值的背景信息，从而精简模型，解决上述问题。 本文提出的三维模型主体对象识别方法，针对摄影测量三维模型具有普遍的适用性，但算法处理遮挡三角形需要逐个比对深度，应用于大型三维模型时需要借助并行计算提升效率。本文算法的二维图像主体对象分割依赖于深度学习网络训练，当前训练的网络适用于博物馆展陈环境下拍摄的文物图像，推广至其他应用场景需要提供数据集重新训练网络。 在实际应用中，文物的外形、色彩、质地差别很大，可以划分为很多类型。然而，本文未能针对不同类别的文物分别进行深度学习模型训练或其他算法改进，即没有考虑不同类别的文物应用本文方法时可能面临的问题，这是本文的不足之处和进一步的研究方向。 参考文献（References） Aldoma A , Tombari F , Di Stefano L and Vincze M . 2012 . A global hypotheses verification method for 3D object recognition //Lazebnik A, Fitzgibbon S, Perona P, Sato Y and Schmidt C, eds. Computer Vision - ECCV 2012 . Florence, Italy : Springer : 511 - 524 [ DOI: 10.1007/978-3-642-33712-3_37 http://dx.doi.org/10.1007/978-3-642-33712-3_37 ] A global hypotheses verification method for 3D object recognition Borji A . 2015 . What is a salient object? A dataset and a baseline model for salient object detection. IEEE Transactions on Image Processing , 24 ( 2 ): 742 - 756 [ DOI: 10.1109/tip.2014.2383320 http://dx.doi.org/10.1109/tip.2014.2383320 ] What is a salient object? Boykov Y , Veksler O and Zabih R . 2001a . Fast approximate energy minimization via graph cuts . IEEE Transactions on Pattern Analysis and Machine Intelligence , 23 ( 11 ): 1222 - 1239 [ DOI: 10.1109/34.969114 http://dx.doi.org/10.1109/34.969114 ] Fast approximate energy minimization via graph cuts Boykov Y Y and Jolly M P . 2001b . Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images // Proceedings Eighth IEEE International Conference on Computer Vision . Vancouver, BC, Canada : IEEE : 105 - 112 [ DOI: 10.1109/ICCV.2001.937505 http://dx.doi.org/10.1109/ICCV.2001.937505 ] Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images Carvalho L E and von Wangenheim A . 2019 . 3D object recognition and classification: a systematic literature review . Pattern Analysis and Applications , 22 ( 4 ): 1243 - 1292 DOI: 10.1007/s10044-019-00804-4 http://dx.doi.org/10.1007/s10044-019-00804-4 ] 3D object recognition and classification: a systematic literature review Chen H T . 2010 . Preattentive co-saliency detection // 2010 IEEE International Conference on Image Processing . Hong Kong, China : IEEE : 1117 - 1120 [ DOI: 10.1109/ICIP.2010.5650014 http://dx.doi.org/10.1109/ICIP.2010.5650014 ] Preattentive co-saliency detection Ch’ng E , Cai S D , Zhang T E and Leow F T . 2019 . Crowdsourcing 3D cultural heritage: best practice for mass photogrammetry . Journal of Cultural Heritage Management and Sustainable Development , 9 ( 1 ): 24 - 42 [ DOI: 10.1108/JCHMSD-03-2018-0018 http://dx.doi.org/10.1108/JCHMSD-03-2018-0018 ] Crowdsourcing 3D cultural heritage: best practice for mass photogrammetry Cong R M , Lei J J , Fu H Z , Cheng M M , Lin W S and Huang Q M . 2019 . Review of visual saliency detection with comprehensive information . IEEE Transactions on Circuits and Systems for Video Technology , 29 ( 10 ): 2941 - 2959 [ DOI: 10.1109/tcsvt.2018.2870832 http://dx.doi.org/10.1109/tcsvt.2018.2870832 ] Review of visual saliency detection with comprehensive information Fu K R , Gu I Y H , Yun Y X , Gong C and Yang J . 2014 . Graph construction for salient object detection in videos // 2014 22nd International Conference on Pattern Recognition . Stockholm, Sweden : IEEE : 2371 - 2376 [ DOI: 10.1109/ICPR.2014.411 http://dx.doi.org/10.1109/ICPR.2014.411 ] Graph construction for salient object detection in videos Gong Y P , Zhang F , Jia X Y , Huang X F , Li D R and Mao Z . 2021 .“ Deep Neural Networks for Quantitative Damage Evaluation ofBuilding Losses Using Aerial Oblique Images: Case Study on theGreat Wall (China) .” Remote Sensing 13 ( 7 ): 19 [ DOI: 10.3390/rs13071321 http://dx.doi.org/10.3390/rs13071321 ] Deep Neural Networks for Quantitative Damage Evaluation ofBuilding Losses Using Aerial Oblique Images: Case Study on theGreat Wall (China) Guo Y L , Bennamoun M , Sohel F , Lu M and Wan J W . 2014 . 3D object recognition in cluttered scenes with local surface features: a survey . IEEE Transactions on Pattern Analysis and Machine Intelligence , 36 ( 11 ): 2270 - 2287 [ DOI: 10.1109/TPAMI.2014.2316828 http://dx.doi.org/10.1109/TPAMI.2014.2316828 ] 3D object recognition in cluttered scenes with local surface features: a survey Guo Y L , Wang H Y , Hu Q Y , Liu H , Liu L and Bennamoun M . 2020 . Deep learning for 3D point clouds: a survey . IEEE Transactions on Pattern Analysis and Machine Intelligence [ DOI: 10.1109/tpami.2020.3005434 http://dx.doi.org/10.1109/tpami.2020.3005434 ] Deep learning for 3D point clouds: a survey Han J W , Zhang D W , Cheng G , Liu N and Xu D . 2018 . Advanced deep-learning techniques for salient and category-specific object detection: a survey . IEEE Signal Processing Magazine , 35 ( 1 ): 84 - 100 [ DOI: 10.1109/msp.2017.2749125 http://dx.doi.org/10.1109/msp.2017.2749125 ] Advanced deep-learning techniques for salient and category-specific object detection: a survey He K M , Gkioxari G , Dollár P and Girshick R . 2017 . Mask R-CNN // 2017 IEEE International Conference on Computer Vision . Venice, Italy : IEEE : 2980 - 2988 [ DOI: 10.1109/ICCV.2017.322 http://dx.doi.org/10.1109/ICCV.2017.322 ] Mask R-CNN Jakab M , Benesova W and Racev M . 2015 . 3D object recognition based on local descriptors // Proceedings Volume 9406, Intelligent Robots and Computer Vision XXXII: Algorithms and Techniques . San Francisco, California, United States : SPIE : 94060 L [ DOI: 10.1117/12.2083104 http://dx.doi.org/10.1117/12.2083104 ] 3D object recognition based on local descriptors Li D P , Wang H Y , Liu N , Wang X M and Xu J . 2020 . 3D object recognition and pose estimation from point cloud using stably observed point pair feature . IEEE Access , 8 : 44335 - 44345 [ DOI: 10.1109/ACCESS.2020.2978255 http://dx.doi.org/10.1109/ACCESS.2020.2978255 ] 3D object recognition and pose estimation from point cloud using stably observed point pair feature Li H L , Meng F M and Ngan K N . 2013 . Co-salient object detection from multiple images . IEEE Transactions on Multimedia , 15 ( 8 ): 1896 - 1909 [ DOI: 10.1109/tmm.2013.2271476 http://dx.doi.org/10.1109/tmm.2013.2271476 ] Co-salient object detection from multiple images Lin T Y , Maire M , Belongie S , Hays J , Perona P , Ramanan D , Dollár P and Zitnick C L . 2014 . Microsoft COCO: common objects in context //Fleet D, Pajdla T, Schiele B and Tuytelaars T, eds. Computer Vision - ECCV 2014 . Zurich, Switzerland : Springer : 740 - 555 [ DOI: 10.1007/978-3-319-10602-1_48 http://dx.doi.org/10.1007/978-3-319-10602-1_48 ] Microsoft COCO: common objects in context Loaiza C , Daniel A , María M M and Gabriel M B . 2020 . “ Virtual Museums . Captured Reality and 3 d Modeling.” Journal of Cultural Heritage 45 : 234 - 9 [ DOI: 10.1016/j.culher.2020.04.013 http://dx.doi.org/10.1016/j.culher.2020.04.013 ] Virtual Museums Luo Y , Yuan J S and Lu J W . 2016 . Finding spatio-temporal salient paths for video objects discovery . Journal of Visual Communication and Image Representation , 38 : 45 - 54 [ DOI: 10.1016/j.jvcir.2016.02.001 http://dx.doi.org/10.1016/j.jvcir.2016.02.001 ] Finding spatio-temporal salient paths for video objects discovery Peng H W , Li B , Xiong W H , Hu W M and Ji R R . 2014 . RGBD salient object detection: a benchmark and algorithms //Fleet D, Pajdla T, Schiele B and Tuytelaars T, eds. Computer Vision - ECCV 2014 . Zurich, Switzerland : Springer : 92 - 109 [ DOI: 10.1007/978-3-319-10578-9_7 http://dx.doi.org/10.1007/978-3-319-10578-9_7 ] RGBD salient object detection: a benchmark and algorithms Qu L Q , He S F , Zhang J W , Tian J D , Tang Y D and Yang Q X . 2017 . RGBD salient object detection via deep fusion . IEEE Transactions on Image Processing , 26 ( 5 ): 2274 - 2285 [ DOI: 10.1109/TIP.2017.2682981 http://dx.doi.org/10.1109/TIP.2017.2682981 ] RGBD salient object detection via deep fusion Rother C , Kolmogorov V and Blake A . 2004 . “GrabCut”: interactive foreground extraction using iterated graph cuts . ACM Transactions on Graphics , 23 ( 3 ): 309 - 314 [ DOI: 10.1145/1015706.1015720 http://dx.doi.org/10.1145/1015706.1015720 ] “GrabCut”: interactive foreground extraction using iterated graph cuts Shen Z Q , Ma X and Li Y B . 2018 . A hybrid 3D descriptor with global structural frames and local signatures of histograms . IEEE Access , 6 : 39261 - 39272 [ DOI: 10.1109/ACCESS.2018.2856866 http://dx.doi.org/10.1109/ACCESS.2018.2856866 ] A hybrid 3D descriptor with global structural frames and local signatures of histograms Singh R D , Mittal A and Bhatia R K . 2019 . 3D convolutional neural network for object recognition: a review . Multimedia Tools and Applications , 78 ( 12 ): 15951 - 15995 [ DOI: 10.1007/s11042-018-6912-6 http://dx.doi.org/10.1007/s11042-018-6912-6 ] 3D convolutional neural network for object recognition: a review Sun X , Yang B S and Li Q Q . 2011 . “ Structural Segmentation Method for 3d Building Models Based on Voxel Analysis .” Acta Geodeticaet Cartographica Sinica 40 ( 5 ): 582 - 6 Structural Segmentation Method for 3d Building Models Based on Voxel Analysis 孙轩 , 杨必胜 , 李清泉 . 2011 . 基于体元分析的三维建筑物模型结构化分割方法 . 测绘学报 , 40 ( 05 ): 582 - 586 基于体元分析的三维建筑物模型结构化分割方法 Tang M , Gorelick L , Veksler O and Boykov Y . 2013 . GrabCut in one cut // 2013 IEEE International Conference on Computer Vision . Sydney, NSW, Australia : IEEE : 1769 - 1776 [ DOI: 10.1109/ICCV.2013.222 http://dx.doi.org/10.1109/ICCV.2013.222 ] GrabCut in one cut Ullah I , Jian M W , Hussain S , Guo J , Yu H , Wang X and Yin Y L . 2020 . A brief survey of visual saliency detection . Multimedia Tools and Applications , 79 ( 45 ): 34605 - 34645 [ DOI: 10.1007/s11042-020-08849-y http://dx.doi.org/10.1007/s11042-020-08849-y ] A brief survey of visual saliency detection Vetrivel A. , M. Gerke , N. Kerle , and G. Vosselman . 2015 . Segmentation of Uav-Based Images Incorporating 3d Point Cloud Information. Paper presented at the Joint ISPRS Conference on Photogrammetric Image Analysis (PIA) and High Resolution Earth Imaging for Geospatial Information (HRIGI), Technische UnivMunchen, Munich, GERMANY, Mar 25 - 27 [ DOI: 10.5194/isprsarchives-XL-3-W2-261-2015 http://dx.doi.org/10.5194/isprsarchives-XL-3-W2-261-2015 ] Segmentation of Uav-Based Images Incorporating 3d Point Cloud Information. Paper presented at the Joint ISPRS Conference on Photogrammetric Image Analysis (PIA) and High Resolution Earth Imaging for Geospatial Information (HRIGI), Technische UnivMunchen, Munich, GERMANY, Mar Wen W W , Wen G J , Hui B W and Qiu S H . 2018 . 3D object recognition based on improved point cloud descriptors // Proceedings Volume 10806 , Tenth International Conference on Digital Image Processing (ICDIP 2018 . Shanghai, China: SPIE: 108060 O [ DOI: 10.1117/12.2503095 http://dx.doi.org/10.1117/12.2503095 ] 3D object recognition based on improved point cloud descriptors Yan Y M , Gao F J , Deng S P , and Su N . 2017 . “ A Hierarchical Building Segmentation in Digital Surface Models for 3d Reconstruction .” Sensors 17 ( 2 ) [DOI: 10.3390/s17020222] A Hierarchical Building Segmentation in Digital Surface Models for 3d Reconstruction Yang C , Zhang F. , Gao Y L , Mao Z , Li L , and Huang X F . 2021 . “ Moving Car Recognition and Removal for 3d Urban Modelling Using Oblique Images .” Remote Sensing 13 ( 17 ): 19 [ DOI: 10.3390/rs13173458 http://dx.doi.org/10.3390/rs13173458 ] Moving Car Recognition and Removal for 3d Urban Modelling Using Oblique Images Zhao Z Q , Zheng P , Xu S T and Wu X D . 2019 . Object detection with deep learning: a review . IEEE Transactions on Neural Networks and Learning Systems , 30 ( 11 ): 3212 - 3232 [ DOI: 10.1109/tnnls.2018.2876865 http://dx.doi.org/10.1109/tnnls.2018.2876865 ] Object detection with deep learning: a review 10.11834/jrs.20211185 1007-4619（2021）12-2409-12 牛文渊，黄先锋，金洁，毛竹，宫一平，徐建民，赵峻弘.2021.小型文物摄影测量三维建模主体对象识别.遥感学报，25（12）： 2409-2420 牛文渊，黄先锋，金洁，毛竹，宫一平，徐建民，赵峻弘.2021.小型文物摄影测量三维建模主体对象识别.遥感学报，25（12）： 2409-2420 Niu W Y，Huang X F，Jin J，Mao Z，Gong Y P，Xu J M and Zhao J H. 2021. Recognition method of the main object of three-dimensional photogrammetric modeling of cultural relics. National Remote Sensing Bulletin， 25（12）：2409-2420 Niu W Y，Huang X F，Jin J，Mao Z，Gong Y P，Xu J M and Zhao J H. 2021. Recognition method of the main object of three-dimensional photogrammetric modeling of cultural relics. National Remote Sensing Bulletin， 25（12）：2409-2420 国家重点研发计划（编号： 2020YFC1523003，2020YFC1522703）； 塔里木大学校长基金哲学社会科学项目（编号：TDSKYB1804） Supported by National Key Research and Development Program of China (No.2020YFC1523003， 2020YFC1522703); Philosophy and Social Science Project of the President’s Fund of Tarim University (No.TDSKYB1804) 2021-04-18 2021-12-07 2022-01-11 2021-10-12 遥感学报 12 25