武汉设计工程学院大学生创新训练计划项目申请书

武汉设计工程学院大学生创新训练计划项目申请书项目编号项目名称人工智能在二维图像到三维转换中的应用项目负责人谭建锋联系电话所在学院信息工程学院学号专业班级数字媒体技术2002指导教师李鲁英E-maiI申请日期2022年5月15日起止年月2022年5月至2024年6月武汉设计工程学院制二二二年四月

四、指导教师意见导师（签章）:

五、院系大学生创新创业训练计划专家组意见专家组组长（签章）年月日

六、学校大学生创新创业训练计划专家组意见负责人（签章）:年月.•日

七、大学生创新创业训练计划领导小组审批意见负责人（签章）:填写说明

1、本申请书所列各项内容均须实事求是，认真填写，表达明确严谨，简明扼要，空缺项要填“无”

2、“项目编号”一栏不填

3、项目所属一级学科按照《中华人民共和国学科分类与代码简表（国家标准GB/T13745-2009）》填写

4、格式要求表格中的字体采用小四号宋体，单倍行距；需签字部分由相关人员以黑色钢笔或签字笔签名

5、负责人所在学院认真审核，经初评，签署意见后，将申请书（一式三份）报送科技处办公室

一、基本情况

二、立项依据（可加页）

（一）研究目的随着现代科技的飞速发展，5G时代的到来，传统的二维图像由于不能呈现场景的立体真实性，为了给观众呈现出逼真的三维立体真实性，三维技术应运而生但目前的三维技术拍摄面临着成本高、可偏转角度小、场景要求较为复杂等一系列问题基于当前存在的问题，本课题拟研究二维图像向三维转换的方法以此来提高图像的立体效果，增加二维图像的可偏转角度，带给观众更加逼真的效果同时攻克之前因为技术成本高、场景较为复杂的问题降低了制作所需的成本

（二）研究内容本课题拟采用深度学习算法自动实现二维图像向三维的转换，将需要转换的二维图像通过深度学习之后能够快速识别并生成所对应的三维图像降低转换过程的复杂度和成本优化转换过程，减少转换所需时间，保证转换过程中原二维图像的清晰度，保证转换前后图像不会出现失真效果，实现快速生成高质量的三维图像在转化过程中进一步提高三维图像的偏转角度，增加转换后的三维立体感，给人以更真实的感觉

（三）国、内外研究现状和发展动态查阅相关资料显示，目前市场上已经存在一些二维图像转三维技术，此项技术也从最开始的全手工逐渐过渡到现阶段的自动化2006年美国的SteveSullivan获得了这项技术的专利，他提出了一种图像的二维转三维方法，该方法通过对原始的二维图像进行一部分的投影，然后通过照相机对投影的图像进行捕获，这样新捕获的图像与原始的图像就有了一些光照和位置的差异信息，再根据这样的差异信息，就可以获得相应的深度信息，最后生成可以展示的三维图像美国高通公司的WangHaohong提出了一种自适应的2D转3D的技术方法，该方法通过对视频序列中的颜色与运动信息进行分析，从而对序列的背景与前景进行分割，从而获得随着时间变化的图像像素深度值，然后基于深度图像恢复的技术生成最终的3D视频随着他对该领域的进一步钻研在2009年，他提出了一种实时的2D转3D视频的新方法，并获得美国专利2009年无锡景象数字技术公司发明了-种〃单幅2D图像转3D图像的方法”并申请获得了专利，该方法利用了单幅图像的灰度信息，先通过高斯滤波方法出去灰度图像中的噪声，然后再通过拉普拉斯滤波法获得与之对应的深度图像，最后结合原始图像与深度图像生成最终的3D图像在2011年彩虹集团公司发明并获得了一项2D视频转3D立体视频算法专利，该系统通过颜色与亮度的统计方法对图形进行分块，再与预设的景深假设系统进行对比生成相应的景深图，再对原始图像进行轮廓的分割，最后结合景深图与轮廓图生成3D图像或视频

（四）创新点与项目特色通过新的方式，将二维图像到三维的转换技术和深度学习相结合实现自动转换，在深度学习到一定程度后开始投入实践，实践过程中连接数据库，不断地更新数据库中的信息，增加学习次数，使其处理的效果越来越好、精度越来越高拟计划在算法方面进行一系列的优化，例如对图像主体进行跟踪和捕捉的过程中，通过将Camshift算法与Kalman滤波算法相结合的方式，利用两种算法的优势来实现互补，确保能够对各类图像的目标主体进行捕捉图像前景和背景分割采用区域分割和边缘检测两种算法相结合的分割方式，使得图像前景和背景能够完整的分割开来实现在转换过程中保留原始图像的清晰度，不会出现转换后图片失真的现象同时解决当前仍存在的一系列问题例如解决相机问题、“空洞”问题、深度图偏转角度小、预测信息不准确等问题等具有转换速度快、成本低、偏转角度大等优势

（五）技术路线、拟解决的问题及预期成果拟计划技术路线大致分为5个方面，依次为寻找所需主体目标对其进行跟踪、捕捉；图像的前景和背景分割；根据图像创建深度图；基于快速行进法的空洞填补最后将整个系统相结合进行系统的深度学习，实现自动化的智能二维图像转三维，并且用户可以根据自己的需要来调整参数来实现自己所需要的效果主要的技术路线如图1所示二维图像“\7跟踪和捕捉目标主题，\7图像前景与背景分割＞深度学习—\7\根据图像创建深度图一\7V三维图像右图1技术路线图.主体目标的跟踪和捕捉找出内容主体，将内容主体进行跟踪捕捉拟利用Camshift算法与Kalman滤波算法的优点相结合来实现视频序列中目标的实时跟踪，根据场景中不同的干扰情况，采用不同的比例因子将Camshift算法与Kalman滤波算法计算得到的结果进行相应的线性加权们从而得到目标的最终位置在干扰较小的情况下，Camshift算法可以得到比较好的结果，其计算结果所占比重大;在干扰严重的情况下，Kalman预测结果比较好，其所占比重大，这样就可以有效的克服不同的干扰系统采用不同的比例因子a对Camshift目标跟踪算法的结果与Kalman目标跟踪算法的结果进行线性手加权得到最终的目标跟踪结果可以表示为Xk+l=aXk+l+l-aY其中又k+1表示本文算法对目标k+1时刻的预测位置，Xk+1表示Kalman滤波器的预测位置，Y表示Camshift算法的预测位置，比例因子a0al大小根据目标受干扰的情况严重程度而改变当受干扰严重口寸，比例因子a取较大值，此时Kalman滤波器预测结果相对准确占较大比重；当受干扰不严重时，比例因子取较小值，此时Camshift算法的预测结果相对准确占较大比重下面分两种情况讨论来确定目标受干扰的严重程度图2为分析图像序列中目标受干扰情况的流程图在Camshift算法中计算Bhattacharyya系数夕的大小夕阈值本文取

0.8否~~►表示干扰严重否N「N-£是表示干扰不严重图2目标受干扰情况.图像前景与背景分割通过图像阈值分割中基于区域分割和边缘检测相结合的分割方式，第一阶段中，先确定主体目标，通过与深度学习相结合的方式，利用深度学习不断的进行大量训练，使其能够快速识别目标图像的主体部分，将识别出来的主体部分进行小范围扩展，将扩展后所跟踪的主体目标进行分割，缩小计算和选择范围，第二阶段对所分割的主体图像进行边缘检测，不断的比较主体与周围像素的亮度和颜色等信息从而进一步缩小主体范围，使得被分割图像的前景和背景更加精确的进行分割.根据图像创建深度图如果有两个场景相同的图像，则可以通过直观的方式从中获取深度信息根据方程式disparity=x-x=:表示场景中某个点的深度与相应图像点及其相机中心的距离差成反比因此，利用此信息，可以得出图像中所有像素的深度因此，可以在两个图像之间先找到对应的匹配项一旦找到匹配项，就能获得深度disparityo.快速行进法的的空洞填补由已知图像和对应的深度图，可以利用DIBR技术生成对应的虚拟视点由于前景物体的遮挡，这时的深度图含有很多暴露区域空洞空洞区域的信息，在原视点中没有出现，我们就需要用其他方法合成这些缺失的纹理信息、不同属性的场景可以采用不同的填补方法针对空洞区域，最直接的思想是利用周围像素填补但是直接利用邻域像素复制或加权，会因为填补顺序不当，引起空洞边缘结构填补错误的问题所以采用快速行进法进行空洞的修复，空洞区域的点为背景区域，因此应只利用背景部分信息来填补当前空洞提取BAND中的具有最小T值的点pij将其像素标记为己知;将pij四邻域的未知点作为目标BAND填补该邻域点，完成沿空洞边界向空洞行进；更新邻域点kI的T值，通过求解离散化有限差分形式，其流程图如图3所示2D原视点图像DepthI深度图预处理〉3Dwarping空洞处理虚拟视点z\./参数控制图3空洞填补流程图在国内外现有研究中，还存在着许多的问题有待解决在之前的算法上进行优化，降低算法的时间复杂度以及优化相应的识别功能提高深度图偏转角度，使得所呈现的三维效果更加明显；给人更加真实的三维效果；降低处理时间，能够实时的处理对所拍摄的效果进行处理六项目研究进度安排项目进度预估约为两年时间自2022年5月至2024年6月拟计划项目前一年时间完成项目大体框架和分步算法的设计，后一年时间进行各项拼接以及后续调试和细节完善详细进度如表1所示表1项目进度安排表

（七）已有基础.与本项目有关的研究积累和已取得的成绩学院对相关方面一直以来都有很多图形图像处理的研究指导老师在相关方面具有很深的研究，参与过许多相关方面的科研活动负责人清楚数字图像生成的底层逻辑，现能够利用Camshift算法与Kalman滤波算法相结合的优点来对视频序列中目标的实时跟踪，以此来实现对图像主体进行跟踪和捕捉在图像方面能利用opengl来实现图像的透视变换，设置图像透视变换的角度和范围，掌握图像的基本透视规律在深度图方面，也能够利用python来实现获取图像所对应的深度图等相关功能.已具备的条件，尚缺少的条件及解决方法学院对图形图像处理方面具有众多研究，对于该项目的图像处理方面具有较大优势，其次对于项目的整体脉络清晰，能够通过多种方式来实现相同的操作，能够通过比较不同方法后来选择最优的解决方法但负责人在深度学习方面还有待继续学习，继续提高，寻找比较好的思路来减少训练时间和提高最后执行的效果学院这方面也会提供相关的课程和训练，帮助我们更好的学习相关方面的知识另外相关方面的知识网络资源较少，需要额外购买书籍以此来查阅相关资料或是自行研究探索得出结论等

三、经费预算项目名称人工智能在二维图像到三维转换中的应用所属一级学科计算机科学与技术申请金额5000元起止年月2022年5月至2024年6月负责人姓名谭建锋性别男民族汉族出生年月2000年8月学号联系电话宅手机指导教师李鲁英联系电话宅手机负责人曾经参与科研的情况2022年参加食品与生物工程学院“互联网+”获得院级“三等奖”2022年参加信息工程学院“互联网+”大赛，为项目负责人2021年参加信息工程学院“互联网+”大赛指导教师承担科研课题情况李鲁英老师2021年主持获批了省级科研课题《基于多Kinect的动态三维重建算法研究》（项目编号B）2019年指导学生获批省级大学生创新训练项目《基于深度相机的人体三维重建技术》（项目编号S）2021年指导学生获批国家级大学生创新训练项目《基于CycleGAN的服装风格迁移》（项目编号）指导教师对本项目的支持情况李鲁英老师主要研究方向为人工智能，讲授过《深度学习》、《计算机图形学》、《数字图像处理》等课程，长期致力于人工智能、三维重建等方向的研究项目组主要成员姓名学号专业班级所在学院项目中的分工王沥锋数媒游设2001信息工程学院算法分析秦劲松数媒游设2002信息工程学院项目策划曹满数媒影工2002信息工程学院项目测试朱文豪数媒影工2002信息工程学院搜集相关文献时间工作安排预期成果2022年5月-2022年12月构建项目整体框架查阅相关资料，进一步确定项目步骤和整体规划2023年1月-2023年6月实现各个步骤的分布算法确定各个步骤具体的方法以及各步骤算法设计2023年7月-2023年12月将各个步骤进行拼接，并利用深度学习将程序实现自动化整个项目能够完整运行，发表论文1篇2024年1月-2024年6月将整个项目进行调试，完善项目各项细节达到最终期望效果开支科目预算经费（元）主要用途阶段下达经费计划（元）前半阶段后半阶段预算经费总额5000整个项目设计、、测试、论文出版等

150035001.业务费4000用于计算测试、研究、论文发表出版等方面10003000

（1）计算、分析、测试费1000用于分析测试项目500500

（2）能源动力费

（3）会议、差旅费

（4）文献检索费

（5）论文出版费3000用于论文的打印，出版等

50025002.仪器设备购置费

3.实验装置试制费

4.材料费1000用于购买项目所需材料500500。