省部级：

技术转让

正在申请 ,其中:发明专利 1 项
已授权专利,其中:发明专利 0 项

                                                

近年来，随着智能化电站的普及，对于低光照等复杂环境下智能机器人巡检时传输的电力设备要求更高，需要在利用图像融合技术的时候充分结合可见光图像和红外图像的特征信息，同时利用深度学习网络检测目标对象。

(1) 针对传统边缘检测算子阈值选取缺乏自适应的问题，采用Otsu算法先自适应的生成检测的高低阈值，并依据图像局部特征以及获取的梯度幅值整体情况来优化阈值，能够在避免过多冗余信息的情况下最大限度地保留局部细节。
(2) 针对红外图像与可见光图像配准时由于非线性光照和相机饱和度等其他因素的影响而导致误匹配点较多的问题，对于梯度值过大的关键点特征向量，根据梯度直方图上梯度幅值的分布情况设定判定门限值进行再次归一化，从而减少这类变化造成的影响，进一步消除误差。
(3) 针对深度学习来进行图像融合时融合质量和融合图像噪声受到影响的问题，设计基于两重ResNet网络的图像融合算法来提取更多的图像深度信息。

步骤1，利用架设在巡检机器人身上的摄像设备来获取低光照等复杂环境下电气设备的可见光图像、同时利用红外热成像仪获取对应的红外图像。其中可见光图像分辨率为600*800，红外图像分辨率为576*768；
步骤2，使用灰度化处理将红外图像与可见光图像转换成灰度图像，得到更多和更加清晰的图像细节信息；
步骤3，使用优化自适应阈值Canny边缘检测算法和曲率尺度空间（CSS）来获得红外图像和可见光图像的边缘轮廓信息与角点信息，保留图像的全局特征和重要结构属性；
步骤4，对检测后的图像提取SIFT特征描述符，利用改进的SIFT算法完成红外图像和可见光图像的配准，得到两幅图像特征点间一一对应关系；步骤5，利用随机采样一致性（RANSAC）算法来对配准结果进行筛选，滤除错误的匹配点。RANSAC算法先对整个特征数据集进行随机采样，对这些采样点线性拟合，得到有效拟合数据，再不断重复上述过程，直到获得最优数据；
步骤6，利用两重ResNet深度学习网络对配准后的红外图像和可见光图像进行融合，利用此网络进行图像融合时需去除网络尾部的平均池化层，FC层和Softmax层，仅用每个stage的最大池化层中特征提取部分的特征图作为输出结果；
步骤7，使用labelImg软件对可见光、红外和融合图像中的电力设备进行标注，生成xml文件，对于电力设备的图像要将其分辨率统一化为640*480，制作数据集；使用labelImg软件人工对图像中目标电气设备进行标注时，应将图像中所有清晰目标区域标注。如果图像失焦模糊，需将图片删除；
步骤8，设置深度学习网络YOLOv5训练参数，分别进行三组实验，可见光图像目标检测、红外图像目标检测和融合图像目标检测，采用标注数据集对网络进行训练，分别得到目标电气设备网络模型，并以此检测出三组实验各自的目标检测精度，