[發明專利]一種基于Swin Transformer的光伏板異物檢測與清潔方法

在審

• 申請號: 202310362424.1
• 申請日: 2023-04-06
• 公開（公告）號: CN116388669A
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 馬宗方;麻瑞;張國飛;王雨萌
• 申請（專利權）人: 西安建筑科技大學
• 主分類號: H02S40/10
• 分類號: H02S40/10;H02S50/00;H02S50/15;B08B3/02;B08B3/08;B08B13/00;G01N21/94;G06V20/10;G06V10/22;G06V10/774;G06V10/82;G06V10/10;G06N3/0464;G06N3/08
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 王晶

1.一種基于Swin?Transformer的光伏板異物檢測與清潔方法，其特征在于，包括以下步驟；

S1：機器人自動規劃路徑巡檢光伏板基地，通過高分辨率攝像機采集光伏板圖像；

S2：采用Swin?Transformer目標檢測算法精準定位圖像中附著在光伏板上的污染物，得到污染物的中心坐標；

S3：激光測距儀發射激光，調整激光斑點到圖像中污染物的中心坐標處，得到機器人到污染物的距離L；

S4：讀取激光測距儀上姿態傳感器的姿態數據P₂，將機器人上高壓噴槍的姿態數據設置為P₂，進而根據污染物的大小和距離調整高壓噴槍的伸縮桿長度和壓力；

S5：啟動機器人的清潔程序，在清潔過程中實時監測污染物的狀態，當檢測不到污染物時停止清潔程度，完成清潔。

2.根據權利要求1所述的一種基于Swin?Transformer的光伏板異物檢測與清潔方法，其特征在于，所述步驟S1中，將機器人置于光伏板基地中，機器人根據光伏板基地的BIM模型，自動規劃路徑在基地中進行巡檢工作，未發現異物時按照規劃路徑巡檢，發現異物時停止巡檢進行清潔，清潔結束之后繼續按照規劃路徑進行巡檢；

所述機器人上包括高清攝像機、激光測距儀以及高壓噴槍，高清攝像機、激光測距儀以及高壓噴槍位于機器人的中心軸上，均配有姿態傳感器并且能夠360°調整姿態，當其進入光伏板基地時，調整高清攝像機的姿態直到視野中能夠完整看到光伏板組件，在巡檢過程中通過高清攝像機不斷采集光伏板圖像。

3.根據權利要求1所述的一種基于Swin?Transformer的光伏板異物檢測與清潔方法，其特征在于，所述S2步驟中，所述采用Swin?Transformer算法檢測光伏板異物的過程包括如下步驟：

S21、采集大量光伏板圖像，對圖像數據進行整理和人工標注；

S22、數據預處理，采取Mosaic數據增強方法對數據集進行擴充，對擴充后的數據集進行劃分，得到訓練集、驗證集、測試集；

S23、將訓練集輸入Swin?Transformer目標檢測網絡訓練模型，該模型的主干網絡為層次化結構，包含四個Stage，每個Stage都會縮小輸入特征圖的分辨率，在網絡輸入時，PatchPartition操作將圖像切成一個個圖塊，再通過Linear?Embedding操作將圖塊投影為嵌入向量，然后經過4個Stage處理，在每個Stage里，由Patch?Merging和偶數個Block組成，其中，Patch?Merging操作主要是在每個Stage一開始降低圖片分辨率，Block結構包括LayerNorm，MLP，Window?Attention和Shifted?Window?Attention，其中Layer?Norm是歸一化層，MLP是多層感知機，Window?Attention是基于窗口的自注意力模塊，Shifted?WindowAttention是基于移動窗口的自注意力模塊；

S24、將步驟S1中采集的圖像輸入到模型檢測異物，計算異物的中心坐標。

4.根據權利要求3所述的一種基于Swin?Transformer的光伏板異物檢測與清潔方法，其特征在于，所述步驟S21中，在光伏板基地使用高清相機、GoPro獲取光伏板上附著異物的視頻數據，選取視頻數據中的有效幀保存成圖像，對原始圖像進行人工標注，標注文件格式為TXT文件格式，TXT文件中包含異物類別和位置。

5.根據權利要求3所述的一種基于Swin?Transformer的光伏板異物檢測與清潔方法，其特征在于，所述步驟S22中，所述數據集是在光伏板基地調研時實地采集的圖像數據，經整理后得到原始數據集，采取Mosaic數據增強方法對原始數據集進行擴充，Mosaic增強的主要過程有如下步驟：

S221：從數據集中每次隨機讀取4張圖像；

S222:：分別對4張圖像進行翻轉、縮放、色域變化、裁剪操作；

S223：進行圖像的組合和標簽文件(TXT文件)的組合。