[發明專利]一種雙模態CNN二次遷移學習的精礦品位等級預測方法

在審

• 申請號: 202310546945.2
• 申請日: 2023-05-16
• 公開（公告）號: CN116503378A
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 廖一鵬;嚴欣;朱坤華
• 申請（專利權）人: 福州大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/0464;G06N3/096;G06N3/006;G06V10/82;G06V10/774;G06Q10/04;G06Q50/02;G06V10/40;G06V10/764;G06V10/80
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 蔡學俊;薛金才

1.一種雙模態CNN二次遷移學習的精礦品位等級預測方法，其特征在于，包括以下步驟：

步驟1：采集正常、過量、欠量等3種加藥狀態下的泡沫雙模態圖像，根據現場化驗室提供的加藥狀態和對應的精礦品位等級數據，構建3種加藥狀態下的雙模態圖像小規模數據集；

步驟2：采用RGB-D大規模數據集訓練雙模態ISE-DenseNet網絡模型，然后將預訓練模型進行遷移，凍結預訓練的第一個卷積層、前三個ISE-Dense?Block以及相應的3個過渡層和SE層；

步驟3：分別采用3種加藥狀態下的雙模態泡沫圖像小規模數據集，對雙模態ISE-DenseNet網絡模型進行遷移學習訓練，對遷移后模型的ISE-Dense?Block4以及全連接層和softmax進行訓練學習，得到正常、過量、欠量3種加藥狀態下的雙模態ISE-DenseNet預訓練模型；

步驟4：對3種加藥狀態下的雙模態ISE-DenseNet預訓練模型再次遷移學習訓練，凍結預訓練模型的第一個卷積層、前四個ISE-Dense?Block以及相應的過渡層和SE層，用自適應DTAE-KELM代替全連接層和softmax進行遷移學習訓練；

步驟5：遷移學習訓練過程中采用量子狼群算法對DTAE-KELM的L、C、σ參數進行自適應優化，訓練集識別準確率作為適應度，最后得到3種加藥狀態下的精礦品位等級預測模型；

步驟6：實時采集浮選槽表面泡沫的可見光、紅外圖像，根據不同的加藥狀態，如果是故障狀態則直接輸出結果，否則采用相應加藥狀態下的模型進行精礦品位等級預測。

2.根據權利要求1所述的一種雙模態CNN二次遷移學習的精礦品位等級預測方法，其特征在于，構建泡沫圖像雙模態ISE-DenseNet網絡模型具體為：

對浮選槽表面的泡沫進行紅外熱成像，泡沫紅外圖像隱含著泡沫的動態特征信息，紅外熱成像能直接展現產生崩塌、合并的氣泡，根據浮選生產工況將精礦品位等級分為優、良、中、合格、差、異常6個等級；綜合提取泡沫可見光和紅外熱成像的雙模態圖像特征作為精礦品位等級預測的驅動特征；

利用Inception-v3網絡結構對SE-DenseNet進行改進，對Dense?Block中的卷積進行不對稱操作，將1×1卷積和3×3卷積替換為1×3和3×1的卷積形式，將SENet嵌入到DenseBlock中，在Dense?Block中的1×3和3×1卷積層后增加SE模塊，融合得到ISE-DenseBlock；

綜合提取泡沫可見光和紅外圖像的深度特征，在ISE-Dense?Block基礎上，構建雙模態ISE-DenseNet網絡模型，DenseNet網絡需要3通道的224×224圖像作為輸入，將雙模態256×256圖像通過NSST分解為低頻圖像和高頻尺度圖像，然后將原圖像、低頻圖像、高頻尺度圖像插值處理成3張224×224圖像作為DenseNet的輸入，圖像分解后進行CNN特征提取能夠充分挖掘出圖像的輪廓、紋理和邊緣細節信息；構建的雙模態ISE-DenseNet網絡模型包含上下兩個通道的ISE-DenseNet網絡，去掉原DenseNet第一個卷積層之后的池化層，采用ISE-Dense?Block代替DenseNet中的Dense?Block結構，并在每個ISE-Dense?Block塊的過渡層之后加入一個SE層，使每個通道具有不同的權重；上下每個ISE-DenseNet通道各包含四個ISE-Dense?Block塊，以及三個過渡層和三個SE層，將兩個通道的最后ISE-DenseBlock塊池化后進行全連接，并級聯拼接為FC0，然后再經過全連接層FC1、FC2進行特征融合和學習，最后采用softmax進行多分類；根據遷移學習思想，將源領域訓練模型的部分參數直接遷移到目標領域模型中，RGB-D數據集包含RGB和景深兩種模態圖像，泡沫雙模態圖像識別與RGB-D圖像識別的任務相似，對雙模態ISE-DenseNet網絡模型預訓練；采用RGB-D大數據集對雙模態ISE-DenseNet模型預訓練，然后將部分模型結構和參數遷移到泡沫精礦品位等級預測模型中，然后對模型進行二次訓練。

3.根據權利要求1所述的一種雙模態CNN二次遷移學習的精礦品位等級預測方法，其特征在于，基于雙模態ISE-DenseNet二次遷移學習的精礦品位等級預測具體為：

首先，構建基于ISE-DenseNet的雙模態ISE-DenseNet網絡模型，并通過RGB-D大規模數據集對模型進行預訓練；其次，采用3種加藥狀態下的小規模雙模態數據集對初始的預訓練模型進行遷移學習，對遷移后模型的ISE-Dense?Block4、全連接層和softmax重新訓練，得到3種加藥狀態下的雙模態ISE-DenseNet預訓練模型；然后，采用自適應深度核極限學習機代替全連接層和softmax進行再次遷移學習，得到3種加藥狀態下的雙模態ISE-DenseNet精礦品位等級預測模型；最后，根據加藥狀態識別結果，選擇相應的雙模態ISE-DenseNet二次遷移學習模型對精礦品位等級進行預測；

將多個層次的極限學習機自編碼器串聯作為KELM的特征學習網絡，極限學習機自編碼器令輸入與輸出相等，通過前饋神經網絡來完成高層次的特征提取，構建雙隱層自編碼極限學習機，兩個隱層的節點數都為N_h，設置N_h的值大于輸入接點數，隨機生成第一、二隱層節點的輸入權重向量w₁、w₂和偏置b′₁、b′₂，通過輸入X、w₁和b′₁計算第一隱層的輸出矩陣，然后通過第一隱層輸出矩陣、w₂和b′₂計算第二隱層輸出矩陣H_i，通過式(1)計算每個雙隱層自編碼極限學習機的輸出權重矩陣β_i的值：

將多個雙隱層自編碼極限學習機與核極限學習機KELM串聯起來，構成深度雙隱層自編碼核極限學習機DTAE-KELM，每個隱含節點H_i的輸入權值都是前一個輸出權值的轉置通過式(2)將原始輸入數據通過L個雙隱層自編碼極限學習機的逐層抽象提取，然后通過KELM映射到更高維空間進行決策；

將預訓練的雙模態ISE-DenseNet模型進行遷移學習，凍結預訓練的第一個卷積層、前三個Dense?Block：ISE-Dense?Block1～ISE-Dense?Block3，以及相應的3個過渡層和SE層，只對最后的ISE-Dense?Block4進行訓練；模型遷移后只需對ISE-Dense?Block4、DTAE-KELM模型進行訓練學習；采用量子狼群算法對DTAE-KELM模型的雙隱層自編碼極限學習機個數L、KELM的懲罰系數C和核函數參數σ進行自適應優化。