[發明專利]一種基于燒結機尾斷面視頻的FeO含量預測方法

有效

• 申請號: 202011136832.8
• 申請日: 2020-10-22
• 公開（公告）號: CN112329558B
• 公開（公告）日: 2022-10-25
• 發明（設計）人: 白雪含;陳彩蓮;楊博;關新平
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06V10/774;G06N3/04;G06Q10/04;G06T5/00;G06T5/20;G06T7/00;G06T7/11;G06T7/62;G10L15/04;G10L25/03;G10L25/51;G06F16/28
• 代理公司: 上海旭誠知識產權代理有限公司 31220
• 代理人: 鄭立

1.一種基于燒結機尾斷面視頻的FeO含量預測方法，其特征在于，包括以下步驟：

步驟1、判定掉落時刻；

步驟2、剔除兩個相鄰所述掉落時刻之間的異常音頻小序列；

步驟3、利用所述掉落時刻劃分出圖像序列，對于所述圖像序列中包含的每一個掉落小序列圖像進行圖像預處理，得到預處理后的圖像，并將其輸入到CNN網絡中；

步驟4、利用所述掉落時刻劃分出音頻序列，并確定與所述每一個掉落小序列圖像時間對應的掉落小序列附近的音頻小段；

步驟5、對于所述每一個音頻小段進去音頻預處理，得到預處理后的音頻信號，并將其輸入到LSTM網絡中；

步驟6、對于所述預處理后的圖像數據進行圖像特征提取，得到待輸入模型的圖像數據；

步驟7、對于所述預處理后的音頻數據進行音頻特征提取，得到待輸入模型的音頻信號數據；

步驟8、構建視頻質量數據庫；

步驟9、構建、訓練與測試質量預測模型；

所述步驟1包括：

步驟1.1、人工測量兩個真實掉落時刻之間的時間間隔D，以小于所述時間間隔D的小時間間隔d劃分出一系列標準音頻小序列，對每個所述標準音頻小序列循環執行以下步驟：

步驟1.2、對所述標準音頻小序列進行FFT變換；

步驟1.3、FFT變換對進行所述FFT變換后的值求絕對值，并進行平方運算，得到所述標準音頻小序列的能量；

步驟1.4、通過將所述標準音頻小序列的能量與總能量相除，獲得所述標準音頻小序列的概率密度：

步驟1.5、將所述概率密度與其log值相乘并求和，得到所述標準音頻小序列的譜熵；

步驟1.6、若所述標準音頻小序列的譜熵值大于一定的閾值時且所述標準音頻小序列與人工測量的上一個掉落小序列所在時間的時間間隔為D，則將所述標準音頻小序列所在的小時間范圍確定為掉落時刻；

所述步驟2包括：

步驟2.1、對兩個所述掉落時刻之間的所有標準音頻小序列的譜熵求平均得到平均譜熵值；

步驟2.2對兩個所述掉落時刻之間的所有標準音頻小序列進行如下判斷：若某個標準音頻小序列的譜熵大于所述平均譜熵值且該標準音頻小序列不是所述掉落時刻，則判定該標準音頻小序列是所述異常音頻小序列，并進行剔除；

所述步驟3中的所述圖像預處理包括以下步驟：

步驟3.1、使用均值濾波算子對所述掉落小序列圖像進行均值濾波去噪，均值濾波算子為將某個像素周圍8個像素和其自身進行求和再求平均，得到去噪后的圖像；

步驟3.2、對所述去噪后的圖像進行像素反轉，之后按照以下公式(1)使用暗通道方法進行去霧處理，

其中，J(x)為去霧后的圖像，I(x)為原始圖像，A為全球大氣光值，t₀為投射率閾值，t(x)如下式(2)所示：

其中，ω為修正因子，c代表像素的R/G/B通道，Ω(x)為以像素x為中心的一個窗口；

然后進行引導濾波處理，主要涉及待引導圖像p，引導圖像I，圖像半徑r,正則化系數ε,引導濾波輸出圖像q，將所述圖像q再次按像素進行反轉，得到去霧后的圖像；

步驟3.3、對所述去霧后的圖像進行歸一化處理，得到所述預處理后的圖像；

步驟3.4、將所述預處理后的圖像輸入到所述CNN網絡中；

所述步驟5包括：

步驟5.1、對所述每一個音頻小段的原始音頻信號進行加窗分幀處理，即將所述原始音頻信號與窗函數相乘后求和，得到分幀音頻信號；

步驟5.2、使用移動平均濾波器對所述分幀音頻信號進行去噪處理，即取一定長度的移動平均濾波器，對所述移動平均濾波器劃過的信號進行平均化處理，得到所述預處理后的音頻信號；

步驟5.3、將所述預處理后的音頻信號其輸入到所述LSTM網絡中；

所述步驟7包括：

步驟7.1、對所有所述預處理后的音頻信號，求當前音頻信號和前一個音頻信號的符號函數差值的絕對值，并求和除以常數，作為過零率特征；

步驟7.2、對每一幀音頻信號，求其與其他幀差值的絕對值，再求和，作為表征所述音頻信號的幅度特性；

步驟7.3、將所述音頻信號求平均后再求和，表征音頻信號的時域能量特性；

步驟7.4、將該幀音頻信號與窗函數相乘后求和，再進行FFT變換；

步驟7.5、設置所述待輸入模型的音頻信號數據包括所述過零率特征、短時平均幅度差特征、短時能量、短時傅里葉變換特征；

所述步驟8包括：

步驟8.1、將每一個所述掉落小序列圖像和與之時間相對應的所述掉落小序列附近的音頻小段組成一對“圖像-音頻”匹配對，對每兩組所述“圖像-音頻”匹配對進行比較，根據現場經驗人工確定的FeO含量為依據，FeO含量越大的給予越大的質量評分值，并進行“”,“”或“＝”的選擇，重復此過程，直至對數據庫中所有的所述“圖像-音頻”匹配對完成所述質量評分；

步驟8.2、將所述質量評分轉換為相應的FeO含量值，計算兩個掉落時刻之間的“圖像-音頻”匹配對序列的多個時間小段圖像評價值的平均值，將所述平均值與該時間段通過化學檢測獲得的FeO含量值進行對比，通過線性變換，將所述質量評分變換為FeO的值；

所述步驟9包括：

步驟9.1、將所述待輸入模型的圖像數據輸入到偽孿生神經網絡的卷積神經網絡結構通道內并進行卷積，得到第一路卷積層的輸出，以及將所述待輸入模型的音頻信號數據輸入到長短期記憶網絡結構通道中并進行卷積，得到第二路卷積層的輸出；

步驟9.2、將所述第一路卷積層的輸出和所述第二路卷積層的輸出向量化操作后進行連接，將所述連接計算得到的特征值輸入到全連接層；在最后一個全連接層輸入人工提取的圖像特征和音頻特征，進行特征融合；

步驟9.3、將倒數第一個隱藏層的輸出輸入回歸層，通過回歸層得到所述“圖像-音頻”匹配對的質量分數；

步驟9.4、使用RELU作為網絡的激活函數，使用Xavier方法對網絡參數進行初始化，目標函數由均方誤差函數和L2正則化項構成，利用ADAM方法進行參數更新，訓練集和測試集的比例為75％和25％。