[發明專利]一種近紅外光譜數據分段預處理方法

在審

• 申請號: 202111240186.4
• 申請日: 2021-10-25
• 公開（公告）號: CN114062306A
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 杜一平;楊吳燁;王海婷;馬騰洲;吳婷;熊訚然;王健
• 申請（專利權）人: 華東理工大學;上海海關工業品與原材料檢測技術中心;上海國際旅行衛生保健中心（上海海關口岸門診部）
• 主分類號: G01N21/359
• 分類號: G01N21/359
• 代理公司: 上海順華專利代理有限責任公司 31203
• 代理人: 李鴻儒

本發明公開了一種光譜數據分段預處理方法，在將整條光譜劃分成若干個光譜區間后，通過使用優化算法，去尋找得到每個光譜區間下最適合它自己的預處理方法，各自進行預處理，之后再進行常規的后續化學計量學建模。本發明的近紅外光譜數據分段預處理方法可以解決傳統方法中，全波段統一采用的預處理方法與不同光譜區域各自最適合的預處理方法不一致的問題，從而大大提高預處理的效果，提高模型的性能。

技術領域

本發明屬于光譜數據處理技術領域，尤其涉及一種近紅外光譜數據分段預處理方法。

背景技術

近紅外光譜(NIR)分析技術是指利用近紅外光(即波長在780-2526nm范圍內的電磁波)進行分析的技術。它有著分析速度快、低污染、分析樣品的用量較少、結果重現性好、樣品無需進行預處理、無損檢測、實時監測等各種優點，近年來在各個行業得到了廣泛應用，例如農業、食品、煙草、石油化工、醫藥等領域。

近紅外光譜作為一種分子光譜技術，記錄的主要是樣品中各種含氫基團(例如C-H、N-H、O-H、S-H等)振動的倍頻和合頻吸收，因此它非常適合用于碳氫有機物的相關測量。但是同時，在近紅外區域，基團的吸收強度弱，靈敏度較低，且光譜吸收帶較寬且不同吸收帶重疊嚴重，因此需要借助化學計量學手段，對光譜進行處理，并建立光譜信息與成分含量或是物質種類間的關系模型，從而實現對樣品進行快速、無損檢測的目的。

近紅外光譜的預處理在模型建立中有著十分重要的作用，通過選擇使用合適的預處理方案，可以消除或減小近紅外光譜數據中那些影響模型建立的部分負面因素，例如儀器的噪聲、光譜的數據漂移等，進而提高所建立模型的預測效果。傳統的光譜預處理步驟中，是使用某種預處理算法，對整個光譜波段進行預處理。常見的光譜預處理方法包括，多元散射校正(MSC)、導數光譜(常用一階導數1D和二階導數2D)、平滑(常用Savitzky-Golay平滑方法，SGsmooth)、標準正態變量變換(SNV)、正交信號校正(OSC)等。對于光譜儀來說，檢測不同波長位置的儀器的物理狀況是不一致的，并且對于待測樣品來說，對于光譜中的不同位置所包含的有效信息的水平也是不同的。在這樣的綜合作用下，可能會出現，對于某一段光譜區間最適合的是一種預處理方法(例如MSC)，另一段光譜區間最適合的卻是另一種方法(例如1D)的情況，此時若對全波段統一使用一種預處理手段，顯然就并不合理。

發明內容

本發明的目的是提供一種近紅外光譜數據分段預處理方法。

為了實現上述目的，本發明采用的技術方案如下：

為了克服現有預處理手段的不足之處，本發明提供了一種光譜數據分段預處理方法，在將整條光譜劃分成若干個光譜區間后，通過使用優化算法，去尋找得到每個光譜區間下最適合它自己的預處理方法，各自進行預處理，之后再進行常規的后續化學計量學建模。本方法中，待建立的模型可以是近紅外定量分析模型或是近紅外定性判別模型，使用的優化算法可以是遺傳算法、隨機搜索算法等，光譜區間的劃分方式可以是等間隔的或不等間隔的，整個優化流程中對光譜進行建模時所用的算法可以是偏最小二乘回歸、LASSO回歸、嶺回歸等。為了論述的方便，下面采用的是建立近紅外定量分析模型，等間隔的光譜區間劃分方式，用遺傳算法進行優化，光譜建模時使用偏最小二乘回歸。

本發明提供了一種近紅外光譜數據分段預處理方法，包括以下步驟：

第一步，設置候選預處理方法：將原始的待處理光譜數據標記為1，然后對原始光譜數據，分別用候選的L種預處理方法進行全波段的處理，并分別將預處理后的數據標記為2,3,4…L+1；

所述L種預處理方法選自平滑Smooth、一階導數1D、二階導數2D、標準正態變量變換SNV、多元散射校正MSC、SNV與Smooth組合、SNV與1D組合、SNV與2D組合。

算法涉及到的候選的預處理方法，是指在使用數學方法對光譜數據進行處理后，能夠提高后續所建立的近紅外模型的預測能力的方法，包括但不限于基體或物理干擾校正、儀器噪聲去除、光譜分辨率提高、光譜標準化。