[發明專利]一種基于Q學習的三重四極質譜儀參數優化策略計算方法

有效

• 申請號: 202110352342.X
• 申請日: 2021-03-31
• 公開（公告）號: CN113065284B
• 公開（公告）日: 2022-11-01
• 發明（設計）人: 李亮;王晶;李振;馮新用;劉廣才;賈明正;凌星;程文播
• 申請（專利權）人: 天津國科醫工科技發展有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N20/20
• 代理公司: 天津企興智財知識產權代理有限公司 12226
• 代理人: 李彥彥

本發明提供了一種基于Q學習的三重四極質譜儀參數優化策略計算方法，質譜儀的參數優化方法，即為參數不斷調整的過程，將質譜儀的參數優化過程抽象成馬爾可夫決策過程，從當前參數組合經過操作后，轉移到下一個參數組合；參數組合僅僅取決于上一參數組合，同更早之前的參數組合無關。本發明有益效果：應用Q學習算法計算三重四極質譜儀參數調節的最佳策略，這是一種基于強化學習的參數優化方法，在三重四極質譜儀調諧的過程中，需要優化的參數較多，可能的組合多達上千萬，如果每一個參數都優化，則將陷入難以接受的等待中，應用Q學習算法則可以使用較短的時間達到全局最優組合的附近，以使得三重四極質譜儀工作在較好的狀態。

技術領域

本發明屬于質譜儀技術領域，尤其是涉及一種基于Q學習的三重四極質譜儀參數優化策略計算方法。

背景技術

三重四極桿質譜儀是當下藥物公司研發部門、大學實驗室、研究所和醫院對物質定性分析的重要工具。顧名思義，四極桿即為四根平行或呈一定角度排列的金屬棒構成的模塊，三重四極桿質譜儀由若干這樣的模塊串聯而成。根據馬修方程，在四極桿上加相應直流電壓和射頻電壓，可以篩選出特定的質荷比的離子，而其他質荷比的離子將偏離軌道，撞在四極桿上。被選中的特定質荷比的離子在四極桿中做螺旋前進運動，直到通過四個串聯的四極桿，打在后端的檢測器上，形成信號，常用的檢測器有電子倍增器等。

化合物被離子化后，進入腔體后，首先進入Q0，Q0的主要作用在于引導離子進入Q1，Q1則可以篩選特定質荷比的離子，被篩選的離子進入Q2中，在Q2中，這些離子會被打碎成若干子離子，再進入Q3，Q3和Q1的作用相同，用于篩選特定質荷比的離子通過，而通過Q3的離子進入電子倍增器，得到信號，如此就可以對化合物進行定性分析。

為了使離子能夠最大數量的通過三重四極桿，操作人員需要優化多個參數，才能保證離子最大化的飛過四極桿，進入檢測器。而各類參數的組合數目龐大，找到最優的參數組合往往取決于操作人員的經驗和對儀器的理解，而且找到相對最優的參數組合耗時也比較長。尋找質譜儀最優參數組合的過程是質譜儀調諧的一部分。在實際應用中，應用人員或調試人員需要花費大量的時間和精力確定參數的最佳組合。一些儀器生產商也提出了一些自動調諧的方法，大多采用固定其余參數，遍歷單一參數的方法，這樣的好處是能夠縮短調諧時間，然而顯著的缺點是：難以收斂到質譜儀的全局最優參數組合，質譜儀可能無法在相對較好的狀態工作。

發明內容

有鑒于此，本發明旨在提出一種基于Q學習的三重四極質譜儀參數優化策略計算方法，該方法使用了Q學習的基本思想，這是一種基本強化學習方法。

為達到上述目的，本發明的技術方案是這樣實現的：

一種基于Q學習的三重四極質譜儀參數優化策略計算方法，包括：

質譜儀的參數優化方法，即為參數不斷調整的過程，將質譜儀的參數優化過程抽象成馬爾可夫決策過程，從當前參數組合經過操作后，轉移到下一個參數組合；參數組合僅僅取決于上一參數組合，同更早之前的參數組合無關；

基于Q學習算法計算得到的質譜儀參數優化方法，所述Q學習即為Q-learning，在一段時間內均可適用于質譜儀參數的優化，而無需重新計算，直接使用策略即可進行參數優化，用于提升了儀器的調諧效率，節省了實驗人員的精力和時間。

進一步的，定義(p₁,…,p_M)^T為質譜儀待優化的M個參數組合，(p_1n,…,p_Mn)^T為在時刻n時的參數組合，定義g(i,a,j)為從狀態i經過操作a后轉移到狀態j的單次代價函數，其中i為一種參數組合，j為另一種參數組合；

定義Q^*(i,a)為狀態-操作對(i,a)的Q因子，其中b∈A，根據Bellman方程可以得到下式：