[發明專利]基于領域知識和深度強化學習的藥物分子生成器訓練方法

有效

• 申請號: 202110496113.5
• 申請日: 2021-05-07
• 公開（公告）號: CN113223637B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 黃向生;蔡金儒
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G16C20/50
• 分類號: G16C20/50;G16C20/70
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于領域知識和深度強化學習的藥物分子生成器訓練方法，其特征在于，包括

基于藥物分子生成器，利用動態策略下的課程式學習，將活性藥效團分子組群中的藥效團隨機插入分子的生成過程中，生成具有特定目標的藥效團結構分子；

所述活性藥效團分子組群，其獲取方法為：

步驟S110，從給定藥物樣本中提取出藥效團；

步驟S120，利用化學鍵聯系，將藥效團拆分成多個原子團；

步驟S130，從領域知識中獲得具有相同性質的原子或元素；

步驟S140，利用來自領域知識的原子或元素替換藥效團分子結構的多個原子團；

步驟S150，將替換后得到的新藥效團分子與原藥效團分子進行化學活性對比，選取化學活性差異小于預設值的新藥效團分子與原藥效團分子組成藥效團分子組群；

步驟S160，選取若對比后新藥效團分子和原藥效團化學活性差異不大，則將新藥效團分子與原藥效團分子組合形成活性藥效團分子組群，并建立關系網絡；

步驟S170，重復步驟S110-步驟S160，擴充活性藥效團分子組群；

所述將活性藥效團分子組群中的藥效團隨機插入分子的生成過程中，其方法為：

從所述活性藥效團分子組群中根據各活性藥效團分子的概率P隨機選取活性藥效團分子作為強化學習的初始狀態；

所述活性藥效團分子的概率P基于混合獎勵函數得到的獎勵值進行調整，若生成器在預設的迭代次數閾值內達到預設的收斂條件，則按照預設的第一調整值下調概率P，反之，若生成器在預設的迭代次數閾值內沒有達到預設的收斂條件，則按照預設的第二調整值下調概率P，第二調整值小于第一調整值；

利用預構建的混合獎勵函數，對得到的具有特定目標的藥效團結構分子進行獎勵值計算；所述混合獎勵函數基于任務獎勵函數和模仿獎勵函數構建；

所述混合獎勵函數為：

r(s_t，a_t)＝r_task(s_t，a_t)+λ*r_imitiin(s_t，a_t)，λ∈[0，1]

其中，r(s_t，a_t)表示狀態為s_t、動作為a_t的混合獎勵函數；r_task(s_t，a_t)為任務獎勵函數，生成的藥效團結構分子具備活性時獲取獎勵；r_imition(s_t，a_t)為模仿獎勵函數，生成的藥效團結構分子與選取的作為初始狀態的活性藥效團分子之間的相似度大于設定閾值時獲取；

通過損失函數θ^*進行訓練：

其中，表示每個回合的期望，γ^t為t時間下的獎勵，b為誤差項，α為超參數，H(a_t|s_t)為在狀態s_t下動作a_t的概率；

利用強化學習方法，最大化混合獎勵函數，得到訓練好的藥物分子生成器；

其中，

所述活性藥效團分子組群基于給定藥物樣本，利用領域知識構建；

所述藥物分子生成器輸出的字符串為藥效團字符串SMILES的語法結構。

2.根據權利要求1所述的基于領域知識和深度強化學習的藥物分子生成器訓練方法，其特征在于，所述藥物分子生成器基于RNN網絡構建，基于藥物化合物字符串數據構建的訓練樣本進行訓練；

所述訓練樣本包括輸入樣本、輸出樣本；輸出樣本為藥物化合物字符串中的一個字符，對應的輸入樣本為藥物化合物字符串中位于該字符之前的字符串。

3.根據權利要求2所述的基于領域知識和深度強化學習的藥物分子生成器訓練方法，其特征在于，基于所述藥物分子生成器中設置有stack-memory機制，在生成藥物化合物字符串的過程中，將已存在的字符串序列作為前綴片段，通過所述藥物分子生成器循環進行下一個字符的生成，直至得到完整的藥物化合物字符串。