[發(fā)明專利]基于領(lǐng)域知識和深度強化學(xué)習(xí)的藥物分子生成器訓(xùn)練方法

有效

• 申請?zhí)枺?/td>: 202110496113.5
• 申請日: 2021-05-07
• 公開（公告）號: CN113223637B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計）人: 黃向生;蔡金儒
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所
• 主分類號: G16C20/50
• 分類號: G16C20/50;G16C20/70
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發(fā)明屬于藥物分子生成領(lǐng)域，具體涉及了一種基于領(lǐng)域知識和深度強化學(xué)習(xí)的藥物分子生成器訓(xùn)練方法，旨在解決通過深度學(xué)習(xí)進(jìn)行藥物分子生成時的樣本有限的問題。本發(fā)明包括利用領(lǐng)域知識構(gòu)建活性藥效團(tuán)分子組群；利用動態(tài)策略下的課程式學(xué)習(xí)，將活性藥效團(tuán)分子組群中的藥效團(tuán)隨機插入分子的生成過程中，生成具有特定目標(biāo)的藥效團(tuán)結(jié)構(gòu)分子；利用強化學(xué)習(xí)方法，最大化混合獎勵函數(shù)，得到訓(xùn)練好的藥物分子生成器。本發(fā)明解決了樣本量過小的問題，防止過度的演示學(xué)習(xí)造成分子單一的問題，可以使生成的分子更快收斂到具有特定目標(biāo)的藥效團(tuán)結(jié)構(gòu)。

背景技術(shù)

近年來，深度學(xué)習(xí)方法在計算化學(xué)中得到了廣泛的應(yīng)用，比如，許多研究證明了通過深度學(xué)習(xí)方法設(shè)計新的具有理想化學(xué)性質(zhì)的化合物的可行性。雖然深度學(xué)習(xí)方法在生成目標(biāo)化學(xué)性質(zhì)的化合物方面具有良好的性能，但實際操作過程中通常需要大量的樣本。然而，獲取大量樣本難度很大，需導(dǎo)致已經(jīng)發(fā)現(xiàn)的藥物數(shù)量很少。這給普通的深度學(xué)習(xí)方法帶來了挑戰(zhàn)。如何在有限樣本條件下完成藥物設(shè)計是一個重要問題。為此，我們結(jié)合先驗知識，提出了一種基于領(lǐng)域知識的強化學(xué)習(xí)方法。該方法在原有方法的基礎(chǔ)上，將領(lǐng)域知識集成到訓(xùn)練過程中，并首次將泛化后的各種相同特征用于課程學(xué)習(xí)當(dāng)中。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中的上述問題，即為了解決通過深度學(xué)習(xí)進(jìn)行藥物分子生成時的樣本有限的問題，本發(fā)明提供了一種基于領(lǐng)域知識和深度強化學(xué)習(xí)的藥物分子生成器訓(xùn)練方法，包括

基于藥物分子生成器，利用動態(tài)策略下的課程式學(xué)習(xí)，將活性藥效團(tuán)分子組群中的藥效團(tuán)隨機插入分子的生成過程中，生成具有特定目標(biāo)的藥效團(tuán)結(jié)構(gòu)分子；

利用預(yù)構(gòu)建的混合獎勵函數(shù)，對得到的具有特定目標(biāo)的藥效團(tuán)結(jié)構(gòu)分子進(jìn)行獎勵值計算；所述混合獎勵函數(shù)基于任務(wù)獎勵函數(shù)和模仿獎勵函數(shù)構(gòu)建；

利用強化學(xué)習(xí)方法，最大化混合獎勵函數(shù)，得到訓(xùn)練好的藥物分子生成器；

其中，

所述活性藥效團(tuán)分子組群基于給定藥物樣本，利用領(lǐng)域知識構(gòu)建；

所述藥物分子生成器輸出的字符串為藥效團(tuán)字符串SMILES的語法結(jié)構(gòu)。

在一些優(yōu)選實施方式中，所述活性藥效團(tuán)分子結(jié)構(gòu)組群的獲取方法為：

步驟S110，從給定藥物樣本中提取出藥效團(tuán)；

步驟S120，利用化學(xué)鍵聯(lián)系，將藥效團(tuán)拆分成多個原子團(tuán)；

步驟S130，從領(lǐng)域知識中獲得具有相同性質(zhì)的原子或元素；

步驟S140，利用來自領(lǐng)域知識的原子或元素替換藥效團(tuán)分子結(jié)構(gòu)的多個原子團(tuán)；

步驟S150，將替換后得到的新藥效團(tuán)分子與原藥效團(tuán)分子進(jìn)行化學(xué)活性對比，選取化學(xué)活性差異小于預(yù)設(shè)值的新藥效團(tuán)分子與原藥效團(tuán)分子組成藥效團(tuán)分子組群；

步驟S160，選取若對比后新藥效團(tuán)分子和原藥效團(tuán)化學(xué)活性差異不大，則將新藥效團(tuán)分子與原藥效團(tuán)分子組合形成活性藥效團(tuán)分子組群，并建立關(guān)系網(wǎng)絡(luò)；

步驟S170，重復(fù)上述步驟，擴(kuò)充活性藥效團(tuán)分子組群。

在一些優(yōu)選實施方式中，所述藥物分子生成器基于RNN網(wǎng)絡(luò)構(gòu)建，基于藥物化合物字符串?dāng)?shù)據(jù)構(gòu)建的訓(xùn)練樣本進(jìn)行訓(xùn)練；

所述訓(xùn)練樣本包括輸入樣本、輸出樣本；輸出樣本為藥物化合物字符串中的一個字符，對應(yīng)的輸入樣本為藥物化合物字符串中位于該字符之前的字符串。

在一些優(yōu)選實施方式中，基于所述藥物分子生成器中設(shè)置有stack-memory機制，在生成藥物化合物字符串的過程中，將已存在的字符串序列作為前綴片段，通過所述藥物分子生成器循環(huán)進(jìn)行下一個字符的生成，直至得到完整的藥物化合物字符串。

在一些優(yōu)選實施方式中，“將藥效團(tuán)隨機插入分子的生成過程中”，其方法為：