[發(fā)明專利]一種基于強化學(xué)習(xí)的路徑可控的藥物分子生成方法

有效

• 申請?zhí)枺?/td>: 202011168563.3
• 申請日: 2020-10-28
• 公開（公告）號: CN112331277B
• 公開（公告）日: 2022-06-21
• 發(fā)明（設(shè)計）人: 李成濤;柳俊宏
• 申請（專利權(quán)）人: 星藥科技（北京）有限公司
• 主分類號: G16C20/50
• 分類號: G16C20/50;G16C20/10;G16C20/70
• 代理公司: 北京中南長風(fēng)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11674
• 代理人: 鄭海

本發(fā)明公開了一種基于強化學(xué)習(xí)的路徑可控的藥物分子生成方法，由初始分子R₀,通過Agent尋找最佳反應(yīng)模版T₀和反應(yīng)物a₀，再通過environment搜索與最佳反應(yīng)物相似的反應(yīng)物集，返回該集合中受益最大的中間反應(yīng)產(chǎn)物R₁,同時將中間產(chǎn)物加入分子庫中，反復(fù)循環(huán)，直至搜索結(jié)束找到最佳反應(yīng)產(chǎn)物；該方法不僅可結(jié)合傳統(tǒng)藥物生成的經(jīng)驗?zāi)０妫瑫r利用強化學(xué)習(xí)的搜索不斷尋找最佳的反應(yīng)類型，得到最高回報價值的藥物分子；還結(jié)合傳統(tǒng)基于經(jīng)驗搜索、測驗的方法和基于深度生成模型兩者的優(yōu)勢，不僅能得到有效的藥物合成路徑，還能擴大搜索空間，生成更多樣化的分子結(jié)構(gòu)，能大幅度地降低全新藥物分子的研發(fā)時間，所得藥物分子具有極高的可行性。

技術(shù)領(lǐng)域

本申請屬于藥物研發(fā)領(lǐng)域，具體涉及人工智能藥物研發(fā)領(lǐng)域。

背景技術(shù)

藥物分子的生成是藥物研究的重要基礎(chǔ)，全新藥物分子的生成不僅要求最終生成的分子滿足特定的生物化學(xué)藥性需求，而且需要保證該分子真實生成的可能性。由于分子空間的龐大性及分子間反應(yīng)類型與反應(yīng)位點的多樣性，分子的生成路徑并不唯一，如何找到最高效、最經(jīng)濟的生成方式是藥物生成中的重要挑戰(zhàn)。傳統(tǒng)基于經(jīng)驗篩選、實驗測試等的藥物研發(fā)過程雖然能明確地顯示出藥物的生成過程，但是研發(fā)周期過于緩慢，且生成路徑并不一定是最優(yōu)的。

近幾年來，利用深度學(xué)習(xí)方法進行全新藥物分子生成取得顯著進展。常用的深度生成模型包括生成對抗網(wǎng)絡(luò)(GAN)、變分自編碼器(VAE)、結(jié)合長短記憶網(wǎng)絡(luò)(LSTM)的圖網(wǎng)絡(luò)模型等。生成網(wǎng)絡(luò)通過使用藥物分子的SMILES(簡化分子線性輸入規(guī)范)序列、Graph表示等可以生成擁有特定藥學(xué)性質(zhì)的多樣化的藥物分子，然而這類方法僅能得到形式上的有效分子，并沒有明確的、可解釋性的生成路徑，不能保證所得分子在實驗過程中是否能夠真正生成，從而嚴(yán)重限制了其實際情況的適用性。全新藥物分子生成不僅需要生存創(chuàng)新的分子，同時需要生成該分子的生成路徑。

發(fā)明內(nèi)容

發(fā)明目的：利用以往經(jīng)驗反應(yīng)模版生成可生成的分子，又通過強化搜索功能尋找新型分子，通過多次迭代搜索來生成分子，在保證分子結(jié)構(gòu)和性質(zhì)多樣性的同時也確保了分子的可生成性。

技術(shù)方案：一種基于強化學(xué)習(xí)的路徑可控的藥物分子生成方法，由初始分子R₀,通過Agent尋找最佳反應(yīng)模版T₀和反應(yīng)物a₀，再通過environment搜索與最佳反應(yīng)物相似的反應(yīng)物集，返回該集合中受益最大的中間反應(yīng)產(chǎn)物R₁,同時將中間產(chǎn)物加入分子庫中，反復(fù)循環(huán)，直至搜索結(jié)束找到最佳反應(yīng)產(chǎn)物。具體過程如下：

(1)在分子庫中選取一個小分子作為初始狀態(tài)R₀，并令當(dāng)前狀態(tài)Rt＝R₀；

(2)將當(dāng)前狀態(tài)R_t通過Agent得到反應(yīng)模版T_t及對應(yīng)的反應(yīng)物a_t，并計算當(dāng)前反應(yīng)物a_t的Q值；

(3)在環(huán)境中通過k最近鄰算法(K-NN)尋找反應(yīng)庫中與a_t相似的k個反應(yīng)集{a_k}；

(4)R_t按照模版T_t分別與{a_k}中的每一種反應(yīng)物反應(yīng)，并將得到的產(chǎn)物通過評價函數(shù)，計算長期收益包含歷史Q值，返回最大收益所對應(yīng)的產(chǎn)物R_t+N及對應(yīng)收益的中間產(chǎn)物；R_t+N是N次反應(yīng)的對應(yīng)的產(chǎn)物。

(5)進行多次類似(2)－(4)agent和environment的篩選得到反應(yīng)模版及對應(yīng)的反應(yīng)物，并計算每個中間產(chǎn)物的Q值；

(6)根據(jù)(1)－(5)的過程，分析Q值，篩選反應(yīng)模板及最佳反應(yīng)物，得到最高收益的分子合成路徑。