[發(fā)明專利]基于深度強化學習的直井試井智能解釋方法及裝置

在審

• 申請?zhí)枺?/td>: 202110386833.6
• 申請日: 2021-04-12
• 公開（公告）號: CN112926805A
• 公開（公告）日: 2021-06-08
• 發(fā)明（設計）人: 陳志明;董鵬;熊佩雯;趙曉亮;芮振華
• 申請（專利權）人: 中國石油大學(北京)
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/02;G06N3/04;G06N3/08
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 錢能;周達

本發(fā)明公開了一種基于深度強化學習的直井試井智能解釋方法及裝置，其涉及油氣開發(fā)技術領域，方法包括：根據深度學習算法建立適用于試井曲線擬合的智能體；根據應用需要建立基于現(xiàn)代試井分析理論的試井模型，并確定需要識別的試井模型參數；基于試井模型構建與所述智能體互動的環(huán)境；使用所述環(huán)境生成的預測試井曲線訓練所述智能體，使所述智能體自動調整試井模型參數以擬合目標試井曲線；將實測試井曲線作為目標曲線輸入訓練好的的所述智能體中，所述智能體通過調整試井模型參數從而輸出與實測試井曲線所對應試井模型的參數。本申請能夠根據所針對的各種試井模型的參數進行反演，具有良好的通用性，高效的參數擬合速度和準確的參數擬合結果。

技術領域

本發(fā)明涉及油氣開發(fā)技術領域，特別涉及一種基于深度強化學習的直井試井智能解釋方法及裝置。

背景技術

準確評價儲層和井筒參數是油氣勘探開發(fā)成功的關鍵。試井分析是通過分析壓力資料獲得地層參數和儲層特征的有效方法之一。然而，人工試井解釋所產生的多解性問題一直困擾著油藏工程師們，因此迫切需要開發(fā)一種魯棒、準確的自動解釋方法。并且，隨著非常規(guī)油氣資源的不斷深入開發(fā)，試井理論模型變得日益復雜，尤其對于頁巖油氣及致密油氣開發(fā)過程中大型壓裂技術產生的復雜縫網，人工進行曲線擬合存在速度慢、精度低等缺點。為了克服人為因素造成的偏差，提高擬合效率，因此亟需一種新型的基于深度強化學習的直井試井智能解釋方法及裝置。

發(fā)明內容

為了克服現(xiàn)有技術的上述缺陷，本發(fā)明實施例中提供了一種基于深度強化學習的直井試井智能解釋方法及裝置，其能夠根據所針對的各種試井模型的參數進行反演，具有良好的通用性，高效的參數擬合速度和準確的參數擬合結果。

本發(fā)明實施例的具體技術方案是：

一種基于深度強化學習的直井試井智能解釋方法，它包括：

根據深度學習算法建立適用于試井曲線擬合的智能體，所述智能體基本結構為競爭雙深Q網絡，所述智能體具包括具有多分支結構的動作價值函數Q(s,a；θ)，多分支結構的分支數與所需反演的試井模型參數的數量一致，其中s表示狀態(tài)，a表示動作，θ表示動作價值函數的參數；

根據應用需要建立基于現(xiàn)代試井分析理論的試井模型，并確定需要識別的試井模型參數；

基于試井模型構建與所述智能體互動的環(huán)境；

使用所述環(huán)境生成的預測試井曲線訓練所述智能體，使所述智能體自動調整試井模型參數以擬合目標試井曲線；

將實測試井曲線作為目標曲線輸入訓練好的的所述智能體中，所述智能體通過調整試井模型參數從而輸出與實測試井曲線所對應試井模型的參數。

優(yōu)選地，所述智能體的動作價值函數Q(s,a；θ)的輸入為環(huán)境計算得到的預測試井曲線和目標試井曲線所組成的狀態(tài)；

預測試井曲線和目標試井曲線所組成的狀態(tài)至少包括以下之一：由預測試井曲線和目標試井曲線的壓力導數與時間組成的浮點數據、由預測試井曲線和目標試井曲線組成的圖像；當預測試井曲線和目標試井曲線所組成的狀態(tài)為由預測試井曲線和目標試井曲線的壓力導數與時間組成的浮點數據時，所述動作價值函數Q(s,a；θ)的根部為全連接神經網絡；當預測試井曲線和目標試井曲線所組成的狀態(tài)為由預測試井曲線和目標試井曲線組成的圖像時，所述動作價值函數Q(s,a；θ)的根部為卷積神經網絡。

優(yōu)選地，所述智能體的動作價值函數Q(s,a；θ)的網絡分為在線D3QN網絡和目標D3QN網絡，所述在線D3QN網絡與環(huán)境進行互動，并計算預測的動作Q值，所述目標D3QN網絡用來計算目標的動作Q值，目標函數由預測的動作Q值和目標的動作Q值的差值決定，所述目標D3QN網絡的參數由所述在線D3QN網絡的參數延時拷貝獲得更新；

所述智能體具有一個經驗回放緩沖區(qū)，該緩沖區(qū)存儲了以上一步狀態(tài)、動作、獎勵、下一步狀態(tài)為元組的一系列數據，用以后期訓練所述智能體。