[發明專利]用于計算機支持地學習技術系統的控制和/或調節的方法

有效

• 申請號: 200910132169.1
• 申請日: 2009-04-23
• 公開（公告）號: CN101566830A
• 公開（公告）日: 2009-10-28
• 發明（設計）人: D·施尼加斯;S·尤德盧夫特
• 申請（專利權）人: 西門子公司
• 主分類號: G05B13/04
• 分類號: G05B13/04;G06N5/00;G05B23/02
• 代理公司: 中國專利代理(香港)有限公司
• 代理人: 盧 江;劉春元

1.一種用于計算機支持地學習燃氣渦輪機的控制和/或調節的方 法，其中所述燃氣渦輪機的運行的特征在于：包括所輸送的燃料的量 或所述燃氣渦輪機的噪聲的狀態(s)，所述燃氣渦輪機在運行中能 夠呈現該狀態；以及包括改變燃料輸送或者改變所述燃氣渦輪機的導 向葉片的位置的行為，這些行為在所述燃氣渦輪機的運行中被執行并 且將所述燃氣渦輪機的相應狀態(s)轉化到隨后狀態中，其中：

-基于在所述燃氣渦輪機的運行中所采集的、包括狀態(s)、 行為(a)和隨后狀態(s′)的訓練數據來學習質量函數(Q)和行為 選擇規則(π(s))，其中所述質量函數(Q)對所述燃氣渦輪機的 最優運行進行建模，并且所述行為選擇規則(π(s))說明在所述燃 氣渦輪機的運行中針對所述燃氣渦輪機的相應狀態(s)應優選地執 行的行為(a)或應執行的行為(a)；

-在學習所述質量函數(Q)和所述行為選擇規則(π(s))期 間，借助不確定性傳播來確定所述質量函數(Q)的統計不確定性的 度量(σQ)，并且根據所述統計不確定性的度量(σQ)和對應于對 所述質量函數(Q)的統計最低要求的確定性參數(ξ)來確定修改 后的質量函數；

-其中基于所述修改后的質量函數來學習所述行為選擇規則(π (s))。

2.根據權利要求1所述的方法，其中在考慮評價(R)和狀態- 行為概率(P)的情況下學習所述質量函數(Q)，其中相應的評價 (R)鑒于所述燃氣渦輪機的最優運行對狀態(s)、在該狀態中執行 的行為(a)以及隨后狀態(s′)的組合的質量進行評價，并且相應 的狀態-行為概率(P)根據狀態和在該狀態中執行的行為(a)說明 隨后狀態(s′)的概率(P)。

3.根據權利要求2所述的方法，其中所述狀態-行為概率(P) 作為狀態-行為概率分布來建模和/或所述評價(R)作為評價概率分 布來建模。

4.根據權利要求3所述的方法，其中所述狀態-行為概率分布 和/或所述評價概率分布作為相對頻率根據所述訓練數據來建模。

5.根據權利要求3或4所述的方法，其中所述狀態-行為概率 分布和/或所述評價概率分布基于具有后驗參數的先驗分布來估計， 其中所述后驗參數取決于所述訓練數據。

6.根據權利要求5所述的方法，其中所述先驗分布是Dirichlet 分布和/或正態分布。

7.根據上述權利要求之一所述的方法，其中基于Bellman迭代 來學習所述質量函數(Q)和所述行為選擇規則(π(s))，其中在 每個迭代步驟中確定新的質量函數(Q)以及該質量函數(Q)的統 計不確定性的新的度量，并且由此確定新的修改后的質量函數。

8.根據權利要求7結合權利要求2至6之一所述的方法，其中 在Bellman迭代的每個迭代步驟中，為了確定統計不確定性的新的度 量，根據在迭代步驟中確定的質量函數(Q)、狀態-行為概率(P) 和評價(R)來確定協方差矩陣。

9.根據上述權利要求之一所述的方法，其中要學習的行為選擇 規則是隨機的行為選擇規則(π(s))，該行為選擇規則針對所述燃 氣渦輪機的狀態(s)說明可執行的行為(a)的概率分布。

10.根據權利要求9結合權利要求7或8所述的方法，其中在 Bellman迭代的每個迭代步驟中確定一種概率分布作為可執行的行為 (a)的新的概率分布，該概率分布修改最后的迭代步驟的概率分布， 使得將更高的概率分配給使修改后的質量函數的值最大化的行為 (a)。

11.根據上述權利要求之一所述的方法，其中基于所述確定性參 數(ξ)確定對所述質量函數(Q)的統計最低要求。

12.根據權利要求11所述的方法，其中對所述質量函數(Q) 的統計最低要求通過最小質量函數值以及概率值來代表，其中所述概 率值說明所述質量函數的值以何種概率大于或等于所述最小質量函 數值。