[發明專利]信息處理設備、信息處理方法和程序

有效

• 申請號: 201010199038.8
• 申請日: 2010-06-04
• 公開（公告）號: CN101923663A
• 公開（公告）日: 2010-12-22
• 發明（設計）人: 野田邦昭;佐部浩太郎;吉池由紀子;河本獻太;日臺健一
• 申請（專利權）人: 索尼公司
• 主分類號: G06N7/00
• 分類號: G06N7/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 康建峰;李春暉

1.一種信息處理設備，包括：

學習裝置，用于使用由能夠執行行為的代理執行的行為和當所述代理已經執行了行為時在所述代理中觀察到的觀察值學習由以下定義的狀態轉移概率模型：

狀態由于由所述代理執行的行為而進行狀態轉移的每個所述行為的狀態轉移概率；以及

從所述狀態觀察到預定觀察值的觀察概率。

2.根據權利要求1所述的信息處理設備，

其中，所述學習裝置在在所述狀態轉移概率模型的一個狀態中觀察到一個觀察值的一個狀態一個觀察值約束下學習所述狀態轉移概率模型。

3.根據權利要求2所述的信息處理設備，

其中，所述學習裝置通過重復下面所述進行滿足所述一個狀態一個觀察值約束的學習，直到檢測不到劃分對象狀態為止：

在學習后的所述狀態轉移概率模型中檢測其中觀察到多個觀察值的狀態作為要劃分的劃分對象狀態；

將所述劃分對象狀態劃分為多個狀態，在所述多個狀態的每一個中，觀察到所述多個觀察值之一；并且

在所述劃分對象狀態被劃分為所述多個狀態后，重新學習所述狀態轉移概率模型。

4.根據權利要求3所述的信息處理設備，

其中，所述學習裝置通過下面所述將所述劃分對象狀態劃分為多個劃分后狀態：

將所述多個觀察值之一分配給通過劃分所述劃分對象狀態而獲得的劃分后狀態；

將在所述劃分后狀態中觀察到被分配給所述劃分后狀態的觀察值的觀察概率設置為1，并且將在所述劃分后狀態中觀察到其他觀察值的觀察概率設置為0；并且

將以所述劃分后狀態作為轉移源的狀態轉移的狀態轉移概率設置為以所述劃分對象狀態作為轉移源的狀態轉移的狀態轉移概率，并且將以所述劃分后狀態作為轉移目的地的狀態轉移的狀態轉移概率設置為通過以被分配給所述劃分后狀態的觀察值在所述劃分對象狀態中的觀察概率修正以所述劃分對象狀態為轉移目的地的狀態轉移的狀態轉移概率所獲得的值。

5.根據權利要求2所述的信息處理設備，

其中，當在執行預定行為時存在多個狀態作為狀態轉移的轉移源狀態或者轉移目的地狀態、并且在所述多個狀態的每一個中觀察到相同的觀察值時，所述學習裝置將所述多個狀態合并為一個狀態。

6.根據權利要求5所述的信息處理設備，

其中，所述學習裝置通過下面所述將作為合并對象狀態的多個狀態合并為代表性狀態：

當在執行預定行為時在狀態轉移的所述狀態轉移概率模型中存在多個狀態作為轉移源狀態或者轉移源目的地狀態、并且在多個相應狀態中觀察到的具有最大所述觀察概率的觀察值彼此一致時，檢測所述多個狀態作為要合并的所述合并對象狀態；

將當作為所述合并對象狀態的多個狀態被合并為所述一個狀態時在作為所述一個狀態的所述代表性狀態中觀察到每個觀察值的觀察概率設置為在作為所述合并對象狀態的多個相應狀態中觀察到每個觀察值的觀察概率的平均值，并且將在除了所述代表性狀態之外的所述合并對象狀態中觀察到每個觀察值的觀察概率設置為0；

將以所述代表性狀態作為轉移源的狀態轉移的狀態轉移概率設置為以作為所述合并對象狀態的多個相應狀態作為轉移源的狀態轉移的狀態轉移概率的平均值，并且將以所述代表性狀態作為轉移目的地的狀態轉移的狀態轉移概率設置為以作為所述合并對象狀態的多個相應狀態作為轉移目的地的狀態轉移的狀態轉移概率的和；并且

將以除了所述代表性狀態之外的所述合并對象狀態作為轉移源的狀態轉移的狀態轉移概率和以除了所述代表性狀態之外的所述合并對象狀態作為轉移目的地的狀態轉移的狀態轉移概率設置為0。

7.根據權利要求6所述的信息處理設備，

其中，所述學習裝置通過重復下面所述執行滿足所述一個狀態一個觀察值約束的學習，直到檢測不到合并對象狀態為止：

從學習后的所述狀態轉移概率模型中檢測多個狀態作為所述合并對象狀態；

將作為所述合并對象狀態的多個狀態合并為所述代表性狀態；并且

在合并后，重新學習所述狀態轉移概率模型。