[發(fā)明專利]動作控制方法及裝置

有效

• 申請?zhí)枺?/td>: 201711408965.4
• 申請日: 2017-12-22
• 公開（公告）號: CN109960246B
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計）人: 錢俊;王新宇;陳晨
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G05D1/00
• 分類號: G05D1/00
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 肖慶武

本公開提供了一種動作控制方法及裝置，屬于人工智能領(lǐng)域。應(yīng)用于無人車、機(jī)器人等人工智能設(shè)備。所述方法包括：獲取人工智能設(shè)備的N個維度的狀態(tài)；基于N個維度中每個維度的狀態(tài)的激活模糊子集以及控制模型，得到多個離散決策，一個狀態(tài)的激活模糊子集是指狀態(tài)的隸屬度不為0的模糊子集，每個模糊子集包括一個維度內(nèi)對應(yīng)于同一個離散決策的狀態(tài)區(qū)間，隸屬度用于表示狀態(tài)隸屬于模糊子集的程度高低，控制模型用于根據(jù)輸入的狀態(tài)輸出對應(yīng)的離散決策；基于每個維度的狀態(tài)與激活模糊子集之間的隸屬度，對多個離散決策進(jìn)行加權(quán)求和，得到連續(xù)決策；基于連續(xù)決策，控制人工智能設(shè)備執(zhí)行對應(yīng)的動作。本公開輸出的決策為連續(xù)量，能夠保證對人工智能設(shè)備的平順控制，保證動作的平滑性。

技術(shù)領(lǐng)域

本公開涉及人工智能領(lǐng)域，特別涉及一種動作控制方法及裝置。

背景技術(shù)

隨著人工智能領(lǐng)域的發(fā)展，無人車、機(jī)器人等各種人工智能設(shè)備紛紛誕生，為人們的生活帶來了極大便利。目前通常由人工智能方法來為人工智能設(shè)備提供智能決策，充當(dāng)人工智能設(shè)備的機(jī)器大腦，從而控制人工智能設(shè)備執(zhí)行對應(yīng)的動作，例如可以控制無人車在馬路上行駛，可以控制機(jī)器人在倉庫中移動等。

目前，通常采用強(qiáng)化學(xué)習(xí)算法控制人工智能設(shè)備的動作：以無人車為例，首先根據(jù)實際應(yīng)用場景定義強(qiáng)化學(xué)習(xí)算法中的必要元素：N維狀態(tài)空間S，m維動作空間A與回報函數(shù)R，再基于S、A、R在模擬器環(huán)境中進(jìn)行模擬駕駛或在真實道路上進(jìn)行駕駛，訓(xùn)練出一個控制模型，該控制模型用于根據(jù)輸入的S內(nèi)的N維狀態(tài)，輸出A內(nèi)的m維離散決策。之后，無人車在實際駕駛過程中，會采集當(dāng)前的N維狀態(tài)，將N維狀態(tài)輸入到控制模型中，得到控制模型輸出的m維離散決策，基于該m維離散決策，控制執(zhí)行對應(yīng)的動作。

在實現(xiàn)本公開的過程中，發(fā)明人發(fā)現(xiàn)相關(guān)技術(shù)至少存在以下問題：

基于離散決策控制人工智能設(shè)備執(zhí)行動作時，由于其所輸出的決策為離散量，難以保證對人工智能設(shè)備的平順控制，導(dǎo)致動作的平滑性較差。

發(fā)明內(nèi)容

本公開實施例提供了一種動作控制方法及裝置，能夠解決相關(guān)技術(shù)中難以對人工智能設(shè)備進(jìn)行平順控制的技術(shù)問題。所述技術(shù)方案如下：

第一方面，提供了一種動作控制方法，所述方法包括：

獲取人工智能設(shè)備的N個維度的狀態(tài)，所述N為大于或等于1的正整數(shù)；

基于所述N個維度中每個維度的狀態(tài)的激活模糊子集以及控制模型，得到多個離散決策，一個狀態(tài)的激活模糊子集是指所述狀態(tài)的隸屬度不為0的模糊子集，每個模糊子集包括一個維度內(nèi)對應(yīng)于同一個離散決策的狀態(tài)區(qū)間，所述隸屬度用于表示狀態(tài)隸屬于模糊子集的程度高低，所述控制模型用于根據(jù)輸入的狀態(tài)輸出對應(yīng)的離散決策；

基于所述每個維度的狀態(tài)與激活模糊子集之間的隸屬度，對所述多個離散決策進(jìn)行加權(quán)求和，得到連續(xù)決策；

基于所述連續(xù)決策，控制所述人工智能設(shè)備執(zhí)行對應(yīng)的動作。

本實施例提供的方法，基于每個維度的狀態(tài)與激活模糊子集之間的隸屬度，對多個離散決策進(jìn)行加權(quán)求和，得到連續(xù)決策，由于輸出的決策為連續(xù)量，能夠保證對人工智能設(shè)備的平順控制，保證動作的平滑性。同時，通過隸屬度來獲取連續(xù)決策，提供了一種合理地連續(xù)化離散決策的方式，保證連續(xù)決策的變化趨勢與狀態(tài)的變化趨勢匹配，從而保證連續(xù)決策具有高準(zhǔn)確性。進(jìn)一步地，當(dāng)人工智能設(shè)備為無人車時，可以保證控制無人車的平順性，提升乘客的舒適度。

在一種可能的設(shè)計中，所述基于所述每個維度的狀態(tài)與激活模糊子集之間的隸屬度，對所述多個離散決策進(jìn)行加權(quán)求和，得到連續(xù)決策，包括：

對于所述多個離散決策中的每個離散決策，獲取所述每個離散決策對應(yīng)的N個激活模糊子集的隸屬度，得到N個隸屬度；

基于所述N個隸屬度，計算所述每個離散決策的權(quán)重；