[發明專利]在無需文本標簽的情況下學習感官媒介關聯的系統和方法

在審

• 申請號: 202010088042.0
• 申請日: 2020-02-12
• 公開（公告）號: CN111695010A
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 劉瓊;R·袁;胡昊;張艷霞;Y·Y·陳;弗朗辛·陳
• 申請（專利權）人: 富士施樂株式會社
• 主分類號: G06F16/906
• 分類號: G06F16/906;G06N3/04;G06N3/08
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 馬蕓莎;劉久亮

1.一種學習感官媒介關聯的計算機實現的方法，該方法包括以下步驟：

接收第一類型的非文本輸入和第二類型的非文本輸入；

使用具有第一卷積神經網絡的第一自動編碼器對所述第一類型的非文本輸入進行編碼和解碼，并且使用具有第二卷積神經網絡的第二自動編碼器對所述第二類型的非文本輸入進行編碼和解碼；

通過學習與第一模態關聯的第一自動編碼器表示和與第二模態關聯的第二自動編碼器表示之間的映射的深度神經網絡將所述第一自動編碼器表示和所述第二自動編碼器表示橋接；以及

基于所述編碼、解碼和橋接，基于所述第一模態下的所述第一類型的非文本輸入或所述第二模態下的所述第二類型的非文本輸入來生成第一類型的非文本輸出和第二類型的非文本輸出。

2.根據權利要求1所述的計算機實現的方法，其中，所述第一類型的非文本輸入是音頻，并且所述第二類型的非文本輸入是圖像。

3.根據權利要求2所述的計算機實現的方法，其中，所述音頻通過麥克風感測，并且所述圖像通過相機感測。

4.根據權利要求1所述的計算機實現的方法，其中，所述第一類型的非文本輸入是音頻、圖像、溫度、觸摸和輻射中的一種，并且所述第二類型的非文本輸入是音頻、圖像、溫度、觸摸和輻射中的另一種。

5.根據權利要求1所述的計算機實現的方法，其中，所述第一類型的非文本輸入和所述第二類型的非文本輸入被提供給自主機器人以用于訓練。

6.根據權利要求1所述的計算機實現的方法，其中，不使用文本標簽，并且所述接收、編碼、解碼、橋接和生成步驟與語言無關。

7.根據權利要求1所述的計算機實現的方法，其中，接收第三類型的非文本輸入，使用具有第三卷積神經網絡的第三自動編碼器對所述第三類型的非文本輸入進行編碼，通過學習與第三模態關聯的第三類型的表示與第一類型的表示和第二類型的表示之間的映射的所述深度神經網絡將所述第三自動編碼器橋接到所述第一自動編碼器和所述第二自動編碼器，并且生成第三類型的非文本輸出，而無需重新訓練所述第一自動編碼器、所述第二自動編碼器、所述第一卷積神經網絡和所述第二卷積神經網絡。

8.一種具有存儲在存儲裝置中并在處理器上執行的可執行指令的非暫時性計算機可讀介質，所述指令包括：

接收第一類型的非文本輸入和第二類型的非文本輸入；

使用具有第一卷積神經網絡的第一自動編碼器對所述第一類型的非文本輸入進行編碼和解碼，并且使用具有第二卷積神經網絡的第二自動編碼器對所述第二類型的非文本輸入進行編碼和解碼；

通過學習與第一模態關聯的第一自動編碼器表示和與第二模態關聯的第二自動編碼器表示之間的映射的深度神經網絡將所述第一自動編碼器表示和所述第二自動編碼器表示橋接；以及

基于編碼、解碼和橋接，基于所述第一模態下的所述第一類型的非文本輸入或所述第二模態下的所述第二類型的非文本輸入來生成第一類型的非文本輸出和第二類型的非文本輸出。

9.根據權利要求8所述的非暫時性計算機可讀介質，其中，所述第一類型的非文本輸入是音頻，并且所述第二類型的非文本輸入是圖像。

10.根據權利要求9所述的非暫時性計算機可讀介質，其中，所述音頻通過麥克風感測，并且所述圖像通過相機感測。

11.根據權利要求8所述的非暫時性計算機可讀介質，其中，所述第一類型的非文本輸入是音頻、圖像、溫度、觸摸和輻射中的一種，并且所述第二類型的非文本輸入是音頻、圖像、溫度、觸摸和輻射中的另一種。

12.根據權利要求8所述的非暫時性計算機可讀介質，其中，所述第一類型的非文本輸入和所述第二類型的非文本輸入被提供給自主機器人以用于訓練。