[發明專利]在無需文本標簽的情況下學習感官媒介關聯的系統和方法

在審

• 申請號: 202010088042.0
• 申請日: 2020-02-12
• 公開（公告）號: CN111695010A
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 劉瓊;R·袁;胡昊;張艷霞;Y·Y·陳;弗朗辛·陳
• 申請（專利權）人: 富士施樂株式會社
• 主分類號: G06F16/906
• 分類號: G06F16/906;G06N3/04;G06N3/08
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 馬蕓莎;劉久亮

在無需文本標簽的情況下學習感官媒介關聯的系統和方法。一種學習感官媒介關聯的計算機實現的方法包括：接收第一類型的非文本輸入和第二類型的非文本輸入；使用具有第一卷積神經網絡的第一自動編碼器對第一類型的非文本輸入進行編碼和解碼，并且使用具有第二卷積神經網絡的第二自動編碼器對第二類型的非文本輸入進行編碼和解碼；通過學習與第一模態關聯的第一自動編碼器表示和與第二模態關聯的第二自動編碼器表示之間的映射的深度神經網絡將第一自動編碼器表示和第二自動編碼器表示橋接；以及基于所述編碼、解碼和橋接，在第一模態或第二模態下基于第一類型的非文本輸入或第二類型的非文本輸入來生成第一類型的非文本輸出和第二類型的非文本輸出。

技術領域

示例實現方式的各方面涉及與在不使用文本標簽的情況下學習感官媒介關聯(例如，音頻和/或視覺)相關聯的方法、系統和用戶體驗。

背景技術

現有技術的深度學習技術需要大量的文本標記數據。通過人工標記來創建文本標簽數據以用于訓練模型。在現有技術中，執行文本標記的成本對深度學習技術在許多現實世界情況中的使用造成限制。

例如，使用現有技術的深度學習技術來創建具有數百萬圖像標簽的定制產品圖像數據集是繁重和昂貴的，有時達到執行這種任務令人望而卻步的程度。此外，現有技術的深度學習技術所需的為具有適當文本標簽的視頻創建圖像的詳細描述也將需要花費巨量的時間和資源在諸如記錄審閱和打字的任務上的人工標記形式的巨大成本。

因此，在現有技術的深度學習技術中迫切需要收集實時數據并創建數據集而沒有現有技術的與文本標記相關聯的成本和缺點。

發明內容

根據示例實現方式的各方面，一種學習感官媒介關聯的計算機實現的方法包括：接收第一類型的非文本輸入和第二類型的非文本輸入；使用具有第一卷積神經網絡的第一自動編碼器對第一類型的非文本輸入進行編碼和解碼，并且使用具有第二卷積神經網絡的第二自動編碼器對第二類型的非文本輸入進行編碼和解碼；通過學習了與第一模態關聯的第一自動編碼器表示和與第二模態關聯的第二自動編碼器表示之間的映射的深度神經網絡將第一自動編碼器表示和第二自動編碼器表示橋接；以及基于編碼、解碼和橋接，在基于第一模態下的第一類型的非文本輸入或第二模態下的第二類型的非文本輸入來生成第一類型的非文本輸出和第二類型的非文本輸出。

根據另外的方面，第一類型的非文本輸入是音頻，并且第二類型的非文本輸入是圖像。根據其它方面，音頻通過麥克風感測，并且圖像通過相機感測。

根據其它方面，第一類型的非文本輸入是音頻、圖像、溫度、觸摸和輻射中的一種，并且第二類型的非文本輸入是音頻、圖像、溫度、觸摸和輻射中的另一種。

根據其它方面，第一類型的非文本輸入和第二類型的非文本輸入被提供給自主機器人以用于訓練。

根據另外的方面，不使用文本標簽，并且接收、編碼、解碼、橋接和生成與語言無關。

根據另外的方面，接收第三類型的非文本輸入，使用具有第三卷積神經網絡的第三自動編碼器對第三類型的非文本輸入進行編碼，通過學習了與第三模態關聯的第三類型的表示與第一類型的表示和第二類型的表示之間的映射的深度神經網絡將第三自動編碼器橋接到第一自動編碼器和第二自動編碼器，并且生成第三類型的非文本輸出，而無需第一自動編碼器、第二自動編碼器、第一卷積神經網絡和第二卷積神經網絡的重新訓練。

示例實現方式還可包括一種非暫時性計算機可讀介質，其具有存儲裝置和處理器，該處理器能夠執行存儲裝置中存儲的指令。

附圖說明

本專利或申請文件包含至少一個彩色附圖。帶有彩色附圖的本專利或專利申請公布的副本將由主管局根據請求并在支付必要費用后提供。

圖1示出系統和方法的示例實現方式。

圖2示出與示例實現方式關聯的結果。