[發明專利]輔助裝置的特征向量到音頻的跨模態轉換的設備及方法

在審

• 申請號: 202011363599.7
• 申請日: 2020-11-27
• 公開（公告）號: CN113515188A
• 公開（公告）日: 2021-10-19
• 發明（設計）人: A·A·波特;D·B·卡夫迪爾;金哲暄;M·帕特爾;D·G·金貝爾;劉瓊
• 申請（專利權）人: 富士膠片商業創新有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/16;G06N20/00
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 劉久亮;黃綸偉

輔助裝置的特征向量到音頻的跨模態轉換的設備及方法。提供了一種計算機實現的方法，該方法包括：將接收信號嵌入到第一模態中；將第一模態的嵌入的接收信號再嵌入到第二模態的信號中，并生成第二模態中的輸出；以及基于輸出，渲染被配置為要感測的第二模態中的信號，其中，嵌入、再嵌入和生成應用了通過執行對抗學習操作并執行度量學習操作而訓練的模型，對抗學習操作與從所生成的輸出鑒別目標分布的實際示例相關聯，度量學習操作與生成具有感知距離的輸出相關聯。

技術領域

示例實現的各方面涉及一種與特征向量從第一模態到第二模態的跨模態轉換相關聯的方法、系統和用戶體驗，并且更具體地，涉及一種在保留幾何結構的同時將深度學習與對抗學習和度量學習相關聯地應用的方法。

背景技術

人類可能期望諸如通過眼睛和耳朵之類的感覺反饋。但是，一些人可能有視覺障礙，因此他們不能在眼睛中獲得感覺反饋。此外，一些人可能需要來自諸如假肢之類的醫療裝置的反饋。一般而言，人類可能希望增強他或她的神經系統或生物系統，并接收可靠形式的反饋，尤其是在他們患有視力障礙等的情況下。

例如但不作為限制，視覺使人類能夠短暫地瞥一眼(例如，一秒鐘)諸如房間或接口之類的對象，然后能夠描述與對象相關聯的關鍵特征。但是，如果正在描述的與對象相關聯的關鍵特征比幾個單詞長或者需要進一步的上下文或描述，則由于需要使用諸如英語之類的口語語言來傳達輸出，導致溝通關鍵特征所需的時間可能太長，諸如超過一秒鐘。因此，單獨使用語言交流的相關技術方法可能不足。

除了人類以外，諸如蝙蝠之類的一些動物能夠使用聽覺系統進行導航，而不是使用視覺導航。然而，由于在各種頻率范圍上感知和聽到信號的能力的差異，這樣的方法對于人類可能不是有效的。然而，相關技術不擁有這種能力。

深度學習的相關技術方法已經提供了將高級視覺信息有效地嵌入到相對低維的Euclidean(歐幾里得)空間中的方法。然而，在相關領域中存在未滿足的需求，即，深度學習方法能夠以保留幾何形狀的方式在人的模態或感覺與第二模態或感覺之間進行轉換。

發明內容

根據示例實現的一個方面，提供了一種計算機實現的方法，該方法包括：將接收信號嵌入到第一模態中；將第一模態的嵌入的接收信號再嵌入到第二模態的信號中，并生成第二模態中的輸出；以及基于輸出，渲染被配置為要感測的第二模態中的信號，其中，嵌入、再嵌入和生成應用了通過執行對抗學習操作并執行度量學習操作而訓練的模型，對抗學習操作與從所生成的輸出鑒別目標分布的實際示例相關聯，度量學習操作與生成具有感知距離的輸出相關聯。

示例實現還可以包括具有儲存器和處理器的非暫時性計算機可讀介質，該處理器能夠執行指令，該指令用于按照保留感知距離的方式將信息從第一模態變換為第二模態。

附圖說明

圖1例示了示出流水線的示例實現。

圖2例示了根據示例實現的原型。

圖3例示了根據示例實現的空間音頻渲染方法。

圖4例示了根據示例實現的內插方法。

圖5例示了一些示例實現的示例過程。

圖6例示了具有適于在一些示例實現中使用的示例計算機裝置的示例計算環境。

圖7示出了適于一些示例實現的示例環境。

具體實施方式

以下詳細描述提供了本申請的附圖和示例實現的進一步細節。為了清楚起見，省略了附圖標記以及附圖之間冗余元件的描述。貫穿說明書中使用的術語僅作為示例提供，并非旨在進行限制。

示例實現的各方面針對基于深度學習的系統，該基于深度學習的系統從諸如視覺(或其它類型)信號的第一模態中提取高級信息并將其表示為諸如聲學的第二模態。可以將目標音頻分布定制為具有足夠大小的聲音(例如，人類語音)的任何分布。