[發明專利]用于視覺缺陷的增強成像輔助

在審

• 申請號: 201780020767.2
• 申請日: 2017-03-27
• 公開（公告）號: CN109074206A
• 公開（公告）日: 2018-12-21
• 發明（設計）人: A·考爾;李奧;E·哈魯恩;I·W·L·陳;S·莎瑪;C·比安切特;S·謝克;S·莫瑞吉爾-邁特;B·T·萊;N·P·K·林;W·盧
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F3/048
• 分類號: G06F3/048;G06K9/00;G06K9/46;G09B21/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華;龐淑敏

在本文中討論為用戶界面設備提供輔助的系統、裝置、服務、平臺和方法。在一個示例中，提供了一種輔助應用，包括：成像系統，被配置為捕獲場景的圖像；接口系統，被配置為將與圖像相關聯的數據提供給分布式輔助服務，該分布式輔助服務響應性地處理數據，以識別場景的屬性并且至少基于場景的屬性為用戶建立反饋；以及用戶界面，被配置為將反饋提供給用戶。

背景技術

諸如智能手機之類的個人用戶設備可以允許用戶運行各種應用，諸如被配置為捕獲圖像、玩游戲或參與生產活動的應用以及其他應用。這些應用和相關聯的圖形用戶界面對于那些具有各種身體缺陷(諸如視覺缺陷)的人來說使用起來可能是具有挑戰性的。最近，除了傳統的觸摸屏、按鈕或鍵盤之外，智能個人助理已經被包括在用戶設備上以允許用戶使用語音命令與用戶設備交互。然而，與現實世界的對象和元素交互可能仍然很困難，并且許多應用不能夠完全服務于那些具有視覺或其他缺陷的人。

發明內容

概述

在本文中討論了為用戶界面設備提供輔助的系統、裝置、服務、平臺和方法。在一個示例中，提供了一種輔助應用，包括：成像系統，被配置為捕獲場景的圖像；接口系統，被配置為將與圖像相關聯的數據提供給輔助服務，該輔助服務響應性地處理數據以識別場景屬性并且至少基于場景屬性為用戶建立反饋；以及用戶界面，被配置為將反饋提供給用戶。

提供本概述是為了以簡化的形式介紹一些概念，這些概念將在下面的具體實施方式中進一步進行描述。可以理解，該概述并非旨在標識所要求保護的技術主題的關鍵特征或必要特征，也并非旨在被用來限制所要求保護的技術主題的范圍。

附圖說明

本公開的許多方面參考以下附圖可以更好地被理解。雖然若干實施方式結合這些附圖進行了描述，但是本公開不限于本文所公開的實施方式。相反，其意圖是涵蓋所有備選方案、修改和等同物。

圖1是在一個實施方式中的用戶輔助系統的系統圖。

圖2A、圖2B和圖2C圖示了操作用戶輔助系統的示例方法。

圖3圖示了用于實現本文所公開的任何架構、過程、方法和操作場景的示例計算平臺。

圖4圖示了兩個示例注釋場景。

圖5圖示了示例注釋場景。

圖6圖示了在一個實施方式中的用戶輔助應用的示例操作。

圖7圖示了在一個實施方式中的示例用戶輔助接口。

具體實施方式

由諸如智能電話、平板計算機、游戲系統等的許多用戶設備提供的用戶界面對于那些具有各種身體缺陷(諸如視覺缺陷)的人來說使用起來可能是具有挑戰性的。智能個人助理(諸如Microsoft)已經被包括在用戶設備上，以除了傳統的觸摸屏、按鈕或鍵盤之外還允許用戶使用語音命令與用戶設備進行交互。然而，與現實世界的對象和元素交互可能仍然很困難，并且許多應用不能夠完全服務于那些具有視覺或其他缺陷的人。

在本文中所討論的是向個人通信設備的用戶提供輔助的各種應用、設備、服務和接口。除了其他示例之外，該輔助可以包括基于增強現實的輔助，諸如場景識別、場景描述、文檔識別和照片輔助。在典型示例中，用戶將采用計算設備來接收來自現實世界的輸入，諸如經由數字相機和麥克風。該輸入可以使用各種服務來處理，這些服務根據用戶的詢問或查詢來解釋由相機捕獲的場景或者解釋場景中的元素。進一步的示例包括解釋由用戶拍攝的圖片中的文檔，或識別菜單、標志和對象。場景識別可以被用來確定圖像中的元素或對象，并智能地解釋元素以將適當的信息轉達給用戶。