[發明專利]相關敘述

在審

• 申請號: 201880006595.8
• 申請日: 2018-01-05
• 公開（公告）號: CN110178112A
• 公開（公告）日: 2019-08-27
• 發明（設計）人: D·陸;A·L·阿什;J·L·博斯特;B·S·施蒂克
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F3/16
• 分類號: G06F3/16
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 趙騰飛

用于生成相關敘述的計算設備和方法。在一個實例中，該計算設備包括顯示圖形用戶界面的顯示設備，該圖形用戶界面包括從第一應用程序接收的文本信息。該計算設備的電子處理器接收與被調度用于敘述的文本信息相關聯的用戶界面元素。電子處理器從用戶界面元素中提取多個實體，使用第二應用程序將所述多個實體轉換為敘述字符串，使用敘述字符串生成文本信息的相關敘述，并輸出該相關敘述。

技術領域

實施例涉及用于生成在顯示器上的用戶界面中呈現的文本信息的相關敘述的系統和方法。

背景技術

用戶通常通過圖形用戶界面(例如，圖形用戶界面(GUI))與運行軟件程序或應用程序的計算機進行交互。用戶可以使用觸摸板、鍵盤、鼠標或其它輸入設備來輸入命令、選擇和其它輸入。然后，應用程序響應或處理該輸入。圖形用戶界面可以以諸如文本或圖像等可視形式，向用戶呈現鏈接、控件、數據或其它交互選項。雖然圖形用戶界面很有用，但有時候聽覺或音頻界面是有用的。例如，當用戶視力受損或者查看圖形用戶界面不可能或不切實際時(例如，當用戶在開車，保持他或她的目光在前方的道路上時)，音頻界面很有用。

發明內容

基于敘述的應用程序通常通過閱讀(例如，通過文本到語音轉換)以文字或逐字方式顯示在屏幕上的信息，來提供包含在圖形用戶界面中的信息。通常，現有的基于敘述的應用程序提供二元體驗(換言之，是提供敘述還是不提供敘述)。除了調整語音的速度或聲音特征(男性、女性等)之外，指定向用戶讀出的信息的保真度水平是不可行的。如上所述，現有應用程序被設計為盡力準確地閱讀屏幕上的內容，以確保從視覺體驗到聽覺體驗的轉換中的保真度。但是，字面閱讀圖形用戶界面中的元素通常會產生很難理解的音頻輸出。另外，主要為可視化框架構建的用戶界面無法很好地轉化為可聽見的體驗。目前可用的基于敘述的用戶界面通常無法考慮在從顯示器屏幕可視地收集信息時發生的人類認知過程，并將這些認知過程轉換為在聽覺上收集信息時發生的過程。通常使用上下文和關聯來掃描并由人眼和大腦重新掃描在顯示屏上展示的信息。這便于信息的導航。將文本和/或圖形信息轉換為音頻格式(具有精確度)會導致聽眾對于詳細信息過載，這是因為流式格式妨礙用戶高效地掃描/重新掃描素材。因此，任務完成時間通常會增加到原始視覺任務完成時間的三到十倍，這是因為聽眾很難理解他們正在聽什么。例如，諸如VoiceOver的可訪問性解決方案僅閱讀與計算機系統相關聯的顯示屏上提供的內容。在決定敘述體驗應該是什么時，通常不考慮計算機系統已知的但駐留在用戶界面之外的信息。一些實施例提供具有可由用戶選擇或自動(基于與特定應用程序的交互)的操作模式的計算設備，其允許敘述器將應用程序之外的信息進行組合，以便將來自圖形用戶界面中的文本的字面閱讀的敘述體驗轉換或者擴充到與在顯示器上看到的內容“相關”的敘述體驗。在一個例子中，計算設備被配置為從用戶界面提取對象并將其與諸如文檔、聯系人、時間、位置、瀏覽歷史、社交圖信息、以及來自與當前用戶相關聯的其它應用程序的信息之類的已知對象進行比較。在另一個例子中，用戶能夠激活計算設備內的用戶可選擇模式以提供相關敘述。在一些實施例中，可以通過訪問實體提取模塊以生成文本信息的相關敘述，來執行文本信息的相關敘述。

本文提供的實施例允許敘述器將諸如“[e-mail]”之類的信息的讀出替換為“John Doe”，這是因為電子郵件地址[e-mail]映射到存儲在計算機系統內的用戶的已知聯系人。類似地，不是閱讀網頁界面上的時間戳(例如，下午12點01分)，而是可以基于將該時間戳與同計算機系統相關聯的本地時間進行比較，使用對相同信息的相對指示(例如，“幾分鐘前”或“剛才”)來進行敘述。在一個例子中，可以以友好的方式或者更常用的方式讀出系統已知的位置。例如，可以將地址“1060 W.Addison,Chicago,IL”讀作“Wrigley球場”。