[發明專利]基于姿勢的注釋

在審

• 申請號: 201680049830.0
• 申請日: 2016-07-25
• 公開（公告）號: CN107924392A
• 公開（公告）日: 2018-04-17
• 發明（設計）人: R·瑞尼斯特
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F17/24
• 分類號: G06F17/24;H04L12/18;H04N7/15;G10L15/26;G06F3/01
• 代理公司: 上海專利商標事務所有限公司31100
• 代理人: 蔡悅,胡利鳴

背景

會議涉及多個參與者以及各參與者之間不同模式的交互。記錄會議中發生的至少一些交互可能是有意義的。會議抄本或會議紀要已被普遍地用來記錄會議中的話語方面的交流。傳統地，會議的抄本可由與會人員制作。目前，抄本可通過記錄會議中的會話并使用語音識別技術將其轉換成文本來生成。在一些情況下，會議視頻也可被記錄以供將來參考。為了對抄本中的文本提供上下文或進行補充，注釋可被使用。例如，注釋可以是強調標志、朝向特定人員的語音、請求、順序等。對使用語音識別轉錄(如果支持的話)的文本的注釋可或者手動進行，或者基于發言者的話語線索。手動注釋可包括人使用輸入設備來輸入或選擇注釋。基于話語線索的注釋可包括對話語線索的語音識別。話語線索可與特定注釋相關聯。在檢測到話語線索的情況下，對應于話語線索附近的一段時間的轉錄文本可用對應的注釋來標注。

概述

提供本概述以便以簡化的形式介紹將在以下的詳細描述中進一步描述的一些概念。本概述并不旨在標識出所要求保護的主題的關鍵特征或必要特征，也不旨在用于限定所要求保護的主題的范圍。

在一個實施例中，示出了一種用于將會議中的會話轉換成文本并對文本進行注釋的設備。在一個實施例中，公開了一種會話轉換器，其包括處理器，以及包括一組指令的存儲介質。所述一組指令致使處理器接收包含會議的參與者的語音的音頻記錄，接收所述參與者的視頻，標識所述參與者，將所述參與者的音頻記錄轉換成數字文本，開發所述參與者的骨架圖，從所述骨架圖中識別所述參與者的姿勢，以及檢測并標識所述姿勢的目標。基于所述目標和所述姿勢，會話轉換器確定用于與所述姿勢的時間點相對應的數字文本的注釋。

隨著許多附帶特征通過結合附圖和對應的參考標記參考下面的詳細描述而變得更好理解，這些附帶特征將更易于被領會。

附圖簡述

根據附圖閱讀以下詳細描述將更好地理解本說明書，在附圖中：

圖1例示了根據一個實施例的用于記錄和注釋會議抄本的設備的示意表示；

圖2例示了根據另一實施例的用于記錄和注釋會議抄本的設備的示意表示；

圖3A和3B例示了根據一個實施例的具有骨架圖的姿勢；

圖4例示了根據一個實施例的會議空間中的設備配置；

圖5例示了根據一個實施例的會議空間中的另一種設備配置；

圖6例示了根據一個實施例的用于注釋會議的錄音文本的方法的示意流程圖；

以及

圖7例示了根據一個實施例的作為來自設備的輸出的示例性會議抄本的一部分。

在各個附圖中使用相同的附圖標記來指代相同的部件。

詳細描述

下面結合附圖提供的詳細描述旨在作為各實施例的描述，并不旨在表示可以構建或使用實施例的唯一形式。然而，可以通過不同的實施例來實現相同或等效功能和結構。

圖1示出了根據一個實施例的用于記錄和注釋會議抄本的設備200的示意例示。設備200可包括至少一個相機201、至少一個話筒203、至少一個處理器202以及至少一個存儲204，存儲204包括致使處理器實現本文描述的功能的指令。存儲204可包括骨架繪圖模塊219以及其它指令。根據一個實施例，設備200可實時記錄和注釋會議抄本。在一些實施例中，設備200還可記錄和注釋來自之前記錄的會話的抄本，其中記錄既包括視頻也包括音頻。根據一個實施例，會議可包括至少兩個人之間的任何話語交流或交互。會議可例如是商務或辦公室會議、非正式的聚會、社交事件、講課、講座等。

參考圖1中例示的實施例，至少一個相機201可被配置成捕捉會議的視頻。話筒203可被配置成捕捉來自會議空間的音頻。相機201和話筒203可與處理器202和存儲204耦合，使得音頻和視頻的記錄被恰當地同步。相機201可以至少一種方式與處理器202和/或存儲204通信。話筒203可以至少一種方式與處理器202和/或存儲204通信。在一個實施例中，相機201和話筒203可包括單個設備。這類設備可以是例如視頻相機、網絡相機、深度相機、相機陣列、具備高幀率能力的靜態相機等。在一個實施例中，話筒203可以是具備波束成形能力的陣列話筒。波束成形可被用于捕捉來自多個發言者中的單個發言者的音頻。在一個實施例中，相機201可以是360°視野相機。在一個實施例中，相機201包括能夠從不同視角記錄會議的相機陣列。