[發明專利]基于姿勢的注釋

在審

• 申請號: 201680049830.0
• 申請日: 2016-07-25
• 公開（公告）號: CN107924392A
• 公開（公告）日: 2018-04-17
• 發明（設計）人: R·瑞尼斯特
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F17/24
• 分類號: G06F17/24;H04L12/18;H04N7/15;G10L15/26;G06F3/01
• 代理公司: 上海專利商標事務所有限公司31100
• 代理人: 蔡悅,胡利鳴

1.一種系統，包括：

處理器；以及

包括一組指令的存儲；

其中所述一組指令致使所述處理器：

接收包含會議的參與者的語音的音頻記錄；

接收所述參與者的視頻；

標識所述參與者；

將所述參與者的音頻記錄轉換成數字文本；

開發所述參與者的骨架圖；

從所述骨架圖中識別所述參與者的姿勢；以及

檢測并標識所述姿勢的目標；

基于所述目標和所述姿勢，確定用于與所述姿勢的時間點相對應的數字文本的注釋。

2.如權利要求1所述的系統，其特征在于，所述注釋包括包含所述姿勢的時間點的時間戳以及朝向所述姿勢的目標的動作點。

3.如權利要求2所述的系統，其特征在于，所述動作點包括由正在發言的參與者將任務分配給所述會議中的一個或多個參與者。

4.如權利要求1所述的系統，其特征在于，包括所述存儲的指令進一步致使所述處理器開發對所述參與者和至少一個目標的位置的認知。

5.如權利要求4所述的系統，其特征在于，所述對位置的認知包括所述參與者和所述目標在多維坐標系中的坐標。

6.如權利要求1所述的系統，其特征在于，所述目標包括：至少一個物理對象或所述會議的至少一個參與者；或者所述會議的至少一個參與者和至少一個物理對象。

7.如權利要求1所述的系統，其特征在于，進一步包括至少一個話筒和至少一個相機，其中所述處理器從所述至少一個話筒接收參與者的音頻記錄并且從所述至少一個相機接收所述參與者的視頻。

8.如權利要求7所述的系統，其特征在于，所述話筒包括指向性話筒陣列；或者

進一步包括多個相機，其中所述相機被配置成以分布式方式遍布會議空間；或者

進一步包括多個話筒，其中所述話筒被配置成以分布式方式遍布會議空間。

9.如權利要求1所述的系統，其特征在于，所述會議的參與者的識別和標識受生物特征識別的影響；或者

其中會議的參與者的識別和標識受從所述參與者所攜帶的設備讀取標識信息的影響。

10.如權利要求1所述的系統，其特征在于，包括所述存儲的指令進一步致使所述處理器開發所述會議的所有參與者的骨架圖。

11.如權利要求1所述的系統，其特征在于，姿勢的識別包括監視所述發言者的骨架圖并且將檢測到的姿勢與一組預定義的姿勢作比較。

12.如權利要求1所述的系統，其特征在于，因發言者而異的語音識別簡檔被用于語音到數字文本轉換。

13.一種設備，包括：

至少一個話筒；

至少一個相機；

至少一個處理器；以及

包括一組指令的至少一個存儲；

其中所述一組指令致使處理器：

從所述至少一個話筒接收會議的至少一個參與者的語音；

從相機接收所述至少一個參與者的視頻；

標識所述至少一個參與者；

將所述語音轉換成數字文本；

開發所述至少一個參與者的骨架圖；

從所述骨架圖中識別所述參與者的至少一個姿勢；以及

檢測并標識所述至少一個姿勢的至少一個目標；

基于所述至少一個目標和所述至少一個姿勢，確定用于與所述至少一個姿勢的時間點相對應的數字文本的注釋。

14.如權利要求13所述的設備，進一步包括能夠測量所述相機的傾斜的角度的陀螺儀，其中所述角度被用于測量參與者距所述相機的距離。

15.一種方法，包括：

接收包含會議的至少一個參與者的語音的音頻記錄；

接收所述至少一個參與者的視頻；

標識所述至少一個參與者；

將所述參與者的音頻記錄轉換成數字文本；

開發所述至少一個參與者的骨架圖；

從所述骨架圖中識別所述至少一個參與者的至少一個姿勢；以及

檢測并標識所述至少一個姿勢的至少一個目標；

基于所述至少一個目標和所述至少一個姿勢，確定用于與所述至少一個姿勢的時間點相對應的數字文本的注釋。