[發明專利]一種智能決策會議機器人

有效

• 申請號: 202010456687.5
• 申請日: 2020-05-26
• 公開（公告）號: CN111768773B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 陳森;王堅;凌衛青
• 申請（專利權）人: 同濟大學
• 主分類號: G10L15/22
• 分類號: G10L15/22;G10L15/02;G10L15/25;G10L15/26;G10L25/24;G06F40/30
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 葉敏華

1.一種智能決策會議機器人，其特征在于，包括放置于會議室內空間的機器人機身本體(1)，所述機身本體(1)上安裝有分別與中央處理器(2)相連接的攝像頭(3)、觸摸顯示屏(4)，所述中央處理器(2)還連接有存儲器(5)以及包括多個麥克風的麥克風陣列(6)，所述攝像頭(3)用于采集會議參與者的面部圖像；

所述麥克風陣列(6)中各麥克風均配置有對應的發言編碼，且每個麥克風分別對應于一位會議參與者，以分別對應采集各會議參與者的語音數據；

所述中央處理器(2)用于對各會議參與者的語音數據依次進行語音識別和觀點分析，并生成會議記錄數據表和會議決策知識圖譜；

所述觸摸顯示屏(4)用于協助用戶進行人機交互操作，以及顯示來自中央處理器(2)輸出的數據信息；

所述存儲器(5)用于存儲會議記錄數據和會議決策知識圖譜；

所述中央處理器(2)內設有語音識別單元(201)、觀點分析單元(202)、數據整理單元(203)和決策圖譜生成單元(204)，所述語音識別單元(201)的輸入端與麥克風陣列(6)相連接，以獲取對應于發言編碼的語音數據，所述語音識別單元(201)用于識別并輸出對應于語音數據的文本數據，所述語音識別單元(201)的輸出端連接至觀點分析單元(202)，以對文本數據進行觀點傾向性分析，得到對應的觀點分析數據，所述觀點分析單元(202)分別與數據整理單元(203)和決策圖譜生成單元(204)相連接，由數據整理單元(203)生成會議記錄數據、決策圖譜生成單元(204)輸出會議決策知識圖譜；

所述數據整理單元(203)還分別與攝像頭(3)和存儲器(5)相連接，以分別接收會議參與者的面部圖像、將會議記錄數據傳輸至存儲器(5)進行存儲，所述決策圖譜生成單元(204)與存儲器(5)相連接，以將會議決策知識圖譜傳輸至存儲器(5)進行存儲；

所述中央處理器(2)的具體工作過程包括以下步驟：

S1、數據整理單元(203)從攝像頭(3)獲取對應于發言編碼的會議參與者面部圖像；

S2、語音識別單元(201)從麥克風陣列(6)獲取對應于發言編碼的語音數據，并對語音數據依次進行預處理、特征提取和語音解碼搜索，以輸出對應的文本數據給觀點分析單元(202)；

S3、觀點分析單元(202)對文本數據進行觀點傾向分析，得到觀點分析數據，并將該文本數據及對應的觀點分析數據分別傳輸給數據整理單元(203)和決策圖譜生成單元(204)；

S4、基于發言編碼及對應的會議參與者面部圖像、文本數據、觀點分析數據，由數據整理單元(203)生成會議記錄數據表，并將該會議記錄數據表傳輸給存儲器(5)；

S5、基于各會議參與者發言的文本數據和觀點分析數據，由知識圖譜生成單元生成會議決策知識圖譜，并將該會議決策知識圖譜傳輸給存儲器(5)；

所述步驟S2中預處理具體是切除語音數據的首尾端靜音以及使用移動窗函數對語音數據進行聲音分幀操作；

特征提取具體是基于Mel倒譜系數，將每一幀聲音波形變成一個包含聲音信息的多維向量；

語音解碼搜索具體是根據預先訓練好的聲學模型和語言模型，結合字典對提取特征后的語音數據進行解碼，從而得到對應的文本數據。

2.根據權利要求1所述的一種智能決策會議機器人，其特征在于，所述會議記錄數據包含對應于發言編碼的會議參與者面部圖像、會議參與者發言文本數據和會議參與者觀點分析數據。

3.根據權利要求1所述的一種智能決策會議機器人，其特征在于，所述步驟S3中觀點分析單元(202)對文本數據進行觀點傾向分析的具體過程為：

S31、將文本數據分割為若干語義段；

S32、針對各語義段，采用條件隨機場模型進行主觀內容提取和觀點傾向識別，以確定各語義段的觀點傾向值；

S33、計算各語義段的權重值，結合各語義段的觀點傾向值，即可得到該文本數據的觀點分析數據。

4.根據權利要求1所述的一種智能決策會議機器人，其特征在于，所述步驟S5中會議決策知識圖譜中的實體包括會議參與者和觀點分析數據，會議決策知識圖譜中的關系為各會議參與者分別與各個觀點分析數據之間到的關系。