[發明專利]富含情緒會議記錄生成方法、系統、電子設備及存儲介質

在審

• 申請號: 202210982252.3
• 申請日: 2022-08-16
• 公開（公告）號: CN115374795A
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 李星達;鮑艷偉;胡敏;任福繼
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06F40/35
• 分類號: G06F40/35;G06N5/02;G06N5/04;G10L15/26
• 代理公司: 合肥中悟知識產權代理事務所(普通合伙) 34191
• 代理人: 董華

1.富含情緒會議記錄生成方法，其特征在于，包括以下步驟：

步驟1、獲取會議的實時音視頻信息作為原始信息，基于原始信息人工確定會議的主題、目的及涉及的專業領域；

步驟2、對步驟1得到的實時音視頻信息進行粗處理，從粗處理后的音視頻信息中得到每個發言人對應的發言音頻信息，并將每個發言人的發言音頻信息轉換為文本形式得到發言文本作為原始文本信息；然后關聯知識庫，所述知識庫至少包括關系實體庫和事實推理庫，根據步驟1得到的會議主題、目的及涉及的專業領域，設置知識庫中關系實體庫、事實推理庫不同領域的權重，以從知識庫中獲取最符合會議主題的知識；若步驟1未確定會議主題，則在后續分析部分更新知識庫中不同領域的權重；

步驟3、從步驟2得到的每個發言人的發言文本中，分析出每個發言人提出的問題、各關系實體相關的事實以及對其他發言人的態度，并不斷更新知識庫中不同領域的權重，過程如下：

步驟3.1、利用自然語言處理技術與關系實體庫，對每個發言人的發言文本進行關系實體分析，得到每個發言人發言中提及的各關系實體、其他發言人，并以每個發言人提及的各關系實體集合作為該發言人對應的關系實體集E，以每個發言人提及的其他發言人集合作為該發言人對應的其他發言人集P；然后分析出每個發言人的發言中每個關系實體對應的問題，并以所有問題集合作為該發言人對應的問題集Q；接著通過事實推理技術，并參考知識庫中的事實推理庫，按照時間順序對每個發言人發言中的每個句子S進行分析，以從每個發言人發言涉及到的每個關系實體分析出其對應的事實，并以每個發言人的發言中所有事實集合作為事實集F；

步驟3.2、按照步驟3.1分析出每個發言人提及的每個關系實體后，再按照時間順序，對每個發言人發言中的每個句子S進行細粒度的情感分析，分析出每個發言人對所涉及的每個關系實體的情感傾向及對應句子的情感氛圍；同時，結合其他發言人集P，利用情感分析技術，記錄每個句子S中提及的其他發言人，并分析出每個發言人對其他發言人的情感傾向與觀點態度；

步驟4、根據步驟3的分析結果得到每個發言人的發言記錄，過程如下：

步驟4.1、根據每個發言人發言中各句子的時間順序，結合步驟3.1中分析得到的事實，將每個關系實體、關系實體對應的情感、關系實體對應的事實結合為三元組T，并將三元組T與句子S一起進行情感分析，得到發言人對該句子中所涉及的事實的觀點v，并以所有觀點v的集合作為觀點集V；

步驟4.2、按照每個發言人發言的時間順序選取步驟3.1得到的事實集合F中的事實，結合選取的事實涉及到的關系實體與每個發言人對該事實的觀點v，通過自然語言生成的方式，生成每個發言人對所涉及的所有事實的結論C；

步驟4.3、將步驟4.2中生成的結論C，結合上下文理解與生成技術聯系每條結論中涉及的關系實體的情感，生成上下文通順的富含情緒的結論記錄；將步驟3.2得到的每個發言人對其他發言人的情感傾向與觀點態度，結合發言文本中涉及到的其他發言人的句子，通過上下文理解與生成技術生成上下文通順的每個發言人對其他發言人態度的記錄；

步驟4.4、重新排序并組合步驟4.3中生成的結論記錄、態度記錄，以與步驟2所述的原始文本信息中的關系實體、結論要素出現的順序對齊一致，由此得到富含情緒的會議記錄。

2.根據權利要求1所述的富含情緒會議記錄生成方法，其特征在于，步驟2中通過對實時音視頻信息進行粗處理，以將實時音視頻信息轉換為合適的格式。

3.根據權利要求1所述的富含情緒會議記錄生成方法，其特征在于，步驟2中，采用聲紋識別方法對每個發言人發言時的音視頻信息進行處理，得到每個發言人對應的發言音頻信息。

4.根據權利要求1所述的富含情緒會議記錄生成方法，其特征在于，步驟2中，采用語音識別方法對每個發言人的發言音頻信息進行處理，得到每個發言人對應的發言文本。

5.根據權利要求1所述的富含情緒會議記錄生成方法，其特征在于，步驟4.4中，基于原始文本信息，通過上下文理解與生成技術將步驟4.3得到的結論記錄、態度記錄與原始文本信息對齊，使記錄語句順序符合原始文本信息的順序，然后再將對齊后的結論記錄、態度記錄組合得到富含情緒的會議記錄。