[發明專利]一種會議信息智能檢索方法

有效

• 申請號: 202110603641.6
• 申請日: 2021-05-31
• 公開（公告）號: CN113326387B
• 公開（公告）日: 2022-12-13
• 發明（設計）人: 孟強祥;田俊麟;宋昱
• 申請（專利權）人: 引智科技（深圳）有限公司
• 主分類號: G06F16/483
• 分類號: G06F16/483;G06F16/438
• 代理公司: 北京棘龍知識產權代理有限公司 11740
• 代理人: 李改平

1.一種會議信息智能檢索方法，其特征在于，包括以下步驟：

步驟一、會議信息記錄，全程實時以多媒體方式記錄，包含會議整個視頻、音頻以及文本等形式的歸檔；

步驟二、提取會議視頻內容的音頻流，從視頻流提取音頻流通常使用解復用(demux)將音頻流從媒體文件或者流文件的容器(Container)復制一份出來，而原始視頻文件保持不變，再將音頻流發送到語音識別模塊將語音轉換為文字信息并存儲；

步驟三、對會議記錄的視頻、音頻、文本按會議進行的時間進行標記，通過說話檢測技術或者靜音檢測技術為起始和結束判斷依據，再進一步結合NLP(自然語言處理)的上下文判斷技術包括且不限于SBD(Sentence boundary disambiguation)以及粒度更細小的WS(Word Segmentation)將說話內容按照句子為單元，或者詞為單元進行處理，處理的后的會議記錄內容被分別按句以及按詞添加標記并存儲；

步驟四、用戶搜索會議記錄，輸入文本信息或者語音信息進行查詢，若接收到語音信息，則通過語音轉文本模塊將語音轉換為文本，并與先前存儲的會議信息匹配、查詢，并返回對應的音頻或視頻信息，并附帶語音轉換而成的文本信息，所述匹配過程包括以下步驟：

步驟a、第一級文字匹配，用戶搜索產生的文本信息用于在TSRL存儲的文本信息匹配，如果能夠匹配到則返回對應時間段的音頻信息，如果有對應的視頻信息則直接返回對應時間段的視頻信息；

步驟b、第二級文字匹配，如果第一級無法匹配到，則將文本信息經過SBD降為更小粒度再次匹配，如果能匹配到則返回與之對應的音頻或視頻信息；

步驟c、第二級處理，如果第二級還無法匹配則再將信息經過WS分解為更小粒度再次匹配，如果能匹配到則返回對應的音頻或視頻信息，否則確實匹配不到查詢信息；

步驟五、用戶在查看返回結果時，可以快速檢索上下文的記錄內容，即用戶可同時查看被檢索時間段之前與之后的會議信息，且記錄內容以文本、音頻或者視頻信息通過高亮展示給用戶，用戶可直觀的定位、選取以及修改對應的內容。

2.根據權利要求1所述的一種會議信息智能檢索方法，其特征在于：所述步驟一中，如果會議為網絡視頻會議，則會議信息直接通過網絡獲取，如會議為非網絡會議，則通過錄音、錄像等多媒體設備將會議進行錄制，并進行提取轉換。

3.根據權利要求1所述的一種會議信息智能檢索方法，其特征在于：所述步驟二中語音轉換的文字信息在存儲的同時，也可被用于實時會議字幕展示，以及被記錄。

4.根據權利要求1所述的一種會議信息智能檢索方法，其特征在于：所述步驟三中標記的時間間隔以音頻中包含說話內容的一句話、或者一個停頓為標記。

5.根據權利要求1所述的一種會議信息智能檢索方法，其特征在于：所述步驟三中被標記的視頻段、音頻段以及文字段是分別設置時間順序表一一對應存儲，其中視頻段按照時間順序被記錄在列表VSRL(Video Segments Recording List)中，音頻段按時間順序被記錄在列表SSRL(Speech Segments Recording List)，文字段信息按時間順序記錄在列表TSRL(Text Segments Recording List)中。