[發明專利]文本信息處理方法、系統、介質和設備

有效

• 申請號: 202110765335.2
• 申請日: 2021-07-07
• 公開（公告）號: CN113254658B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 姚娟娟;鐘南山;樊代明
• 申請（專利權）人: 明品云（北京）數據科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/335;G06N3/04;G06N3/08
• 代理公司: 上海漢之律師事務所 31378
• 代理人: 馮華

1.一種文本信息處理方法，其特征在于，包括：

獲取待處理的文本信息；

對所述文本信息進行預處理，生成多個詞語及參數；

對多個所述詞語及所述參數進行分類提取，獲取對應的數據預處理集合，所述數據預處理集合包括相互之間存在映射關系的專業名詞預處理集合、專業名詞描述預處理集合以及參數預處理集合；

獲取相關領域的數據參考集合，所述數據參考集合包括相互之間存在映射關系的專業名詞參考集合、專業名詞描述參考集合以及參數參考集合；

根據所述數據參考集合，基于關鍵詞匹配，對所述數據預處理集合進行第一次篩選，獲取第一數據集合，所述第一數據集合包括相互之間存在映射關系的第一專業名詞集合、第一專業名詞描述集合以及第一參數集合；

根據所述數據參考集合，基于深度學習，對所述數據預處理集合進行第二次篩選，獲取第二數據集合，所述第二數據集合包括相互之間存在映射關系的第二專業名詞集合、第二專業名詞描述集合以及第二參數集合；

根據所述第一數據集合與所述第二數據集合，輸出處理后的文本信息；

其中，所述根據所述數據參考集合，基于關鍵詞匹配，對所述數據預處理集合進行第一次篩選的步驟，包括：

針對所述專業名詞預處理集合中的第a個元素，依次計算其與所述專業名詞參考集合中的第b個元素之間的第一詞串距離S₁（a，b），得到第一詞串距離集合S₁（a）；

若所述第一詞串距離集合S₁（a）的元素取值包含零，則保留第a個元素，將其加入所述第一專業名詞集合，并將所述專業名詞描述預處理集合中與其對應的元素加入所述第一專業名詞描述集合，將所述參數預處理集合中與其對應的元素加入所述第一參數集合；

若所述第一詞串距離集合S₁（a）的元素取值不包含零，則進一步判斷所述第一詞串距離集合S₁（a）中是否存在取值小于第一閾值的元素；

若所述第一詞串距離集合S₁（a）中至少有一個元素的取值小于所述第一閾值，則按照從小到大的順序對所述第一詞串距離集合S₁（a）中小于第一閾值的元素進行統計排序，得到第一詞串距離篩選集合S₁₀（a）；

針對第一詞串距離篩選集合S₁₀（a）中的元素，從第一個元素開始，依次計算所述專業名詞描述預處理集合中對應的第i個元素與所述專業名詞描述參考集合中對應的第j個元素之間的第二詞串距離S₂（i，j），得到第二詞串距離集合S₂（i）；

若所述第二詞串距離集合S₂（i）的元素取值包含零，則進一步判斷所述第二詞串距離集合S₂（i）中取值為零的元素的個數是否大于第二閾值；

若所述第二詞串距離集合S₂（i）中取值為零的元素的個數大于等于所述第二閾值，則保留所述專業名詞描述預處理集合中的對應元素，將其加入所述第一專業名詞描述集合，并將與其對應的所述專業名詞預處理集合中的元素加入所述第一專業名詞集合，將與其對應的所述參數預處理集合中的元素加入所述第一參數集合；

若所述第二詞串距離集合S₂（i）中取值為零的元素的個數小于所述第二閾值，則放棄所述專業名詞描述預處理集合中對應的第i個元素，并放棄所述專業名詞預處理集合中的對應元素與所述參數預處理集合中的對應元素。

2.根據權利要求1所述的文本信息處理方法，其特征在于，對所述文本信息進行預處理時，至少對所述文本信息依次進行數據清洗處理、標點符號去除處理、切詞處理、停用詞去除處理以及重復詞去除處理。

3.根據權利要求1或2所述的文本信息處理方法，其特征在于，對多個所述詞語及所述參數進行分類提取的步驟包括：

對所述詞語進行詞性標注；

根據所述詞語的詞性和上下文關系，對多個所述詞語及所述參數進行分類提取，獲取所述數據預處理集合。