[發明專利]一種基于NLP的短文本數據加工的方法

在審

• 申請號: 202011184771.2
• 申請日: 2020-10-30
• 公開（公告）號: CN112257431A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 魏建軍;劉磊;郭真;王富
• 申請（專利權）人: 中電萬維信息技術有限責任公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/289;G06F40/216;G06F40/103;G06K9/62
• 代理公司: 蘭州嘉諾知識產權代理事務所(普通合伙) 62202
• 代理人: 郭海

1.一種基于NLP的短文本數據加工的方法，其特征在于，所述方法包括步驟：

獲取短文本數據、jieba分詞、stopwords去停用詞、獲取詞袋、制作語料、TF-IDF處理、計算余弦距離，根據計算的余弦距離對短文數據進行標準化；

所述獲取短文本數據將標題、描述、備注等表單數據，通過DataX工具將業務數據庫中的短文本數據同步到本地TXT文件；

所述步驟jieba分詞將同步到本地TXT文件中的短文本數據數據，以行為單位，通過jieba分詞工具進行分詞；

所述步驟stopwords去停用詞將分完詞的短文本數據通過NLTK工具刪除停用詞；

所述步驟獲取詞袋通過使用gensim庫為語料庫中出現的所有單詞分配一個唯一的整數id；

所述步驟制作語料通過使用gensim庫中的word2vec工具計算每個不同單詞的出現次數，將單詞轉換為整數單詞id，并將結果作為稀疏向量返回；

所述步驟TF-IDF處理將制作語料作為Tfidf模型的輸入，進行模型訓練；

所述步驟計算余弦距離通過計算兩個向量的夾角余弦值來評估相似度，余弦相似度將向量根據坐標值，繪制到向量空間中，假設向量a、b的坐標分別為(x1,y1)、(x2,y2) ,則對應的余弦距離為：

設向量 A = (A1,A2,...,An)，B = (B1,B2,...,Bn) ，推廣到多維:

夾角越小，余弦值越接近于1則越相似；余弦距離在0和1之間且越接近1兩者越相似。

2.如權利要求1所述的一種基于NLP的短文本數據加工的方法，其特征在于，所述根據計算的余弦距離對短文數據進行標準化根據計算出余弦距離，當余弦距離大于0.8時，用標準的短文本數據進行替換，通過上述方式將不標準的短文本數據進行標準化。