[發明專利]基于大數據的多維屬性標簽提取方法、系統、終端及介質

在審

• 申請號: 202210385301.5
• 申請日: 2022-04-13
• 公開（公告）號: CN114860923A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 田俊峰;陳丁;李立現
• 申請（專利權）人: 九江學院
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/289;G06K9/62
• 代理公司: 深圳市廣諾專利代理事務所(普通合伙) 44611
• 代理人: 祝晶

本發明公開了基于大數據的多維屬性標簽提取方法、系統、終端及介質，涉及標簽技術領域，其技術方案要點是：提取目標文本中的關鍵詞；以主成分分析方法對關鍵詞集進行降維處理，得到主關鍵詞；依據主關鍵詞的詞概率由大到小排列，并依據屬性標簽的維度值選取主關鍵詞作為屬性標簽的標簽集；選取詞概率最大的主關鍵詞作為標簽名，并剩余的主關鍵詞作為屬性名，通過標簽名和屬性名的標定值對相應屬性名的屬性進行描述，得到最終的屬性標簽；將不同維度的屬性標簽集成得到多維屬性標簽。本發明既考慮頻率較高的關鍵詞作為主要的標簽描述，同時又考慮了不同關鍵詞之間的關聯關系，使得文本數據的標簽描述更加準確與詳細，利于文本數據的精準匹配。

技術領域

本發明涉及標簽技術領域，更具體地說，它涉及基于大數據的多維屬性標簽提取方法、系統、終端及介質。

背景技術

隨著互聯網技術的不斷發展，網絡中的存在大量信息，為了方便管理一般會通過文本標簽對各種數據進行標記分類。

目前，對于標簽提取主要是利用專業字典對專業文獻進行標簽的提取。如對文本數據進行分詞得到的多個關鍵詞，以出現頻率較高的一個或多個作為相應文本數據的標簽，并通過標簽的屬性對文本數據進行分類標簽。然而，隨著智能化技術的不斷發展，人們對標簽的屬性對文本數據進行描述的精確度提出了更高的要求，而傳統的僅以頻率相對高的關鍵詞作為文本數據的標簽，容易存在標簽不能體現出文本數據的真實情況，從而導致數據匹配、信息搜索等過程存在一定誤差，在一定程度上不利于網絡信息的精準推送和詳細刻畫。

因此，如何研究設計一種能夠克服上述缺陷的基于大數據的多維屬性標簽提取方法、系統、終端及介質是我們目前急需解決的問題。

發明內容

為解決現有技術中的不足，本發明的目的是提供基于大數據的多維屬性標簽提取方法、系統、終端及介質，既考慮頻率較高的關鍵詞作為主要的標簽描述，同時又考慮了不同關鍵詞之間的關聯關系，使得文本數據的標簽描述更加準確與詳細，利于文本數據的精準匹配，可應用于數據匹配、信息搜索等操作過程。

本發明的上述技術目的是通過以下技術方案得以實現的：

第一方面，提供了基于大數據的多維屬性標簽提取方法，包括以下步驟：

提取目標文本中的關鍵詞，得到包含多類的關鍵詞集；

以主成分分析方法對關鍵詞集進行降維處理，得到至少兩個主關鍵詞；

依據各個主關鍵詞的詞概率由大到小排列，并依據屬性標簽的維度值從排序最后的主關鍵詞開始選取對應數量的主關鍵詞作為相應屬性標簽的標簽集；

從標簽集中選取詞概率最大的主關鍵詞作為標簽名，并選取剩余的主關鍵詞作為屬性名，以及通過標簽名和屬性名的標定值對相應屬性名的屬性進行描述，得到最終的屬性標簽；

將不同維度的屬性標簽集成得到多維屬性標簽。

進一步的，若多維屬性標簽的總維度為K，則多維屬性標簽的表達式具體為：

其中，A₁、A₂...A_K表示詞概率由大到小排列的主關鍵詞；a₁、a₂...a_K表示不同關鍵詞所對應的標定值；{·}外的主關鍵詞為標簽名，{·}內的主關鍵詞為屬性名。

進一步的，所述屬性名的屬性以標簽名的標定值和屬性名的標定值乘積進行描述。

進一步的，所述標定值為對應主關鍵詞的詞概率。

進一步的，所述詞概率為相應主關鍵詞的頻次數與所有主關鍵詞的頻次數之和的比值。

進一步的，所述詞概率為相應主關鍵詞的頻次數與所有關鍵詞的頻次數之和的比值。