[發明專利]挖掘文本數據的方法、裝置、計算機設備和存儲介質

有效

• 申請號: 202010124827.9
• 申請日: 2020-02-27
• 公開（公告）號: CN111353020B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 王文超;陽任科;郟昕
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 張麗穎;李雪

1.一種挖掘文本數據的方法，其特征在于，所述方法包括：

獲取文本數據，所述文本數據包括多個候選字符串；

根據預設成詞函數計算各個所述候選字符串的分值，得到各個所述候選字符串的成詞分值；

從所述候選字符串中篩選出所述成詞分值大于或等于第一預設閾值的字符串作為第一候選字符串；

從所述第一候選字符串中查找與預設詞典中的字符串匹配的字符串作為第一目標字符串，未匹配的字符串作為第二字符串；

從所述第二字符串中查找出所述成詞分值大于第二預設閾值的字符串作為第二目標字符串，所述第一目標字符串和所述第二目標字符串組成目標字符串；

查找所述目標字符串是否位于預設知識庫，所述預設知識庫中包含字符串和對應的類別；

當所述目標字符串位于預設知識庫中，將所述目標字符串在所述預設知識庫中的類別作為所述目標字符串的目標類別。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

當所述目標字符串不位于所述預設知識庫中，且目標字符串包含多個字符時，對所述目標字符串進行分詞，得到各個所述目標字符串的多個字符單元；

當所述目標字符串的字符單元中位于預設位置的字符單元的詞性為名詞，且所述預設位置的字符單元位于所述預設知識庫中，將所述預設位置的字符單元，在所述預設知識庫中的類別，作為所述目標字符串的目標類別。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

當所述目標字符串不位于所述預設知識庫中，且所述目標字符串的最后一個文字為預設道具類文字時，將所述目標字符串的類別設置為道具；

當所述目標字符串不位于所述預設知識庫中，目標字符串包含多個字符，且所述目標字符串的最后一個文字不為預設道具類文字時，執行所述對所述目標字符串進行分詞，得到各個所述目標字符串的多個字符單元。

4.根據權利要求1所述的方法，其特征在于，所述目標類別包括道具和演員角色，所述當所述目標字符串位于預設知識庫中，將所述目標字符串在所述預設知識庫中的類別作為所述目標字符串的目標類別，包括：

當所述目標字符串對應的類別為第一預設類別時，將所述目標字符串的類別設置為道具；

當所述目標字符串對應的類別為演員角色時，將所述目標字符串的類別設置為演員角色。

5.根據權利要求1至4中任一項所述的方法，其特征在于，所述候選字符串包括單個文字組成的字符串和多個字符單元組成的字符串，所述根據預設成詞函數計算各個所述候選字符串的分值，得到各個所述候選字符串的成詞分值，包括：

當所述候選字符串為單個文字組成的字符串時，獲取預設值作為所述候選字符串的成詞分值；

當所述候選字符串為多個字符單元組成的字符串，采用所述預設成詞函數計算所述候選字符串的成詞分值，得到第二分值，所述預設成詞函數為Score＝min(HL(W)，HR(W))*PMI(x,y)，其中HL(W)為所述候選字符串W的左熵，KL為候選字符串W的左邊的字符串的數目，pl_k為候選字符串W的左邊的第k種字符串的出現頻率，HR(W)為所述候選字符串W的右熵，KR為候選字符串W的右邊的字符串的數目，pr_k為候選字符串W的右邊的第k種字符串的出現頻率，min((HL(W)，HR(W))是指從所述左熵和所述右熵中選取最小值，PMI(x，y)為所述候選字符串W的互信息，x為所述候選字符串W左邊的字符單元，y為所述候選字符串W右邊的字符單元，p(x)為所述x單獨出現的概率，p(y)為所述y單獨出現的概率,p(x，y)為所述x和所述y同時出現的概率。

6.根據權利要求5所述的方法，其特征在于，所述預設值為0。