[發明專利]基于文檔拆分的知識庫建設方法及裝置

有效

• 申請號: 201811038766.3
• 申請日: 2018-09-06
• 公開（公告）號: CN110889280B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 占釗;畢小栓;楊舜;曹遠欣;錢凌
• 申請（專利權）人: 上海智臻智能網絡科技股份有限公司;貴州小愛機器人科技有限公司
• 主分類號: G06N5/025
• 分類號: G06N5/025;G06F40/258;G06F40/30;G06F40/211;G06F16/34;G06F16/36;G06F16/332
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張振軍;吳敏

1.一種基于文檔拆分的知識庫建設方法，其特征在于，包括：

獲取待處理的文檔；

判斷所述文檔是否具有標題；

如果所述文檔具有標題，則確定所述文檔內的各級標題；每級標題的數量是一個或多個；

至少將部分標題作為介紹知識點的介紹問題，以及將所述部分標題下的至少部分內容作為所述介紹知識點的答案存儲至知識庫中；

所述至少將部分標題作為介紹知識點的介紹問題，以及將所述部分標題下的至少部分內容作為所述介紹知識點的答案存儲至知識庫中包括：對于第i級標題，將所述第i級標題及其至少一個上級標題采用關聯詞進行連接，形成完整語句，并將所述完整語句作為所述介紹問題，確定所述第i級標題下的至少部分內容作為相應的答案，其中，所述文檔包括M級標題，i的取值范圍為[1，M]；

或者，所述至少將部分標題作為介紹知識點的介紹問題，以及將所述部分標題下的至少部分內容作為所述介紹知識點的答案存儲至知識庫中包括：如果標題下的內容的字數達到預設閾值，則將所述內容切分為多個句子；按照所述多個句子的語義相關性將所述多個句子拆分為多個段落，段落的數量小于等于句子的數量；提取每個段落的內容摘要；將每一段落的內容摘要作為所述介紹知識點的介紹問題，以及至少將所述段落作為所述介紹知識點的答案存儲至所述知識庫。

2.根據權利要求1所述的基于文檔拆分的知識庫建設方法，其特征在于，所述判斷所述文檔是否具有標題包括：

判斷所述文檔是否具備目錄或大綱級別，當所述文檔具備目錄或大綱級別時，所述文檔具有標題；

如果所述文檔未具備目錄或大綱級別，則判斷所述文檔是否具備編號或不同大小的字體，當所述文檔具有編號或不同大小的字體時，所述文檔具有標題；否則，所述文檔不具有標題。

3.根據權利要求2所述的基于文檔拆分的知識庫建設方法，其特征在于，所述確定所述文檔內的各級標題包括：

如果所述文檔具備目錄，則根據所述文檔的目錄來確定各級標題；

或者，如果所述文檔具備大綱級別，則根據所述文檔的大綱級別來確定各級標題；

或者，如果所述文檔具有編號，則根據所述編號的編號優先級確定各級編號，將每級編號至首個換行符之間的內容作為每級標題；

或者，如果所述文檔具備不同大小的字體，則按照所述文檔中各個段落的字體從大到小的順序確定各級標題；

或者，如果所述文檔具有編號，則按照編號在所述文檔中首次出現的順序確定各級編號，將每級編號至首個換行符之間的內容作為每級標題。

4.根據權利要求1所述的基于文檔拆分的知識庫建設方法，其特征在于，還包括：

如果所述文檔未具有標題，則根據標點符號將所述文檔切分為多個句子；

按照所述多個句子的語義相關性將所述多個句子拆分為多個段落，段落的數量小于等于句子的數量；

提取每個段落的內容摘要；

將每一段落的內容摘要作為所述介紹知識點的介紹問題，以及至少將所述段落作為所述介紹知識點的答案存儲至所述知識庫。

5.根據權利要求1或4所述的基于文檔拆分的知識庫建設方法，其特征在于，所述按照所述多個句子的語義相關性將所述多個句子拆分為多個段落包括：

計算各個句子的語義向量，所述語義向量選自詞頻向量和/或句向量，句子的句向量為所述句子所包含的各個詞語的詞向量之和；

計算相鄰兩個句子的語義向量的語義相似度；

在所述語義相似度小于預設閾值時，將所述相鄰兩個句子拆分至不同的段落。

6.根據權利要求1或4所述的基于文檔拆分的知識庫建設方法，其特征在于，所述按照所述多個句子的語義相關性將所述多個句子拆分為多個段落還包括：

對于拆分得到的多個段落，計算每兩個段落的語義相似度；

在兩個段落的語義相似度達到第三預設閾值時，將所述兩個段落合并為一個段落。