[發明專利]文獻去重方法及裝置

有效

• 申請號: 201810893169.2
• 申請日: 2018-08-07
• 公開（公告）號: CN109241008B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 趙榮生;宋再偉;黃振城;周旻
• 申請（專利權）人: 北京大學第三醫院;北京諾道認知醫學科技有限公司
• 主分類號: G06F16/174
• 分類號: G06F16/174;G06F16/33;G06F16/335
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

1.一種文獻去重方法，其特征在于，包括：

獲取第一目標文獻和第二目標文獻各自對應的屬性標簽和屬性內容，所述第一目標文獻和所述第二目標文獻為屬性內容相互存在重復的文獻；

從所述屬性標簽中篩選出目標屬性標簽，以及所述目標屬性標簽對應的屬性內容；

根據所述目標屬性標簽對應的屬性內容獲得對應的屬性標簽重復率；

根據所述屬性標簽重復率獲得所述第一目標文獻與所述第二目標文獻的去重結果；

其中，當所述目標屬性標簽包括文獻作者和文獻題目時，所述根據所述目標屬性標簽對應的屬性內容獲得對應的屬性標簽重復率，包括：

根據所述文獻題目標簽對應的屬性內容獲得所述第一目標文獻的文獻題目的字符串長度、所述第二目標文獻的文獻題目的字符串長度、以及所述第一目標文獻和所述第二目標文獻在文獻題目下的重復內容的字符串總長度；

根據所述第一目標文獻和所述第二目標文獻各自的文獻題目的字符串長度和所述重復內容的字符串總長度采用第一計算公式獲得文獻題目重復率；

根據所述文獻作者標簽對應的屬性內容獲得所述第一目標文獻和所述第二目標文獻對應的作者數目、以及所述第一目標文獻的各個作者名與所述第二目標文獻的各個作者名相互重復的字符串長度；

根據所述第一目標文獻和所述第二目標文獻對應的作者數目和所述第一目標文獻的各個作者名與所述第二目標文獻的各個作者名相互重復的字符串長采用第二計算公式獲得文獻作者重復率；

所述第二計算公式包括：

其中，AR-Rate為文獻作者重復率，為第一目標文獻的作者集，為第二目標文獻的作者集，n₁，n₂為作者數目，a為n₁，n₂中最小值對應的下標，為作者的字符串長度，為作者的字符串長度，為作者與作者存在重復內容的字符串長度。

2.根據權利要求1所述的方法，其特征在于，所述第一計算公式包括：

其中，TR-Rate為文獻題目重復率，L_TM為所述第一目標文獻和所述第二目標文獻在文獻題目下的重復內容的字符串總長度，L_paper1為第一目標文獻的文獻題目的字符串長度，L_paper2為第二目標文獻的文獻題目的字符串長度。

3.根據權利要求1所述的方法，其特征在于，還包括：

獲取對應所述去重結果的文獻的屬性內容；

根據所述屬性內容和預設的篩選指標獲得保留文獻并存儲。