[發明專利]一種確定語料的來源的方法、設備及計算設備

有效

• 申請號: 201710153881.4
• 申請日: 2017-03-15
• 公開（公告）號: CN106874518B
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 馬東辰
• 申請（專利權）人: 北京知道創宇信息技術股份有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/9535
• 代理公司: 北京思睿峰知識產權代理有限公司 11396
• 代理人: 謝建云;趙愛軍

1.一種確定語料的來源的方法，適于在計算設備中執行，所述計算設備與語料樣本存儲設備相耦接，所述語料樣本存儲設備存儲來自至少一個來源的語料樣本，所述語料的來源包括所述語料的作者，所述方法包括步驟：

從語料樣本存儲設備中獲取至少一個來源的語料樣本；

對每個來源的語料樣本，

將該語料樣本和要確定來源的語料組合在一起，并按照預定編碼算法進行數據壓縮，以生成一個壓縮文件；

計算每個壓縮文件的壓縮率；以及

將所獲得的至少一個壓縮文件中、壓縮率最高的一個壓縮文件所對應的來源確定為所述要確定來源的語料的來源。

2.如權利要求1所述的方法，其中，還包括步驟：

在將該語料樣本和要確定來源的語料組合在一起之后，

對組合在一起的語料樣本和要確定來源的語料按照詞語或短句進行分割。

3.如權利要求1所述的方法，其中，所述語料樣本被按照詞語或短句進行分割，所述方法還包括步驟：

在將該語料樣本和要確定來源的語料組合在一起之前，

對所述要確定來源的語料按照與所述語料樣本相同的方式進行分割。

4.如權利要求1所述的方法，其中，計算壓縮文件的壓縮率的步驟還包括：

根據壓縮文件的大小、該壓縮文件所包含的語料樣本和要確定來源的語料的大小計算該壓縮文件的壓縮率。

5.如權利要求4所述的方法，其中，計算壓縮文件的壓縮率公式如下：

壓縮率=1－壓縮文件大小/(語料樣本大小＋要確定來源的語料大小)。

6.如權利要求1-5中任一項所述的方法，其中，確定要確定來源的語料的來源的步驟還包括：

提取所獲得的至少一個壓縮文件中、壓縮率大于預定閾值的部分壓縮文件；

將所提取的部分壓縮文件中、壓縮率最高的一個壓縮文件所對應的來源確定為所述要確定來源的語料的來源。

7.如權利要求1-5中任一項所述的方法，其中，所述語料和語料樣本包括文本和代碼。

8.如權利要求1-5中任一項所述的方法，其中，所述預定編碼算法為哈夫曼編碼。

9.一種確定語料的來源的設備，與語料樣本存儲設備相耦接，所述語料樣本存儲設備存儲來自至少一個來源的語料樣本，所述語料的來源包括所述語料的作者，所述確定語料的來源的設備包括：

樣本獲取模塊，適于從語料樣本存儲設備中獲取至少一個來源的語料樣本；

語料壓縮模塊，適于對每個來源的語料樣本，將該語料樣本和要確定來源的語料組合在一起，并按照預定編碼算法進行數據壓縮，以生成一個壓縮文件；

比率計算模塊，適于對語料壓縮模塊生成的每個壓縮文件，計算該壓縮文件的壓縮率；以及

來源確定模塊，適于將所獲得的至少一個壓縮文件中、壓縮率最高的一個壓縮文件所對應的來源確定為所述要確定來源的語料的來源。

10.如權利要求9所述的設備，其中，所述語料壓縮模塊還適于

在將該語料樣本和要確定來源的語料組合在一起之后，

對組合在一起的語料樣本和要確定來源的語料按照詞語或短句進行分割。

11.如權利要求9所述的設備，其中，所述語料樣本被按照詞語或短句進行分割，所述語料壓縮模塊還適于

在將該語料樣本和要確定來源的語料組合在一起之前，

對所述要確定來源的語料按照與所述語料樣本相同的方式進行分割。

12.如權利要求9所述的設備，其中，所述比率計算模塊還適于

根據壓縮文件的大小、該壓縮文件所包含的語料樣本和要確定來源的語料的大小計算該壓縮文件的壓縮率。