[發明專利]基于樣本數據的數據探測和擴充方法及裝置

有效

• 申請號: 201611264829.8
• 申請日: 2016-12-30
• 公開（公告）號: CN106844553B
• 公開（公告）日: 2020-05-01
• 發明（設計）人: 湯奇峰;李炳輝
• 申請（專利權）人: 晶贊廣告（上海）有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/9535;G06F16/955
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張振軍;吳敏

1.一種基于樣本數據的數據探測和擴充方法，其特征在于，包括如下步驟：

基于數據庫中的至少一條數據確定所述樣本數據，所述數據庫存儲有從海量數據中探測獲得的多條數據；

基于所述樣本數據在所述海量數據中查找，以獲得所述海量數據中與所述樣本數據相匹配的匹配數據；

對所述匹配數據進行處理以獲得匹配規則，并更新指紋庫，所述指紋庫存儲有歷史上獲得的匹配規則；

基于更新后的指紋庫在所述海量數據中進行匹配提取，以獲得所述海量數據中與所述更新后的指紋庫中的匹配規則相匹配的數據，并將匹配獲得的數據擴充至所述數據庫；

重復執行前述從數據庫確定樣本數據至將匹配獲得的數據擴充至數據庫的步驟。

2.根據權利要求1所述的基于樣本數據的數據探測和擴充方法，其特征在于，所述基于數據庫中的至少一條數據確定所述樣本數據，包括如下步驟：

從所述數據庫中選擇預設數量的數據，并將所述預設數量的數據的特征信息作為所述樣本數據。

3.根據權利要求2所述的基于樣本數據的數據探測和擴充方法，其特征在于，所述特征信息包括：

所述預設數量的數據的特征標識碼；或者

根據所述預設數量的數據確定的正則表達式。

4.根據權利要求2所述的基于樣本數據的數據探測和擴充方法，其特征在于，基于所述樣本數據在所述海量數據中查找，以獲得所述海量數據中與所述樣本數據相匹配的匹配數據，包括如下步驟：

在所述海量數據中查找與所述樣本數據具有相同特征信息的數據，并將所述具有相同特征信息的數據作為所述匹配數據。

5.根據權利要求4所述的基于樣本數據的數據探測和擴充方法，其特征在于，在基于所述樣本數據在海量數據中查找時，若存在預設限制條件，則在所述海量數據中由所述預設限制條件定義的部分數據中查找，以獲得所述匹配數據。

6.根據權利要求1所述的基于樣本數據的數據探測和擴充方法，其特征在于，對所述匹配數據進行處理以獲得匹配規則，并更新指紋庫，包括如下步驟：

對所述匹配數據進行結構化處理，以獲得按預設格式排布的標準數據；

基于所述標準數據生成所述匹配規則并去重；

基于去重后的匹配規則更新所述指紋庫。

7.根據權利要求6所述的基于樣本數據的數據探測和擴充方法，其特征在于，基于所述標準數據生成所述匹配規則并去重，包括如下步驟：

根據所述預設格式將所述標準數據轉換為所述匹配規則；

去除轉換得到的匹配規則中的重復項，獲得所述去重后的匹配規則。

8.根據權利要求6所述的基于樣本數據的數據探測和擴充方法，其特征在于，基于去重后的指紋更新所述指紋庫，包括如下步驟：

將所述去重后的匹配規則與所述指紋庫中的匹配規則相比較，以二次去除重復項；

將二次去除重復項后的匹配規則更新至所述指紋庫。

9.根據權利要求1至8任一項所述的基于樣本數據的數據探測和擴充方法，其特征在于，所述數據為互聯網訪問記錄。

10.一種基于樣本數據的數據探測和擴充裝置，其特征在于，包括：

確定模塊，用于基于數據庫中的至少一條數據確定所述樣本數據，所述數據庫存儲有從海量數據中探測獲得的多條數據；

查找模塊，用于基于所述樣本數據在所述海量數據中查找，以獲得所述海量數據中與所述樣本數據相匹配的匹配數據；

更新模塊，用于對所述匹配數據進行處理以獲得匹配規則，并更新指紋庫，所述指紋庫存儲有歷史上獲得的匹配規則；

提取模塊，用于基于更新后的指紋庫在所述海量數據中進行匹配提取，以獲得所述海量數據中與所述更新后的指紋庫中的匹配規則相匹配的數據，并將匹配獲得的數據擴充至所述數據庫；

重復執行前述從數據庫確定樣本數據至將匹配獲得的數據擴充至數據庫的步驟。