[發(fā)明專利]一種基于海量數(shù)據(jù)的位置信息提取方法和裝置

在審

• 申請?zhí)枺?/td>: 201611145679.9
• 申請日: 2016-12-13
• 公開（公告）號: CN108614835A
• 公開（公告）日: 2018-10-02
• 發(fā)明（設(shè)計）人: 蘭燁;劉立蘭;王濤;劉卓;王海磊;王正偉;王會娟;田川;焦林
• 申請（專利權(quán)）人: 北京銳安科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京君尚知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11200
• 代理人: 司立彬

1.一種基于海量數(shù)據(jù)的位置信息提取方法，其步驟為：

1)從全文數(shù)據(jù)庫系統(tǒng)中提取原始數(shù)據(jù)，并從提取的原始數(shù)據(jù)中提取公共字段和用戶代理User-Agent內(nèi)容；

2)根據(jù)所述User-Agent內(nèi)容中的應(yīng)用信息在預先設(shè)定的規(guī)則數(shù)據(jù)庫中查詢對應(yīng)的提取規(guī)則，然后根據(jù)所述提取規(guī)則從所述原始數(shù)據(jù)中提取位置信息；

3)將每一原始數(shù)據(jù)的所述位置信息與所述公共字段作為一有效數(shù)據(jù)進行存儲。

2.如權(quán)利要求1所述的方法，其特征在于，根據(jù)所述User-Agent內(nèi)容中的應(yīng)用信息計算出提取規(guī)則編號；然后在預先設(shè)定的規(guī)則數(shù)據(jù)庫中提取該提取規(guī)則編號對應(yīng)的提取規(guī)則。

3.如權(quán)利要求2所述的方法，其特征在于，原始數(shù)據(jù)中的每一記錄對應(yīng)一提取規(guī)則，記錄與提取規(guī)則之間通過編號對應(yīng)。

4.如權(quán)利要求1或2或3所述的方法，其特征在于，當所述預先設(shè)定的規(guī)則數(shù)據(jù)庫中不包含與所述應(yīng)用信息對應(yīng)的提取規(guī)則時，使用公知通用規(guī)則從所述原始數(shù)據(jù)中提取位置信息。

5.如權(quán)利要求1或2或3所述的方法，其特征在于，將所述位置信息與所述公共字段以數(shù)組的形式合并為一對多有效數(shù)據(jù)；所述公共字段包括：數(shù)據(jù)ID、設(shè)備ID、目的端口和時間戳。

6.一種基于海量數(shù)據(jù)的位置信息提取裝置，其特征在于，包括原始數(shù)據(jù)提取模塊，用于從全文數(shù)據(jù)庫系統(tǒng)中提取原始數(shù)據(jù)；應(yīng)用信息獲取模塊，用于從提取的原始數(shù)據(jù)中提取公共字段和用戶代理User-Agent內(nèi)容，并從所述User-Agent內(nèi)容獲取應(yīng)用信息；位置信息提取模塊，用于根據(jù)所述應(yīng)用信息在預先設(shè)定的規(guī)則數(shù)據(jù)庫中提取與所述應(yīng)用信息對應(yīng)的提取規(guī)則，并根據(jù)所述提取規(guī)則從所述原始數(shù)據(jù)中提取位置信息；有效數(shù)據(jù)合并模塊，用于將所述位置信息與所述公共字段合并為有效數(shù)據(jù)。

7.如權(quán)利要求6所述的裝置，其特征在于，所述應(yīng)用信息獲取模塊根據(jù)所述User-Agent內(nèi)容中的應(yīng)用信息計算出提取規(guī)則編號；然后在預先設(shè)定的規(guī)則數(shù)據(jù)庫中提取該提取規(guī)則編號對應(yīng)的提取規(guī)則。

8.如權(quán)利要求6或7所述的裝置，其特征在于，原始數(shù)據(jù)中的每一記錄對應(yīng)一提取規(guī)則，記錄與提取規(guī)則之間通過編號對應(yīng)。

9.如權(quán)利要求6或7所述的裝置，其特征在于，當所述預先設(shè)定的規(guī)則數(shù)據(jù)庫中不包含與所述應(yīng)用信息對應(yīng)的提取規(guī)則時，所述位置信息提取模塊使用公知通用規(guī)則從所述原始數(shù)據(jù)中提取位置信息。

10.如權(quán)利要求6或7所述的裝置，其特征在于，所述有效數(shù)據(jù)合并模塊將所述位置信息與所述公共字段以數(shù)組的形式合并為一對多有效數(shù)據(jù)；所述公共字段包括：數(shù)據(jù)ID、設(shè)備ID、目的端口和時間戳。