[發(fā)明專利]一種基于海量數(shù)據(jù)的位置信息提取方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201611145679.9
• 申請(qǐng)日: 2016-12-13
• 公開（公告）號(hào): CN108614835A
• 公開（公告）日: 2018-10-02
• 發(fā)明（設(shè)計(jì)）人: 蘭燁;劉立蘭;王濤;劉卓;王海磊;王正偉;王會(huì)娟;田川;焦林
• 申請(qǐng)（專利權(quán)）人: 北京銳安科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11200
• 代理人: 司立彬

本發(fā)明公開了一種基于海量數(shù)據(jù)的位置信息提取方法和裝置。本發(fā)明的提取方法為：1)從全文數(shù)據(jù)庫(kù)系統(tǒng)中提取原始數(shù)據(jù)，并從提取的原始數(shù)據(jù)中提取公共字段和用戶代理User?Agent內(nèi)容；2)根據(jù)所述User?Agent內(nèi)容中的應(yīng)用信息在預(yù)先設(shè)定的規(guī)則數(shù)據(jù)庫(kù)中查詢對(duì)應(yīng)的提取規(guī)則，然后根據(jù)所述提取規(guī)則從所述原始數(shù)據(jù)中提取位置信息；3)將每一原始數(shù)據(jù)的所述位置信息與所述公共字段作為一有效數(shù)據(jù)進(jìn)行存儲(chǔ)。本發(fā)明便于民警對(duì)網(wǎng)民、網(wǎng)站行為進(jìn)行監(jiān)督和規(guī)范。

技術(shù)領(lǐng)域：

本發(fā)明涉及網(wǎng)絡(luò)安全及大數(shù)據(jù)處理領(lǐng)域，尤其涉及一種基于海量數(shù)據(jù)的位置信息提取方法和裝置。

背景技術(shù)：

互聯(lián)網(wǎng)的高速發(fā)展，使數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素，伴隨而來(lái)的是人類可以分析和處理的海量數(shù)據(jù)。在中型以上的城市如北京、上海，每天在網(wǎng)絡(luò)行為中產(chǎn)生的各類數(shù)據(jù)已經(jīng)超過(guò)PB級(jí)。LBS(Location Based Services)：又稱基于位置的服務(wù)，它是通過(guò)電信移動(dòng)運(yùn)營(yíng)商的無(wú)線電通訊網(wǎng)絡(luò)(如GSM網(wǎng)、CDMA網(wǎng))或外部DXXW方式(如GPS)及其他DXXW手段獲取移動(dòng)終端用戶的位置信息(地理坐標(biāo)，或大地坐標(biāo))，在GIS(Geographic Information System，地理信息系統(tǒng))平臺(tái)的支持下，為用戶提供相應(yīng)服務(wù)的一種增值業(yè)務(wù)。

基于LBS的服務(wù)業(yè)務(wù)在大數(shù)據(jù)處理得到了蓬勃地發(fā)展，各種開放式API得到了廣泛的使用。如Google，就為用戶提供了開放式的API服務(wù)。注冊(cè)用戶可以根據(jù)不同的需要來(lái)使用對(duì)應(yīng)的服務(wù)，如通過(guò)IP查尋經(jīng)緯度、通過(guò)WIFI MAC地址查尋、通過(guò)手機(jī)基站信息查尋地址、通過(guò)經(jīng)緯度查尋地址、通過(guò)地址查尋經(jīng)緯度等服務(wù)。同時(shí)，各個(gè)行業(yè)的基于LBS的業(yè)務(wù)也在蓬勃開展。在進(jìn)行海量數(shù)據(jù)處理，尤其是在海量數(shù)據(jù)中提取位置信息，目前進(jìn)行全文檢索提取相關(guān)數(shù)據(jù)信息的算法一般是采用各種分詞技術(shù)，然而傳統(tǒng)的全文檢索方法緩慢、效率低下。

發(fā)明內(nèi)容：

本發(fā)明提供一種基于海量數(shù)據(jù)的位置信息提取方法和裝置，便于民警對(duì)網(wǎng)民、網(wǎng)站行為進(jìn)行監(jiān)督和規(guī)范。

第一方面，本發(fā)明實(shí)施例提供了一種基于海量數(shù)據(jù)的位置信息提取方法，包括：

從全文數(shù)據(jù)庫(kù)系統(tǒng)TRS中提取原始數(shù)據(jù)。

從提取的原始數(shù)據(jù)中提取公共字段和用戶代理User-Agent內(nèi)容，并從所述User-Agent內(nèi)容獲取需要的應(yīng)用信息。

根據(jù)所述應(yīng)用信息中的URL信息，按照自定義正則表達(dá)式，計(jì)算出提取規(guī)則編號(hào)。在預(yù)先設(shè)定的規(guī)則數(shù)據(jù)庫(kù)中提取與計(jì)算所得編號(hào)對(duì)應(yīng)的提取規(guī)則，并根據(jù)所述提取規(guī)則從所述原始數(shù)據(jù)中提取位置信息。

將所述有效數(shù)據(jù)輸出到業(yè)務(wù)數(shù)據(jù)庫(kù)和/或bcp文件。

第二方面，本發(fā)明實(shí)施例還提供了一種基于海量數(shù)據(jù)的位置信息提取裝置，其特征在于，包括：

原始數(shù)據(jù)提取模塊，用于從全文數(shù)據(jù)庫(kù)系統(tǒng)TRS中提取原始數(shù)據(jù)；

應(yīng)用信息獲取模塊，用于從提取的原始數(shù)據(jù)中提取公共字段和用戶代理User-Agent內(nèi)容，并從所述User-Agent內(nèi)容獲取應(yīng)用信息；

位置信息提取模塊，用于根據(jù)所述應(yīng)用信息在預(yù)先設(shè)定的規(guī)則數(shù)據(jù)庫(kù)中提取與所述應(yīng)用信息對(duì)應(yīng)的提取規(guī)則，并根據(jù)所述提取規(guī)則從所述原始數(shù)據(jù)中提取位置信息；

有效數(shù)據(jù)合并模塊，用于將所述位置信息與所述公共字段合并為有效數(shù)據(jù)；

有效數(shù)據(jù)輸出模塊，用于將所述有效數(shù)據(jù)輸出到業(yè)務(wù)數(shù)據(jù)庫(kù)和/或bcp文件。

與現(xiàn)有技術(shù)相比，本發(fā)明的積極效果為：