[發明專利]一種基于海量數據的位置信息提取方法和裝置

有效

• 申請號: 201410743514.6
• 申請日: 2014-12-08
• 公開（公告）號: CN104516948B
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 陳志剛
• 申請（專利權）人: 北京銳安科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京品源專利代理有限公司11332
• 代理人: 胡彬,路凱

技術領域

本發明涉及大數據處理技術領域，尤其涉及一種基于海量數據的位置信息提取方法和裝置。

背景技術

互聯網的高速發展，使數據已經滲透到每一個行業和業務職能領域，逐漸成為重要的生產因素，伴隨而來的是人類可以分析和處理的海量數據。在中型以上的城市如北京、上海，每天在網絡行為中產生的各類數據已經超過PB級。LBS(Location Based Services)：又稱基于位置的服務，它是通過電信移動運營商的無線電通訊網絡(如GSM網、CDMA網)或外部定位方式(如GPS)及其他定位手段獲取移動終端用戶的位置信息(地理坐標，或大地坐標)，在GIS(Geographic Information System，地理信息系統)平臺的支持下，為用戶提供相應服務的一種增值業務?；贚BS的服務業務在大數據處理得到了蓬勃地發展，各種開放式API得到了廣泛的使用。如Google，就為用戶提供了開放式的API服務。注冊用戶可以根據不同的需要來使用對應的服務，如通過IP查尋經緯度、通過WIFI MAC地址查尋、通過手機基站信息查尋地址、通過經緯度查尋地址、通過地址查尋經緯度等服務。同時，各個行業的基于LBS的業務也在蓬勃開展。但是由于海量數據直接看起來很不方便、直觀，而且格式也不盡相同，在進行海量數據處理，尤其是在海量數據中提取位置信息，目前進行全文檢索提取相關數據信息的算法一般是采用各種分詞技術，然而傳統的全文檢索方法緩慢、效率低下。

發明內容

本發明提供一種基于海量數據的位置信息提取方法和裝置，以實現在海量數據中高效的提取位置信息。

第一方面，本發明實施例提供了一種基于海量數據的位置信息提取方法，包括：

從全文數據庫系統TRS中提取原始數據；

從提取的原始數據中提取公共字段和用戶代理User-Agent內容，并從所述User-Agent內容獲取應用信息；

根據所述應用信息在預先設定的規則數據庫中提取與所述應用信息對應的提取規則，并根據所述提取規則從所述原始數據中提取位置信息；

將所述位置信息與所述公共字段合并為有效數據；

將所述有效數據輸出到業務數據庫和/或bcp文件。

第二方面，本發明實施例還提供了一種基于海量數據的位置信息提取裝置，其特征在于，包括：

原始數據提取模塊，用于從全文數據庫系統TRS中提取原始數據；

應用信息獲取模塊，用于從提取的原始數據中提取公共字段和用戶代理User-Agent內容，并從所述User-Agent內容獲取應用信息；

位置信息提取模塊，用于根據所述應用信息在預先設定的規則數據庫中提取與所述應用信息對應的提取規則，并根據所述提取規則從所述原始數據中提取位置信息；

有效數據合并模塊，用于將所述位置信息與所述公共字段合并為有效數據；

有效數據輸出模塊，用于將所述有效數據輸出到業務數據庫和/或bcp文件。

本發明通過從全文數據庫系統TRS中提取原始數據，并根據從提取的原始數據中提取的應用信息，在預先設定的規則數據庫中提取與所述應用信息對應的提取規則，使用所述提取規則從所述原始數據中提取位置信息，解決了現有技術全文檢索提取位置信息緩慢、效率低下的問題，實現了在海量數據中高效的提取位置信息的效果。

附圖說明

圖1為本發明實施例一提供的一種基于海量數據的位置信息提取方法的流程圖；

圖2為本發明實施例二提供的一種基于海量數據的位置信息提取方法的流程圖；

圖3為本發明實施例二提供的一種基于海量數據的位置信息提取方法的算法流程圖；

圖4為本發明實施例二提供的根據在預先設定的規則數據庫中提取的與應用信息對應的提取規則，從原始數據中提取位置信息的算法流程圖；

圖5為本發明實施例三提供的數據庫管理示意圖；

圖6為本發明實施例四提供的一種基于海量數據的位置信息提取裝置的結構示意圖；

圖7為本發明實施例四提供的基于海量數據的位置信息提取裝置的整體數據流示意圖。

具體實施方式

下面結合附圖和實施例對本發明作進一步的詳細說明。可以理解的是，此處所描述的具體實施例僅僅用于解釋本發明，而非對本發明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發明相關的部分而非全部結構。

實施例一