[發(fā)明專利]大數(shù)據(jù)下實(shí)現(xiàn)用戶位置計(jì)算的方法、存儲(chǔ)介質(zhì)、設(shè)備及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710523013.0
• 申請(qǐng)日: 2017-06-30
• 公開（公告）號(hào): CN109213940B
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 劉宇超;陳少杰;張文明
• 申請(qǐng)（專利權(quán)）人: 武漢斗魚網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06F16/9537
• 分類號(hào): G06F16/9537;G06F16/909
• 代理公司: 武漢智權(quán)專利代理事務(wù)所(特殊普通合伙) 42225
• 代理人: 沈林華

本發(fā)明公開了一種大數(shù)據(jù)下實(shí)現(xiàn)用戶位置計(jì)算的方法、存儲(chǔ)介質(zhì)、設(shè)備及系統(tǒng)，涉及大數(shù)據(jù)應(yīng)用技術(shù)領(lǐng)域。該方法包括：搭建自定義LBS服務(wù)，該自定義LBS服務(wù)用于根據(jù)用戶的經(jīng)緯度信息解析出用戶所在的位置信息；通過調(diào)用自定義LBS服務(wù)，解析出定期收集的經(jīng)緯度信息對(duì)應(yīng)的位置信息；將解析的位置信息存入HBase表中，并將對(duì)應(yīng)的經(jīng)緯度信息、降維經(jīng)緯度信息作為HBase表的行關(guān)鍵字存儲(chǔ)，從而完成HBase表的建立；將HBase表中的數(shù)據(jù)作為基礎(chǔ)數(shù)據(jù)導(dǎo)入到Hive表中，利用Hive表的并行計(jì)算功能實(shí)現(xiàn)用戶位置的并行計(jì)算。本發(fā)明能在大規(guī)模的數(shù)據(jù)量下實(shí)現(xiàn)大量用戶位置的快速計(jì)算，滿足了大數(shù)據(jù)下的實(shí)時(shí)性要求且不會(huì)導(dǎo)致大量冗余的數(shù)據(jù)緩存。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)應(yīng)用技術(shù)領(lǐng)域，具體來講是一種大數(shù)據(jù)下實(shí)現(xiàn)用戶位置計(jì)算的方法、存儲(chǔ)介質(zhì)、設(shè)備及系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，大型互聯(lián)網(wǎng)公司能獲取到用戶的很多經(jīng)緯度信息。在大數(shù)據(jù)時(shí)代，分析用戶位置信息能得到公司用戶在國(guó)內(nèi)各地的地理位置的分布信息，而利用這些位置分布信息能為公司帶來許多利益，因此，各公司都希望能得到用戶的地理位置分布信息。

但在數(shù)據(jù)量越來越大的今天，實(shí)時(shí)從海量的經(jīng)緯度坐標(biāo)得到用戶的位置信息面臨很大的挑戰(zhàn)。雖然傳統(tǒng)的GIS(Geographic Information System，地理信息系統(tǒng))技術(shù)，已經(jīng)有相關(guān)算法從經(jīng)緯度得到用戶在哪個(gè)城市、哪個(gè)街道的信息。但面對(duì)海量數(shù)據(jù)，比如實(shí)時(shí)分析時(shí)，每天可能有數(shù)億級(jí)的數(shù)據(jù)需要轉(zhuǎn)換和計(jì)算，而如果分析一個(gè)月的數(shù)據(jù)，就會(huì)有幾十億的數(shù)據(jù)需要同時(shí)處理，傳統(tǒng)的GIS技術(shù)已力不從心，無法滿足大數(shù)據(jù)下的實(shí)時(shí)性要求。而面對(duì)大數(shù)據(jù)量，互聯(lián)網(wǎng)行業(yè)常用的技巧就是做key-value(鍵值對(duì))的緩存，但由于key-value的緩存是一維緩存，即一個(gè)關(guān)鍵字對(duì)應(yīng)一個(gè)值的緩存，這就導(dǎo)致大量冗余的數(shù)據(jù)緩存，比如兩個(gè)人就離一米遠(yuǎn)，但他們的經(jīng)緯度卻是完全不同，若采用key-value緩存，就需要對(duì)這兩個(gè)經(jīng)緯度對(duì)應(yīng)的位置信息分別進(jìn)行緩存，但實(shí)際上，對(duì)于這種距離較近或一定范圍內(nèi)(如1000米左右)的情況，我們認(rèn)為位置信息變化不大，無需多次做緩存。因此，傳統(tǒng)的key-value一維緩存因?qū)е麓罅咳哂嗟臄?shù)據(jù)緩存而無法在大數(shù)據(jù)量下發(fā)揮作用。

由此可見，如何在大規(guī)模的數(shù)據(jù)量下實(shí)現(xiàn)大量用戶位置的快速計(jì)算，滿足大數(shù)據(jù)下的實(shí)時(shí)性要求，是本領(lǐng)域技術(shù)人員亟待解決的問題。

發(fā)明內(nèi)容

本發(fā)明的目的是為了克服上述背景技術(shù)的不足，提供一種大數(shù)據(jù)下實(shí)現(xiàn)用戶位置計(jì)算的方法、存儲(chǔ)介質(zhì)、設(shè)備及系統(tǒng)，能在大規(guī)模的數(shù)據(jù)量下實(shí)現(xiàn)大量用戶位置的快速計(jì)算，滿足了大數(shù)據(jù)下的實(shí)時(shí)性要求且不會(huì)導(dǎo)致大量冗余的數(shù)據(jù)緩存。

為達(dá)到以上目的，本發(fā)明采取的技術(shù)方案是：提供一種大數(shù)據(jù)下實(shí)現(xiàn)用戶位置計(jì)算的方法，該方法包括以下步驟：

S1、自定義LBS服務(wù)的搭建：搭建自定義LBS服務(wù)，所述自定義LBS服務(wù)用于：根據(jù)用戶的經(jīng)緯度信息解析出用戶所在的位置信息，該位置信息由行政三級(jí)信息表示，包括用戶所在省、市、縣的三級(jí)信息；并通過對(duì)外服務(wù)接口將搭建好的自定義LBS服務(wù)提供給外部使用；

S2、HBase表的建立：將定期收集的所有用戶的經(jīng)緯度信息導(dǎo)入一個(gè)Hive表中；將Hive表中的每個(gè)經(jīng)緯度信息通過調(diào)用自定義LBS服務(wù)，解析出每個(gè)經(jīng)緯度信息對(duì)應(yīng)的位置信息；將解析出的所有位置信息存入一個(gè)HBase表中，并將每個(gè)位置信息對(duì)應(yīng)的經(jīng)緯度信息作為HBase表的行關(guān)鍵字存儲(chǔ)；再將每個(gè)位置信息對(duì)應(yīng)的經(jīng)緯度信息按照指定的降維規(guī)則進(jìn)行降維，生成對(duì)應(yīng)的降維經(jīng)緯度信息，將降維經(jīng)緯度信息也作為HBase表的行關(guān)鍵字存儲(chǔ)；

S3、基于HBase表的用戶位置計(jì)算：將當(dāng)前HBase表中的數(shù)據(jù)作為基礎(chǔ)數(shù)據(jù)導(dǎo)入到另一個(gè)Hive表中；利用Hive表的并行計(jì)算功能實(shí)現(xiàn)用戶位置的并行計(jì)算。