[發(fā)明專利]面向行業(yè)領(lǐng)域的同源樣本數(shù)據(jù)分類存儲(chǔ)的預(yù)處理方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710660357.6
• 申請(qǐng)日: 2017-08-04
• 公開（公告）號(hào): CN107612707B
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計(jì)）人: 魏曉林
• 申請(qǐng)（專利權(quán)）人: 深圳市其樂(lè)游戲科技有限公司
• 主分類號(hào): H04L12/24
• 分類號(hào): H04L12/24;G06F16/951;G06F16/953;G06F16/9532;G06F16/955
• 代理公司: 深圳市恒程創(chuàng)新知識(shí)產(chǎn)權(quán)代理有限公司 44542
• 代理人: 趙愛蓉

面向行業(yè)領(lǐng)域的同源樣本數(shù)據(jù)分類存儲(chǔ)的預(yù)處理方法、系統(tǒng)，屬于數(shù)據(jù)處理領(lǐng)域。本發(fā)明方法包括步驟S1，創(chuàng)建包含各行業(yè)領(lǐng)域平臺(tái)字段的關(guān)鍵字集；步驟S2，獲得用戶網(wǎng)絡(luò)內(nèi)所有成員的網(wǎng)絡(luò)行為日志數(shù)據(jù)，對(duì)所述網(wǎng)絡(luò)行為日志數(shù)據(jù)進(jìn)行行業(yè)領(lǐng)域匹配并進(jìn)行行業(yè)領(lǐng)域劃分；步驟S3，根據(jù)經(jīng)過(guò)行業(yè)領(lǐng)域劃分的所述網(wǎng)絡(luò)行為日志數(shù)據(jù)對(duì)所述成員在各個(gè)領(lǐng)域內(nèi)的網(wǎng)絡(luò)行為活動(dòng)進(jìn)行分析，推測(cè)用戶的基本屬性和網(wǎng)絡(luò)行為特性進(jìn)分類儲(chǔ)存，實(shí)現(xiàn)面向行業(yè)領(lǐng)域的同源樣本數(shù)據(jù)分類存儲(chǔ)的預(yù)處理。本發(fā)明實(shí)現(xiàn)同源樣本數(shù)據(jù)在多個(gè)行業(yè)領(lǐng)域的用戶行為日志集，多維度進(jìn)行分類預(yù)處理存儲(chǔ)，為用戶網(wǎng)絡(luò)行為畫像和各用戶之間的關(guān)聯(lián)提供多維度的數(shù)據(jù)依據(jù)，具有重要作用和商業(yè)價(jià)值。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種面向行業(yè)領(lǐng)域的同源樣本數(shù)據(jù)分類存儲(chǔ)的預(yù)處理方法、系統(tǒng)。

背景技術(shù)

互聯(lián)網(wǎng)和云計(jì)算技術(shù)的飛速發(fā)展，促進(jìn)行業(yè)應(yīng)用產(chǎn)生的數(shù)據(jù)呈爆炸性增長(zhǎng)，數(shù)據(jù)量的快速增長(zhǎng)標(biāo)志著人類已經(jīng)從信息時(shí)代步入大數(shù)據(jù)時(shí)代。目前，百度的總數(shù)據(jù)量已超過(guò)1000PB(數(shù)據(jù)存儲(chǔ)單位，1PB＝1024TB)；淘寶累計(jì)的交易數(shù)據(jù)高達(dá)100PB；Twitter(推特)每天發(fā)布超過(guò)2億條消息；新浪微博每天發(fā)帖量達(dá)8000萬(wàn)條。2011年5月，麥肯錫咨詢公司發(fā)布了名為《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)前沿領(lǐng)域》報(bào)告，報(bào)告中表示大數(shù)據(jù)已經(jīng)成為現(xiàn)代社會(huì)必備的生產(chǎn)要素，數(shù)據(jù)與各個(gè)行業(yè)密切相關(guān)，大數(shù)據(jù)將促進(jìn)未來(lái)生產(chǎn)率的提升。

網(wǎng)絡(luò)用戶行為是指用戶在使用網(wǎng)絡(luò)資源時(shí)呈現(xiàn)的規(guī)模性。這通常是通過(guò)對(duì)用戶使用網(wǎng)絡(luò)資源的數(shù)據(jù)進(jìn)行記錄、統(tǒng)計(jì)和分析得出。用戶在使用網(wǎng)絡(luò)資源是，用戶行為可分為信息查詢行為、溝通交流行為、休閑娛樂(lè)行為、電子服務(wù)行為和電子商務(wù)服務(wù)行為等多方面。互聯(lián)網(wǎng)技術(shù)和大數(shù)據(jù)技術(shù)的發(fā)展，使用戶對(duì)網(wǎng)絡(luò)服務(wù)質(zhì)量的要求逐步提升，網(wǎng)絡(luò)服務(wù)提供者提供服務(wù)的方式也逐漸走向科學(xué)，通過(guò)對(duì)網(wǎng)絡(luò)用戶行為的分析和總結(jié)，可以將這些規(guī)律與產(chǎn)品或服務(wù)的經(jīng)營(yíng)策略向結(jié)合，發(fā)現(xiàn)目前經(jīng)營(yíng)服務(wù)中的問(wèn)題，為進(jìn)一步提高服務(wù)質(zhì)量和經(jīng)營(yíng)策略的制定都有非常重要的意義。

發(fā)明專利CN106126113A公開了一種家庭網(wǎng)關(guān)業(yè)務(wù)數(shù)據(jù)分類存儲(chǔ)管理的方法,其具體公開了根據(jù)對(duì)家庭網(wǎng)關(guān)內(nèi)部的數(shù)據(jù)進(jìn)行分類，并存儲(chǔ)在flash(固態(tài)存儲(chǔ)器與動(dòng)畫編輯器)裸分區(qū)；對(duì)各類數(shù)據(jù)的讀寫采用緩存機(jī)制，家庭網(wǎng)關(guān)上電后，根據(jù)加載流程需要某部分?jǐn)?shù)據(jù)時(shí)，將相應(yīng)數(shù)據(jù)從flash裸分區(qū)加載到對(duì)應(yīng)緩存，再?gòu)木彺婕虞d到內(nèi)存；讀時(shí)直接從內(nèi)存獲取，修改時(shí)直接修改緩存和內(nèi)存中的數(shù)據(jù)，修改完成后，再將數(shù)據(jù)從緩存回寫到對(duì)應(yīng)flash裸分區(qū)中。本發(fā)明避免了多次寫flash操作，同時(shí)，每次寫flash時(shí)盡可能控制回寫的區(qū)域范圍，減少對(duì)未修改區(qū)域的重復(fù)寫操作，避免了業(yè)務(wù)數(shù)據(jù)讀寫異常和丟失，節(jié)約了運(yùn)營(yíng)成本。但是，此種方法僅利用了家庭網(wǎng)關(guān)分析內(nèi)部數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行分類以達(dá)到減少用戶操作的過(guò)程，沒有利用好大量家庭數(shù)據(jù)進(jìn)行分析后輔助用戶進(jìn)行更好的生活工作。

發(fā)明專利CN105426478A公開了一種用戶行為分析的方法，提供一種用戶行為分析的方法，獲取用戶行為數(shù)據(jù)，并對(duì)用戶進(jìn)行分析，將分析結(jié)果展示給商家。本方法包括：采集用戶的行為數(shù)據(jù)，并上傳給數(shù)據(jù)處理系統(tǒng)；數(shù)據(jù)處理系統(tǒng)對(duì)上傳的行為數(shù)據(jù)進(jìn)行處理；周期性地從數(shù)據(jù)處理系統(tǒng)中抽取數(shù)據(jù)，并存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)；依據(jù)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中的存儲(chǔ)數(shù)據(jù)確定用戶的行為分析維度，并依據(jù)所述行為分析維度在數(shù)據(jù)庫(kù)管理系統(tǒng)中建立數(shù)據(jù)庫(kù)模型；從數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中抽取出目標(biāo)數(shù)據(jù)，對(duì)目標(biāo)數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，將清洗和轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行匯總分析，并將匯總分析后的結(jié)果數(shù)據(jù)加載到數(shù)據(jù)庫(kù)管理系統(tǒng)的對(duì)應(yīng)數(shù)據(jù)表中；將所述結(jié)果數(shù)據(jù)進(jìn)行各類圖形展示。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)存在的問(wèn)題，提出了面向行業(yè)領(lǐng)域的同源樣本數(shù)據(jù)分類存儲(chǔ)的預(yù)處理方法、系統(tǒng)。