[發(fā)明專利]一種數(shù)據(jù)需求滿足方法

有效

• 申請?zhí)枺?/td>: 201810420145.5
• 申請日: 2018-05-04
• 公開（公告）號: CN108846014B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計(jì)）人: 崔占華;左曉棟;王石;楊晨;張弛;劉雨桁;周亞超
• 申請（專利權(quán)）人: 中國信息安全研究院有限公司
• 主分類號: G06F16/9035
• 分類號: G06F16/9035;G06F16/906;G06F16/9535
• 代理公司: 北京安博達(dá)知識產(chǎn)權(quán)代理有限公司 11271
• 代理人: 徐國文

本發(fā)明涉及一種數(shù)據(jù)需求滿足方法，所述方法包括：S1：對數(shù)據(jù)需求進(jìn)行分析以獲取所述數(shù)據(jù)需求的分類；S2：基于所述數(shù)據(jù)需求的分類確定進(jìn)行數(shù)據(jù)獲取的數(shù)據(jù)源；S3：從所述數(shù)據(jù)源獲取所需要的數(shù)據(jù)。本發(fā)明能夠?qū)?shù)據(jù)需求進(jìn)行多個(gè)層次的分析以獲取所述數(shù)據(jù)需求的分類，基于所述分類來挑選進(jìn)行數(shù)據(jù)獲取的獲取源，使得容易挑選出和主題密切相關(guān)的數(shù)據(jù)，大大的提高了精準(zhǔn)度。

【技術(shù)領(lǐng)域】

本發(fā)明屬于數(shù)據(jù)分析領(lǐng)域，尤其涉及一種數(shù)據(jù)需求滿足方法。

【背景技術(shù)】

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，大數(shù)據(jù)的應(yīng)用越來越多。在大數(shù)據(jù)場景下，數(shù)據(jù)采集的需求逐漸增加。在現(xiàn)有技術(shù)中，當(dāng)需要某種主題的數(shù)據(jù)時(shí)，多是通過非定向爬蟲從互聯(lián)網(wǎng)中獲取海量數(shù)據(jù)，然后以獲取到的海量數(shù)據(jù)為基礎(chǔ)，通過復(fù)雜的數(shù)據(jù)匹配算法，篩選出與主題相關(guān)的數(shù)據(jù)。這種方法存在一定的缺點(diǎn)，基礎(chǔ)數(shù)據(jù)的數(shù)據(jù)量太大，非相關(guān)數(shù)據(jù)占比較高，往往很難正確挑選出與主題密切相關(guān)的數(shù)據(jù)，精準(zhǔn)度較低。在大數(shù)據(jù)時(shí)代，呈現(xiàn)的數(shù)據(jù)價(jià)值密度較低。基于上述諸多問題，現(xiàn)在亟需一種新的數(shù)據(jù)需求滿足方法，本發(fā)明能夠?qū)?shù)據(jù)需求進(jìn)行多個(gè)層次的分析以獲取所述數(shù)據(jù)需求的分類，基于所述分類來挑選進(jìn)行數(shù)據(jù)獲取的獲取源，使得容易挑選出和主題密切相關(guān)的數(shù)據(jù)，大大的提高了精準(zhǔn)度。

【發(fā)明內(nèi)容】

為了解決現(xiàn)有技術(shù)中的上述問題，本發(fā)明提出了一種數(shù)據(jù)需求滿足方法，該方法包括如下步驟：

S1：對數(shù)據(jù)需求進(jìn)行分析以獲取所述數(shù)據(jù)需求的分類；

S2：基于所述數(shù)據(jù)需求的分類確定進(jìn)行數(shù)據(jù)獲取的數(shù)據(jù)源；

S3：從所述數(shù)據(jù)源獲取所需要的數(shù)據(jù)。

進(jìn)一步的，所述步驟S1具體為，將數(shù)據(jù)需求進(jìn)行初級劃分以獲取初級需求元素，基于所述初級需求元素獲取所述數(shù)據(jù)需求的初級分類；將所述數(shù)據(jù)需求和歷史數(shù)據(jù)需求作比較以獲取所述數(shù)據(jù)需求的高級分類；基于所述初級分類和高級分類確定所述數(shù)據(jù)需求的分類。

進(jìn)一步的，所述將數(shù)據(jù)需求進(jìn)行初級劃分以獲取初級需求元素，具體為：將所述數(shù)據(jù)需求按照最小劃分原則劃分成一個(gè)或者多個(gè)初級需求元素。

進(jìn)一步的，所述按照最小劃分原則劃分，具體為：所述數(shù)據(jù)需求為需求語句，將所述需求語句劃分成多一個(gè)或多個(gè)關(guān)鍵詞，并剔除所述需求語句中的語氣詞和承接詞；并將所述關(guān)鍵詞作為初級需求元素。

進(jìn)一步的，所述基于所述初級需求元素獲取所述數(shù)據(jù)需求的初級分類，具體為：分別確定所有初級需求元素對應(yīng)的初級分類，獲取對應(yīng)初級需求元素最多的初級分類作為所述數(shù)據(jù)需求的初級分類。

進(jìn)一步的，每個(gè)初級需求元素都有其對應(yīng)的初級分類。

進(jìn)一步的，所述將所述數(shù)據(jù)需求和歷史數(shù)據(jù)需求作比較以獲取所述數(shù)據(jù)需求的高級分類，具體為：計(jì)算所述數(shù)據(jù)需求和每個(gè)歷史數(shù)據(jù)需求之間的相似度，當(dāng)所述相似度大于等于第一相似度閾值時(shí)，將所述歷史數(shù)據(jù)需求的分類作為所述數(shù)據(jù)需求的高級分類。

進(jìn)一步的，所述計(jì)算所述數(shù)據(jù)需求和每個(gè)歷史數(shù)據(jù)需求之間的相似度，具體為：獲取所述數(shù)據(jù)需求和所述每個(gè)歷史數(shù)據(jù)需求之間包含相同的字的個(gè)數(shù)N，獲取所述數(shù)據(jù)需求的長度L1和所述每個(gè)歷史數(shù)據(jù)需求的長度L2，基于下式計(jì)算所述相似度SIM；SIM＝N/(1+(L2-L1)²)。

進(jìn)一步的，所述基于所述初級分類和高級分類確定所述數(shù)據(jù)需求的分類，具體為：將所述歷史數(shù)據(jù)需求按照出現(xiàn)次數(shù)從大到小排序，獲取所述初級分類和高級分類在所述排序中的位置，將所述初級分類和高級分類中排序位置靠前的分類作為所述數(shù)據(jù)需求的分類。

本發(fā)明的有益效果包括：能夠?qū)?shù)據(jù)需求進(jìn)行多個(gè)層次的分析以獲取所述數(shù)據(jù)需求的分類，基于所述分類來挑選進(jìn)行數(shù)據(jù)獲取的獲取源，使得容易挑選出和主題密切相關(guān)的數(shù)據(jù)，大大的提高了精準(zhǔn)度。

【附圖說明】