[發(fā)明專利]數(shù)據(jù)應(yīng)用方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201911354623.8
• 申請(qǐng)日: 2019-12-24
• 公開（公告）號(hào): CN111125345A
• 公開（公告）日: 2020-05-08
• 發(fā)明（設(shè)計(jì)）人: 王雨晨
• 申請(qǐng)（專利權(quán)）人: 南京三百云信息科技有限公司
• 主分類號(hào): G06F16/335
• 分類號(hào): G06F16/335;G06F16/903;G06F40/151
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 張萌

本發(fā)明提供了一種數(shù)據(jù)應(yīng)用方法和裝置，涉及數(shù)據(jù)應(yīng)用的技術(shù)領(lǐng)域，包括識(shí)別待應(yīng)用數(shù)據(jù)的數(shù)據(jù)格式，根據(jù)數(shù)據(jù)格式確定預(yù)處理器，預(yù)處理器與數(shù)據(jù)格式相對(duì)應(yīng)，數(shù)據(jù)格式包括可讀文本信息、結(jié)構(gòu)化文本信息和二進(jìn)制格式信息；通過預(yù)處理器對(duì)待應(yīng)用數(shù)據(jù)進(jìn)行信息篩選，確定篩選后的數(shù)據(jù)信息對(duì)應(yīng)的類別標(biāo)簽，并將篩選后的數(shù)據(jù)信息進(jìn)行格式轉(zhuǎn)換為通用文字信息；將通用文字信息輸入數(shù)據(jù)處理鏈，得到滿足業(yè)務(wù)需求的數(shù)據(jù)信息，數(shù)據(jù)處理鏈中包括業(yè)務(wù)處理邏輯，通過對(duì)大量數(shù)據(jù)進(jìn)行預(yù)處理操作，便于對(duì)數(shù)據(jù)進(jìn)行接收處理和分類應(yīng)用，從而便于業(yè)務(wù)操作的展開。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)應(yīng)用技術(shù)領(lǐng)域，尤其是涉及一種數(shù)據(jù)應(yīng)用方法和裝置。

背景技術(shù)

對(duì)于如互聯(lián)網(wǎng)二手車公司這種每天都會(huì)接收并處理大量數(shù)據(jù)的公司來說，數(shù)據(jù)的處理效率，業(yè)務(wù)運(yùn)營(yíng)效率，數(shù)據(jù)質(zhì)量都難以保證，無法利用該待處理數(shù)據(jù)進(jìn)行相關(guān)的業(yè)務(wù)操作，而且上述數(shù)據(jù)難以分階段進(jìn)行回溯，嚴(yán)重影響了公司的正常運(yùn)營(yíng)。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供數(shù)據(jù)應(yīng)用方法和裝置，通過對(duì)大量數(shù)據(jù)根據(jù)數(shù)據(jù)格式進(jìn)行篩選、分類、格式轉(zhuǎn)換的預(yù)處理操作，實(shí)現(xiàn)處理后的數(shù)據(jù)更貼近業(yè)務(wù)場(chǎng)景的目的，從而便于業(yè)務(wù)操作的展開。

第一方面，實(shí)施例提供一種數(shù)據(jù)應(yīng)用方法，包括：

識(shí)別待應(yīng)用數(shù)據(jù)的數(shù)據(jù)格式，根據(jù)所述數(shù)據(jù)格式確定預(yù)處理器，所述預(yù)處理器與所述數(shù)據(jù)格式相對(duì)應(yīng)，所述數(shù)據(jù)格式包括可讀文本信息、結(jié)構(gòu)化文本信息和二進(jìn)制格式信息；

通過所述預(yù)處理器對(duì)所述待應(yīng)用數(shù)據(jù)進(jìn)行信息篩選，確定篩選后的數(shù)據(jù)信息對(duì)應(yīng)的類別標(biāo)簽，并將所述篩選后的數(shù)據(jù)信息進(jìn)行格式轉(zhuǎn)換為通用文字信息；

將所述通用文字信息輸入數(shù)據(jù)處理鏈，得到滿足業(yè)務(wù)需求的數(shù)據(jù)信息，所述數(shù)據(jù)處理鏈中包括業(yè)務(wù)處理邏輯。

在可選的實(shí)施方式中，通過所述預(yù)處理器對(duì)所述待應(yīng)用數(shù)據(jù)進(jìn)行信息篩選的步驟，包括：

通過預(yù)處理器將所述可讀文本信息與字符串進(jìn)行匹配，篩選出匹配成功的可讀文本信息；

通過預(yù)處理器將所述結(jié)構(gòu)化文本信息中與預(yù)設(shè)文檔對(duì)象模型DOM結(jié)構(gòu)進(jìn)行匹配，過濾出匹配成功的結(jié)構(gòu)化文本信息；

通過預(yù)處理器對(duì)所述可讀文本信息進(jìn)行語義識(shí)別，篩選出與預(yù)設(shè)主題相關(guān)的可讀文本信息。

在可選的實(shí)施方式中，所述數(shù)據(jù)處理鏈中包括用于對(duì)所述通用文字信息進(jìn)行細(xì)化的前置處理器，在將所述通用文字信息輸入數(shù)據(jù)處理鏈的步驟之后，還包括：

將所述通用文字信息中的信息相關(guān)性不符合預(yù)設(shè)要求的信息進(jìn)行過濾；

將過濾后的通用文字信息的細(xì)化格式進(jìn)行規(guī)整，所述細(xì)化格式包括時(shí)間格式、數(shù)字格式、文本標(biāo)點(diǎn)格式中的一種或多種；

將規(guī)整后的通用文字信息進(jìn)行分詞處理，并通過分詞算法得到特征值，根據(jù)所述特征值在特征值詞庫(kù)中提取相似信息，根據(jù)所述相似信息的比對(duì)情況計(jì)算相似度，將所述相似度達(dá)到相似度閾值以上的通用文字信息進(jìn)行過濾，得到細(xì)化處理數(shù)據(jù)。

在可選的實(shí)施方式中，所述數(shù)據(jù)處理鏈中包括至少一個(gè)處理器，通過每個(gè)所述處理器中的持久化組件對(duì)細(xì)化處理數(shù)據(jù)進(jìn)行持久化處理，得到新生數(shù)據(jù)。

在可選的實(shí)施方式中，所述方法還包括：

將各個(gè)所述處理器得到的細(xì)化處理數(shù)據(jù)以及對(duì)應(yīng)的新生數(shù)據(jù)形成血緣關(guān)系網(wǎng)絡(luò)，并進(jìn)行存儲(chǔ)。

在可選的實(shí)施方式中，所述數(shù)據(jù)格式還包括圖片信息和語音信息，所述方法還包括：

通過預(yù)處理器對(duì)所述圖片信息進(jìn)行相關(guān)性檢測(cè)，將不相關(guān)的圖片信息進(jìn)行過濾，將相關(guān)的圖片信息進(jìn)行特征識(shí)別操作，將所述相關(guān)的圖片信息轉(zhuǎn)化為可讀文本信息；