[發(fā)明專利]文本數(shù)據(jù)的處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810824240.1
• 申請(qǐng)日: 2018-07-25
• 公開(kāi)（公告）號(hào): CN110851400B
• 公開(kāi)（公告）日: 2023-01-17
• 發(fā)明（設(shè)計(jì)）人: 林剛
• 申請(qǐng)（專利權(quán)）人: 北京國(guó)雙科技有限公司
• 主分類號(hào): G06F16/16
• 分類號(hào): G06F16/16;G06F16/11
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 李偉;王寶筠

本發(fā)明屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，公開(kāi)了一種一種文本數(shù)據(jù)的處理方法及裝置，文本數(shù)據(jù)的處理方法，應(yīng)用于服務(wù)器，所述方法通過(guò)接收客戶端發(fā)送的文本數(shù)據(jù)文件；自動(dòng)將所述文本數(shù)據(jù)文件中數(shù)目最多的空白符號(hào)或標(biāo)點(diǎn)符號(hào)確定為數(shù)據(jù)分隔符；并根據(jù)所述數(shù)據(jù)分隔符對(duì)所述文本數(shù)據(jù)文件中的內(nèi)容進(jìn)行列名解析，得到包括列名、該列名對(duì)應(yīng)的列屬性以及該列名對(duì)應(yīng)的列數(shù)據(jù)的解析結(jié)果；最終依據(jù)所述解析結(jié)果中的所述列名、列屬性以及列數(shù)據(jù)生成目標(biāo)數(shù)據(jù)表。因此，實(shí)現(xiàn)了服務(wù)器中文本數(shù)據(jù)的全自動(dòng)解析和全自動(dòng)數(shù)據(jù)庫(kù)錄入，極大提高了運(yùn)算效率和工作效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種文本數(shù)據(jù)的處理方法及裝置。

背景技術(shù)

隨著大數(shù)據(jù)和人工智能技術(shù)的不斷發(fā)展，用來(lái)執(zhí)行大數(shù)據(jù)分析的數(shù)據(jù)分析系統(tǒng)以及用來(lái)實(shí)現(xiàn)人工智能功能的機(jī)器學(xué)習(xí)系統(tǒng)等相關(guān)系統(tǒng)的應(yīng)用也越來(lái)越廣泛。

在使用機(jī)器學(xué)習(xí)等系統(tǒng)時(shí)，需要將基礎(chǔ)數(shù)據(jù)保存在系統(tǒng)的數(shù)據(jù)庫(kù)中，將錄入了基礎(chǔ)數(shù)據(jù)的數(shù)據(jù)庫(kù)作為系統(tǒng)的數(shù)據(jù)源使用。

其中，基礎(chǔ)數(shù)據(jù)通常采用文本數(shù)據(jù)文件的形式，由用戶將文本數(shù)據(jù)文件上傳到系統(tǒng)服務(wù)器，然后人工分析文本數(shù)據(jù)文件，然后在數(shù)據(jù)庫(kù)中建立與之匹配的數(shù)據(jù)表，完成基礎(chǔ)數(shù)據(jù)的錄入。

但是，現(xiàn)有技術(shù)中對(duì)文本數(shù)據(jù)文件的解析方式以及錄入數(shù)據(jù)庫(kù)的方式是采用的是人工進(jìn)行分析文本數(shù)據(jù)后人工錄入數(shù)據(jù)庫(kù)的方式，此種方式費(fèi)時(shí)費(fèi)力，效率極低，當(dāng)基礎(chǔ)數(shù)據(jù)較多時(shí)，無(wú)法達(dá)到用戶的使用需求。

發(fā)明內(nèi)容

鑒于上述問(wèn)題，提出了本發(fā)明以便提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的文本數(shù)據(jù)的處理方法以及相關(guān)裝置，以實(shí)現(xiàn)對(duì)文本數(shù)據(jù)的自動(dòng)解析和自動(dòng)錄入，提高工作效率。

借由上述技術(shù)方案，本發(fā)明提供了一種文本數(shù)據(jù)的處理方法，應(yīng)用于服務(wù)器，所述方法包括:

接收客戶端發(fā)送的文本數(shù)據(jù)文件；

將所述文本數(shù)據(jù)文件中數(shù)目最多的空白符號(hào)或標(biāo)點(diǎn)符號(hào)確定為數(shù)據(jù)分隔符；

根據(jù)所述數(shù)據(jù)分隔符對(duì)所述文本數(shù)據(jù)文件中的內(nèi)容進(jìn)行列名解析，得到包括列名、該列名對(duì)應(yīng)的列屬性以及該列名對(duì)應(yīng)的列數(shù)據(jù)的解析結(jié)果；

依據(jù)所述解析結(jié)果中的所述列名、列屬性以及列數(shù)據(jù)生成目標(biāo)數(shù)據(jù)表。

優(yōu)選的，所述確定所述文本數(shù)據(jù)文件中數(shù)目最多的特殊字符確定為數(shù)據(jù)分隔符之前，所述處理方法包括：

使用二進(jìn)制模式打開(kāi)所述文本數(shù)據(jù)文件；

在所述二進(jìn)制模式下選取所述文本數(shù)據(jù)文件中預(yù)設(shè)個(gè)數(shù)的字符；

提取所述預(yù)設(shè)個(gè)數(shù)的字符的特征值；

將所述特征值對(duì)應(yīng)的編碼格式確定為所述文本數(shù)據(jù)文件的編碼格式；

根據(jù)所述文本數(shù)據(jù)文件的編碼格式打開(kāi)所述文本數(shù)據(jù)文件。

優(yōu)選的，所述接收客戶端發(fā)送的文本數(shù)據(jù)文件后，所述處理方法還包括：

將對(duì)應(yīng)信息保存在數(shù)據(jù)源表中，所述對(duì)應(yīng)信息用于表征客戶端的客戶端標(biāo)識(shí)和文本數(shù)據(jù)文件的文本標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系。

優(yōu)選的，所述依據(jù)所述解析結(jié)果中的所述列名、列屬性以及列數(shù)據(jù)生成目標(biāo)數(shù)據(jù)表包括：

將所述列名確定為需要?jiǎng)?chuàng)建的數(shù)據(jù)表的列名、將以及該列名對(duì)應(yīng)的列屬性確定為需要?jiǎng)?chuàng)建的數(shù)據(jù)表的列屬性創(chuàng)建空的數(shù)據(jù)表；其中，所述空的數(shù)據(jù)表的數(shù)據(jù)表名為隨機(jī)生成的字符串；

將所述列名對(duì)應(yīng)的列數(shù)據(jù)插入到所述空的數(shù)據(jù)表中生成目標(biāo)數(shù)據(jù)表。

優(yōu)選的，還包括：

將所述數(shù)據(jù)表名插入到所述對(duì)應(yīng)信息所在數(shù)據(jù)源表中的位置。