[發(fā)明專利]清洗房價數(shù)據(jù)的方法、裝置、計算機設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201810955918.X
• 申請日: 2018-08-21
• 公開（公告）號: CN109299081A
• 公開（公告）日: 2019-02-01
• 發(fā)明（設(shè)計）人: 王先鋒
• 申請（專利權(quán)）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/953;G06Q50/16
• 代理公司: 深圳市明日今典知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44343
• 代理人: 王杰輝

1.一種清洗房價數(shù)據(jù)的方法，其特征在于，包括：

獲取初始房價數(shù)據(jù)；

當所述初始房價數(shù)據(jù)中具有順序錯位的字段，對所述初始房價數(shù)據(jù)中字段的順序進行調(diào)整處理以得到字段順序正確的第一房價數(shù)據(jù)；

當所述第一房價數(shù)據(jù)缺少字段，對所述第一房價數(shù)據(jù)進行補缺處理以得到字段完整的第二房價數(shù)據(jù)；

當所述第二房價數(shù)據(jù)具有無效或重復字符，對所述第二房價數(shù)據(jù)進行剔除無效或重復字符的去噪處理以得到第三房價數(shù)據(jù)；

當所述第三房價數(shù)據(jù)包含重復多余的記錄，對所述第三房價數(shù)據(jù)進行去除重復多余記錄的去重處理以得到標準房價數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的清洗房價數(shù)據(jù)的方法，其特征在于，所述對所述初始房價數(shù)據(jù)中字段的順序進行調(diào)整處理以得到第一房價數(shù)據(jù)的步驟，包括：

讀取所述初始房價數(shù)據(jù)中每條記錄的字段；

判斷所述字段的格式是否與預設(shè)字段格式匹配；

若所述字段的格式與預設(shè)字段格式不匹配，則判斷所述字段里是否包含預設(shè)字段格式中的關(guān)鍵字段；

若是，則根據(jù)所述預設(shè)字段格式中的關(guān)鍵字段的順序?qū)λ鲎侄芜M行順序調(diào)整，以得到第一房價數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的清洗房價數(shù)據(jù)的方法，其特征在于，所述對所述第一房價數(shù)據(jù)進行補缺處理以得到字段完整的第二房價數(shù)據(jù)的步驟，包括：

讀取所述第一房價數(shù)據(jù)中每條記錄的字段；

根據(jù)所述預設(shè)字段格式與所述每條記錄的字段的匹配結(jié)果或所述記錄中字段之間的關(guān)聯(lián)關(guān)系判斷是否缺少字段；

若是，則在預設(shè)表格中查找所述第一房價數(shù)據(jù)中的缺失字段；

將所述缺失字段填補至所述缺失字段的位置，以得到所述第二房價數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的清洗房價數(shù)據(jù)的方法，其特征在于，所述對所述第二房價數(shù)據(jù)進行剔除無效或重復字符的去噪處理以得到第三房價數(shù)據(jù)的步驟之后，包括：

對所述第三房價數(shù)據(jù)中的房價單位通過換算處理，以形成統(tǒng)一的房價單位。

5.根據(jù)權(quán)利要求1所述的清洗房價數(shù)據(jù)的方法，其特征在于，所述對所述第三房價數(shù)據(jù)進行去除重復多余記錄的去重處理以得到標準房價數(shù)據(jù)的步驟，包括：

將所述第三房價數(shù)據(jù)中的每條記錄依據(jù)預設(shè)的核心字段進行分組；

將所述分組里的各記錄的非核心字段進行剔除以得到多個具有相同核心字段的記錄，所述非核心字段為除卻所述預設(shè)的核心字段之外的字段；

將多個所述具有相同核心字段的記錄進行刪除以得到只剩一條具有核心字段記錄的標準房價數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的清洗房價數(shù)據(jù)的方法，其特征在于，所述獲取初始房價數(shù)據(jù)的步驟，包括：

通過爬蟲工具爬取房產(chǎn)網(wǎng)站中的頁面數(shù)據(jù)；

在所述頁面數(shù)據(jù)中查找所述初始房價數(shù)據(jù)，并獲得所述初始房價數(shù)據(jù)。

7.根據(jù)權(quán)利要求1所述的清洗房價數(shù)據(jù)的方法，其特征在于，所述對所述第三房價數(shù)據(jù)進行去除重復多余記錄的去重處理以得到標準房價數(shù)據(jù)的步驟之后，包括：

依據(jù)所述標準房價數(shù)據(jù)獲取房價；

將所述房價按預設(shè)規(guī)則計算得到平均房價。

8.一種清洗房價數(shù)據(jù)的裝置，其特征在于，包括：

第一獲取模塊，用于獲取初始房價數(shù)據(jù)；

第一處理模塊，用于當所述初始房價數(shù)據(jù)中具有順序錯位的字段，對所述初始房價數(shù)據(jù)中字段順序進行調(diào)整處理以得到字段順序正確的第一房價數(shù)據(jù)；

第二處理模塊，用于當所述第一房價數(shù)據(jù)缺少字段，對所述第一房價數(shù)據(jù)進行補缺處理以得到字段完整的第二房價數(shù)據(jù)；

第三處理模塊，用于當所述第二房價數(shù)據(jù)具有無效或重復字符，對所述第二房價數(shù)據(jù)進行剔除無效或重復字符的去噪處理以得到第三房價數(shù)據(jù)；

第四處理模塊，用于當所述第三房價數(shù)據(jù)包含重復多余的記錄，對所述第三房價數(shù)據(jù)進行去除重復多余記錄的去重處理以得到標準房價數(shù)據(jù)。