[發明專利]獲取房源數據方法、裝置、設備及可讀存儲介質

在審

• 申請號: 201810099832.1
• 申請日: 2018-01-31
• 公開（公告）號: CN108197312A
• 公開（公告）日: 2018-06-22
• 發明（設計）人: 王嘉裕;韋柏松;徐蓓;侯斯靚;胡辰;高月;田磊;胡海亮;馬皓;李振增;田麗珍;張弼;鮑捷;陶茂
• 申請（專利權）人: 平安好房（上海）電子商務有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種獲取房源數據方法，其特征在于，所述方法包括以下步驟：

啟動房源系統中添加的數據采集器，根據接收到的房源爬取條件，選取需要爬取的房源數據并進行采集；

根據接收到的測試指令，測試采集到的房源數據是否為接收到的房源爬取條件所對應的房源數據；

若采集到的房源數據為接收到的房源爬取條件所對應的房源數據，則根據接收到的下載指令下載所述房源數據，從而獲得房源數據；

對爬取得到的房源數據進行數據清洗，并將清洗成功的房源數據按照聚合規則進行聚合。

2.如權利要求1所述的獲取房源數據方法，其特征在于，所述啟動房源系統中添加的數據采集器，根據接收到的房源爬取條件，選取需要爬取的房源數據并進行采集的步驟之前，還包括：

根據接收到的訪問指令進入獲取房源數據的網站，并根據接收到的模式選擇指令進入獲取房源數據的模式。

3.如權利要求2所述的獲取房源數據方法，其特征在于，所述根據接收到的訪問指令進入獲取房源數據的網站，并根據接收到的模式選擇指令進入獲取房源數據的模式的步驟之后，還包括

將啟動房源系統中添加的數據采集器，及采集房源數據的信息發送至獲取房源數據的網站；

在獲得啟動房源系統中添加的數據采集器，及采集房源數據的權限之后，啟動房源系統中添加的數據采集器。

4.如權利要求1所述的獲取房源數據方法，其特征在于，所述對爬取得到的房源數據進行數據清洗的步驟包括：

對爬取到的房源數據進行一致性檢查，識別超出標準值的房源數據；

將所述超出標準值的房源數據返回至獲取房源數據的網站進行驗證；

將驗證失敗的房源數據進行刪除。

5.如權利要求4所述的獲取房源數據方法，其特征在于，所述將驗證失敗的房源數據進行刪除的步驟之后，還包括：

對刪除驗證失敗的房源數據之后的房源數據進行估算、整例刪除、變量刪除和成對刪除處理；

將處理失敗的房源數據進行刪除，獲得清洗之后的房源數據。

6.如權利要求1所述的獲取房源數據方法，其特征在于，所述將清洗成功的房源數據按照聚合規則進行聚合的步驟包括：

提取清洗成功的待聚合房源數據，根據所述待聚合房源數據中的地址信息將待聚合房源數據進行分組；

提取分組后的待聚合房源數據中的房源渠道，以及各個房源渠道的優先級；

提取優先級最高的待聚合房源作為核心房源，其余房源作為附屬房源，并將所述核心房源及附屬房源的房源數據進行聚合；

將聚合得到的房源數據以預設方式進行展示。

7.如權利要求1-6任一項所述的獲取房源數據方法，其特征在于，所述對爬取得到的房源數據進行數據清洗，并將清洗成功的房源數據按照聚合規則進行聚合的步驟之后，還包括：

當接收到用戶的搜索條件時，根據用戶的搜索條件查找聚合房源數據、核心房源數據及附屬房源數據；

將查找到的聚合房源數據、核心房源數據及附屬房源數據進行展示。

8.一種獲取房源數據裝置，其特征在于，所述裝置包括：

選取模塊，用于啟動房源系統中添加的數據采集器，根據接收到的房源爬取條件，選取需要爬取的房源數據并進行采集；

測試模塊，用于根據接收到的測試指令，測試采集到的房源數據是否為接收到的房源爬取條件所對應的房源數據；

下載模塊，用于若采集到的房源數據為接收到的房源爬取條件所對應的房源數據，則根據接收到的下載指令下載所述房源數據，從而獲得房源數據；

清洗模塊，用于對爬取得到的房源數據進行數據清洗，并將清洗成功的房源數據按照聚合規則進行聚合。

9.一種獲取房源數據設備，其特征在于，所述獲取房源數據設備包括獲取房源數據程序，所述獲取房源數據程序被所述獲取房源數據設備執行時實現如權利要求1至7中任一項所述的獲取房源數據方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有獲取房源數據程序，所述獲取房源數據程序被處理器執行時實現如權利要求1至7中任一項所述的獲取房源數據方法的步驟。