[發(fā)明專利]基于互聯(lián)網(wǎng)的人才信息定向抓取方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010984080.4
• 申請(qǐng)日: 2020-09-18
• 公開（公告）號(hào): CN112307290A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 張書華;張雪丹
• 申請(qǐng)（專利權(quán)）人: 深圳啟迪生涯科技有限公司
• 主分類號(hào): G06F16/951
• 分類號(hào): G06F16/951;G06F16/9536;G06Q10/10
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于互聯(lián)網(wǎng)的人才信息定向抓取方法，其特征在于：包括以下步驟：

步驟1：抓取配置：將爬蟲分布在實(shí)行抓取操作的主機(jī)上，通過主機(jī)控制爬蟲，設(shè)置單個(gè)或多個(gè)人才網(wǎng)站的抓取配置信息，然后通過主機(jī)控制抓取信息的爬蟲進(jìn)入目標(biāo)人才網(wǎng)站；

步驟2：抓取文本：先根據(jù)抓取配置信息利用各個(gè)人才網(wǎng)站自帶的篩選功能進(jìn)行初步的個(gè)人簡(jiǎn)歷篩選，減少抓取的工作量，然后根據(jù)抓取配置信息從人才網(wǎng)站內(nèi)抓取下載篩選后的文本數(shù)據(jù)，下載的文本數(shù)據(jù)包括網(wǎng)頁文本數(shù)據(jù)、word文本數(shù)據(jù)和PDF文本數(shù)據(jù)；

步驟3：初步篩選：對(duì)抓取下載的文本數(shù)據(jù)進(jìn)行整理和篩選，首先刪除無效的或空白的文本數(shù)據(jù)，接著刪除存在大量信息殘缺的文本數(shù)據(jù)，文本數(shù)據(jù)整理和篩選完成后，保留剩余的文本數(shù)據(jù)，然后將保留下的文本數(shù)據(jù)作為原始文本數(shù)據(jù)儲(chǔ)存至原始數(shù)據(jù)庫；

步驟4：編譯轉(zhuǎn)換：對(duì)原始文本數(shù)據(jù)中的信息進(jìn)行編譯轉(zhuǎn)換，主要是對(duì)原始文本數(shù)據(jù)中的圖片、表格和文字信息等進(jìn)行編譯轉(zhuǎn)換，各種格式的原始文本數(shù)據(jù)需要編譯轉(zhuǎn)換成統(tǒng)一的相關(guān)程序可以識(shí)別的通用文本數(shù)據(jù)，然后將編譯轉(zhuǎn)換后的通用文本數(shù)據(jù)存儲(chǔ)進(jìn)入索引數(shù)據(jù)庫；

步驟5：人才篩選：將專用的篩選器載入索引數(shù)據(jù)庫，使用者可以按照學(xué)歷專業(yè)、職稱、工作經(jīng)歷、掌握技能、年齡等標(biāo)準(zhǔn)在篩選器中進(jìn)行篩選，從而得到相應(yīng)的人才信息。

2.根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的人才信息定向抓取方法，其特征在于：所述在步驟1中，抓取的對(duì)象設(shè)置為應(yīng)聘者發(fā)布的個(gè)人簡(jiǎn)歷，且要求是近一年內(nèi)更新或刷新過的個(gè)人簡(jiǎn)歷。

3.根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的人才信息定向抓取方法，其特征在于：所述在步驟2中，初步篩選以學(xué)歷、技能篩選為主，年齡和工作時(shí)間篩選為輔。

4.根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的人才信息定向抓取方法，其特征在于：所述在步驟2中，抓取下載的文本數(shù)據(jù)以word文本數(shù)據(jù)和PDF文本數(shù)據(jù)最優(yōu)，網(wǎng)頁文本數(shù)據(jù)次之。

5.根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的人才信息定向抓取方法，其特征在于：所述在步驟3中，原始文本數(shù)據(jù)儲(chǔ)存進(jìn)入原始數(shù)據(jù)庫前需要進(jìn)行冗余判斷，刪除數(shù)據(jù)信息重復(fù)的文本數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的人才信息定向抓取方法，其特征在于：所述在步驟4中，先對(duì)儲(chǔ)存進(jìn)入索引數(shù)據(jù)庫的通用文本數(shù)據(jù)按照學(xué)歷進(jìn)行初步分類，形成初步分類集，然后再對(duì)初步分類集內(nèi)部的通用文本數(shù)據(jù)按照技能進(jìn)行再次分類，最后將分類好的信息進(jìn)行儲(chǔ)存。

7.根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的人才信息定向抓取方法，其特征在于：所述在步驟4中，通用文本數(shù)據(jù)便是個(gè)人簡(jiǎn)歷，內(nèi)部信息按照統(tǒng)一的模板進(jìn)行分布，個(gè)人簡(jiǎn)歷編譯轉(zhuǎn)換時(shí)應(yīng)將全部的圖片、表格和文字等信息全部轉(zhuǎn)換。

8.根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的人才信息定向抓取方法，其特征在于：所述在步驟4中，編譯轉(zhuǎn)換后的通用文本數(shù)據(jù)存儲(chǔ)進(jìn)入索引數(shù)據(jù)庫后，對(duì)儲(chǔ)存進(jìn)入索引數(shù)據(jù)庫的通用文本數(shù)據(jù)進(jìn)行冗余判斷，刪除數(shù)據(jù)信息重復(fù)的文本數(shù)據(jù)。

9.根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的人才信息定向抓取方法，其特征在于：所述在步驟4中，索引數(shù)據(jù)庫內(nèi)部的通用文本數(shù)據(jù)與原始數(shù)據(jù)庫內(nèi)部對(duì)應(yīng)的原始文本數(shù)據(jù)進(jìn)行超鏈接，并將超鏈接儲(chǔ)存進(jìn)入通用文本數(shù)據(jù)。

10.根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的人才信息定向抓取方法，其特征在于：所述在步驟5中，還可以將索引數(shù)據(jù)庫內(nèi)部的信息整合成Excel文本，使用者只需啟動(dòng)Excel文本閱讀軟件的篩選功能，便能按照需要進(jìn)行檢索。