[發(fā)明專利]一種基于大數(shù)據(jù)及人工智能的數(shù)據(jù)處理方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110587083.9
• 申請日: 2021-05-27
• 公開（公告）號(hào): CN113297488A
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 黃海;馬洪偉;吳霖瑞;張居正;謝昊巖
• 申請（專利權(quán)）人: 許昌學(xué)院
• 主分類號(hào): G06F16/9535
• 分類號(hào): G06F16/9535;G06F16/335;G06F16/36;G06F21/32;G06F21/62
• 代理公司: 合肥市科融知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 34126
• 代理人: 劉威威

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體公開了一種基于大數(shù)據(jù)及人工智能的數(shù)據(jù)處理方法及系統(tǒng)，所述系統(tǒng)包括身份確認(rèn)單元、詞條獲取單元、詞條篩選單元、內(nèi)容識(shí)別單元和詞條更新單元；所述詞條篩選單元，用于獲取預(yù)計(jì)詞條數(shù)，對所述待檢詞條進(jìn)行文本預(yù)篩選，基于預(yù)計(jì)詞條數(shù)和篩選結(jié)果生成有效詞條表；所述內(nèi)容識(shí)別單元用于基于所述有效詞條表訪問對應(yīng)網(wǎng)址，并對相應(yīng)的網(wǎng)址內(nèi)容進(jìn)行內(nèi)容識(shí)別。本發(fā)明是在搜索引擎給出反饋的基礎(chǔ)上進(jìn)行工作的，通過對所述待檢詞條進(jìn)行文本預(yù)篩選，篩掉一些用戶不想看到的內(nèi)容，通過對相應(yīng)的網(wǎng)址內(nèi)容進(jìn)行內(nèi)容識(shí)別，進(jìn)一步過濾掉不合適的內(nèi)容，最終將最有用的價(jià)值呈現(xiàn)在用戶面前，過濾效果極佳。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體是一種基于大數(shù)據(jù)及人工智能的數(shù)據(jù)處理方法及系統(tǒng)。

背景技術(shù)

隨著科技的發(fā)展以及社會(huì)的進(jìn)步，人們必需要不斷的學(xué)習(xí)才能適應(yīng)社會(huì)，更好的生活；在多年以前，學(xué)習(xí)的方式主要是通過書籍，而在現(xiàn)在的時(shí)代，學(xué)習(xí)的方式大都離不開互聯(lián)網(wǎng)，尤其是一些即時(shí)性的知識(shí)，大家往往會(huì)通過一些搜索引擎進(jìn)行搜索，在互聯(lián)網(wǎng)剛普及的年代，搜索引擎的質(zhì)量非常高，只要鍵入關(guān)鍵字，很容易就能獲取想要得到的信息，但是，隨著流量時(shí)代的到達(dá)，搜索內(nèi)容逐漸的變成了以廣告為主體的內(nèi)容，這使得大家非常反感。

當(dāng)然，很多搜索引擎的開發(fā)商也注意到了這一情況，它們往往會(huì)想辦法避開無效信息，但由于廣告的收益實(shí)在太大，像一些垃圾域名總能通過一些違法的方式去占據(jù)頭條內(nèi)容，現(xiàn)有的解決辦法是，對不同信息進(jìn)行分類，比如，在廣告詞條上插入廣告標(biāo)簽，在我們的日常使用中可以了解，這些廣告標(biāo)簽大都是很不顯眼的，盡管有些搜索引擎能夠給出顯眼的標(biāo)簽同，但實(shí)際上，它還是占據(jù)著那些屬于有用信息的位置，讓人非常反感。

因此，設(shè)計(jì)一種對這些搜索內(nèi)容進(jìn)行處理的系統(tǒng)，提高搜索效率，是很有意義的。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于大數(shù)據(jù)及人工智能的數(shù)據(jù)處理方法及系統(tǒng)，以解決上述背景技術(shù)中提出的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于大數(shù)據(jù)及人工智能的數(shù)據(jù)處理方法，所述方法包括：

接收用戶查詢請求，驗(yàn)證用戶身份，基于驗(yàn)證結(jié)果開放內(nèi)容輸入端口，獲取所述查詢內(nèi)容，并建立與搜索引擎的連接通道；

將所述查詢內(nèi)容向搜索引擎發(fā)送，接收搜索引擎返回的詞條信息，并基于搜索引擎默認(rèn)順序生成待檢詞條庫；

獲取預(yù)計(jì)詞條數(shù)，對所述待檢詞條進(jìn)行文本預(yù)篩選，基于預(yù)計(jì)詞條數(shù)和篩選結(jié)果生成有效詞條表；

基于所述有效詞條表訪問對應(yīng)網(wǎng)址，并對相應(yīng)的網(wǎng)址內(nèi)容進(jìn)行內(nèi)容識(shí)別；

基于內(nèi)容識(shí)別結(jié)果更新有效詞條表，并向用戶顯示。

作為本發(fā)明技術(shù)方案進(jìn)一步的限定：所述接收用戶查詢請求，驗(yàn)證用戶身份，基于驗(yàn)證結(jié)果開放內(nèi)容輸入端口，獲取所述查詢內(nèi)容，并建立與搜索引擎的連接通道的步驟包括：

獲取用戶的賬號(hào)信息，并判斷賬號(hào)信息正誤；

若賬號(hào)信息正確，則開放內(nèi)容輸入端口；

若賬號(hào)信息錯(cuò)誤，則確認(rèn)閾值，并將錯(cuò)誤次數(shù)加一，并判斷錯(cuò)誤次數(shù)與所述閾值的大??；若錯(cuò)誤次數(shù)小于所述閾值，則再次獲取用戶的賬號(hào)信息，若錯(cuò)誤次數(shù)大于所述閾值，則獲取用戶人臉圖像，并對所述人臉圖像進(jìn)行人臉識(shí)別。

作為本發(fā)明技術(shù)方案進(jìn)一步的限定：若錯(cuò)誤次數(shù)大于所述閾值，則獲取用戶人臉圖像，并對所述人臉圖像進(jìn)行人臉識(shí)別的步驟包括：

檢測人臉，捕捉人臉圖像；

切割所述人臉圖像中的面部區(qū)域；

根據(jù)所述人臉圖像中的局部紋理和特征建立人臉模型；

根據(jù)所述人臉模型讀取人臉信息數(shù)據(jù)庫中的人臉信息并比對。

作為本發(fā)明技術(shù)方案進(jìn)一步的限定：所述獲取預(yù)計(jì)詞條數(shù)，對所述待檢詞條進(jìn)行文本預(yù)篩選，基于預(yù)計(jì)詞條數(shù)和篩選結(jié)果生成有效詞條表的步驟包括：