[發(fā)明專(zhuān)利]一種基于ES高效自動(dòng)同步可配置的搜索方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010854323.2
• 申請(qǐng)日: 2020-08-21
• 公開(kāi)（公告）號(hào): CN111954038B
• 公開(kāi)（公告）日: 2021-12-21
• 發(fā)明（設(shè)計(jì)）人: 汪緯
• 申請(qǐng)（專(zhuān)利權(quán)）人: 湖南快樂(lè)陽(yáng)光互動(dòng)娛樂(lè)傳媒有限公司
• 主分類(lèi)號(hào): H04N21/239
• 分類(lèi)號(hào): H04N21/239;H04N7/18
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 錢(qián)娜

本發(fā)明公開(kāi)了一種基于ES高效自動(dòng)同步可配置的搜索方法及系統(tǒng)，方法包括：獲取用戶(hù)查詢(xún)媒資視頻數(shù)據(jù)的請(qǐng)求；基于請(qǐng)求，判斷是否已配置使用ES，若否，則：查詢(xún)數(shù)據(jù)庫(kù)；判斷請(qǐng)求時(shí)間是否連續(xù)預(yù)設(shè)次數(shù)大于預(yù)設(shè)時(shí)間，若是，則：全量更新查詢(xún)數(shù)據(jù)到ES，設(shè)置redis分布式鎖；在更新完成時(shí)，釋放所述redis分布式鎖；設(shè)置媒資視頻數(shù)據(jù)已配置使用ES；監(jiān)聽(tīng)數(shù)據(jù)庫(kù)視頻表、關(guān)聯(lián)表的變化，得到視頻id；獲取redis分布式鎖，通過(guò)監(jiān)聽(tīng)視頻id查詢(xún)媒資視頻數(shù)據(jù)，并將查詢(xún)到的媒資視頻數(shù)據(jù)同步至ES中。本發(fā)明能夠提升用戶(hù)體驗(yàn)，提高生產(chǎn)效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種基于ES(Elasticsearch，分布式、高擴(kuò)展、高實(shí)時(shí)的搜索與數(shù)據(jù)分析引擎)高效自動(dòng)同步可配置的搜索方法及系統(tǒng)。

背景技術(shù)

隨著系統(tǒng)數(shù)據(jù)量越來(lái)越大，直接在數(shù)據(jù)庫(kù)中查詢(xún)所需的數(shù)據(jù)越來(lái)越慢，這時(shí)需要引進(jìn)搜索引擎，目前大都采用手動(dòng)的方式同步數(shù)據(jù)進(jìn)ES中，需要修改大量代碼，無(wú)法做到自動(dòng)同步可配置。

因此，如何做到無(wú)縫切換，前端無(wú)感知，后臺(tái)自動(dòng)根據(jù)需要切換至搜索引擎，無(wú)需大量修改現(xiàn)有代碼，能快速幫助用戶(hù)檢索出希望查詢(xún)的數(shù)據(jù)，減少用戶(hù)等待時(shí)間，提升用戶(hù)體驗(yàn)，提高生產(chǎn)效率，是一項(xiàng)亟待解決的問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種基于ES高效自動(dòng)同步可配置的搜索方法，能夠做到無(wú)縫切換，前端無(wú)感知，后臺(tái)自動(dòng)根據(jù)需要切換至搜索引擎，無(wú)需大量修改現(xiàn)有代碼，能快速幫助用戶(hù)檢索出希望查詢(xún)的數(shù)據(jù)，減少用戶(hù)等待時(shí)間，提升了用戶(hù)體驗(yàn)，提高了生產(chǎn)效率。

本發(fā)明提供了一種基于ES高效自動(dòng)同步可配置的搜索方法，包括：

獲取用戶(hù)查詢(xún)媒資視頻數(shù)據(jù)的請(qǐng)求；

基于所述請(qǐng)求，判斷是否已配置使用ES，若否，則：

查詢(xún)數(shù)據(jù)庫(kù)；

判斷請(qǐng)求時(shí)間是否連續(xù)預(yù)設(shè)次數(shù)大于預(yù)設(shè)時(shí)間，若是，則：

全量更新查詢(xún)數(shù)據(jù)到ES，設(shè)置redis分布式鎖；

在更新完成時(shí)，釋放所述redis分布式鎖；

設(shè)置媒資視頻數(shù)據(jù)已配置使用ES；

監(jiān)聽(tīng)數(shù)據(jù)庫(kù)視頻表、關(guān)聯(lián)表的變化，得到視頻id；

獲取所述redis分布式鎖，通過(guò)監(jiān)聽(tīng)所述視頻id查詢(xún)媒資視頻數(shù)據(jù)，并將查詢(xún)到的媒資視頻數(shù)據(jù)同步至ES中。

優(yōu)選地，所述方法還包括：

當(dāng)基于所述請(qǐng)求，判斷已配置使用ES時(shí)，基于所述請(qǐng)求查詢(xún)ES。

優(yōu)選地，所述判斷請(qǐng)求時(shí)間是否連續(xù)預(yù)設(shè)次數(shù)大于預(yù)設(shè)時(shí)間，包括：

判斷請(qǐng)求時(shí)間是否連續(xù)5次大于5秒。

一種基于ES高效自動(dòng)同步可配置的搜索系統(tǒng)，包括：

第一獲取模塊，用于獲取用戶(hù)查詢(xún)媒資視頻數(shù)據(jù)的請(qǐng)求；

第一判斷模塊，用于基于所述請(qǐng)求，判斷是否已配置使用ES；

第一查詢(xún)模塊，用于當(dāng)基于所述請(qǐng)求，判斷未配置使用ES時(shí)，查詢(xún)數(shù)據(jù)庫(kù)；

第二判斷模塊，用于判斷請(qǐng)求時(shí)間是否連續(xù)預(yù)設(shè)次數(shù)大于預(yù)設(shè)時(shí)間；

更新模塊，用于當(dāng)請(qǐng)求時(shí)間連續(xù)預(yù)設(shè)次數(shù)大于預(yù)設(shè)時(shí)間時(shí)，全量更新查詢(xún)數(shù)據(jù)到ES，設(shè)置redis分布式鎖；

釋放模塊，用于在更新完成時(shí)，釋放所述redis分布式鎖；

設(shè)置模塊，用于設(shè)置媒資視頻數(shù)據(jù)已配置使用ES；