[發(fā)明專利]一種學(xué)生發(fā)展檔案大數(shù)據(jù)算法與分析系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711023775.0
• 申請(qǐng)日: 2017-10-27
• 公開（公告）號(hào): CN107621979A
• 公開（公告）日: 2018-01-23
• 發(fā)明（設(shè)計(jì)）人: 鄭金林
• 申請(qǐng)（專利權(quán)）人: 鄭金林
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F17/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)算法與分析系統(tǒng)技術(shù)領(lǐng)域，具體為一種學(xué)生發(fā)展檔案大數(shù)據(jù)算法與分析系統(tǒng)。

背景技術(shù)

隨著計(jì)算機(jī)、互聯(lián)網(wǎng)的快速發(fā)展，其在各個(gè)領(lǐng)域的應(yīng)用也在逐漸加大加深，現(xiàn)在，幾乎每個(gè)領(lǐng)域、每個(gè)人都離不開計(jì)算機(jī)和互聯(lián)網(wǎng)。其不斷地改變著人們的工作方式、交流方式、學(xué)習(xí)方式以及生活的各個(gè)方面。計(jì)算機(jī)和互聯(lián)網(wǎng)也在逐漸改變著學(xué)校的教學(xué)管理等方式，從以前的粉筆頭和黑板到現(xiàn)在的投影儀和PPT，其對(duì)教育教學(xué)的大環(huán)境影響重大。但目前主要涉及關(guān)于教育教學(xué)系統(tǒng)，檔案系統(tǒng)包括維護(hù)學(xué)生成長(zhǎng)信息和瀏覽學(xué)生成長(zhǎng)檔案。主要對(duì)學(xué)生成長(zhǎng)發(fā)展的維護(hù)和管理，促進(jìn)學(xué)生全面發(fā)展，對(duì)于學(xué)生起著至關(guān)重要的作用，該系統(tǒng)主要使用用戶有：學(xué)生、家長(zhǎng)及教師。通過(guò)本系統(tǒng)能夠使學(xué)生從小到大、從學(xué)習(xí)到生活很立體的呈現(xiàn)在面前，這些都是大數(shù)據(jù)，普通的數(shù)據(jù)算法和分析系統(tǒng)以不能滿足現(xiàn)在的學(xué)生發(fā)展檔案的計(jì)算和分析。

所以，如何設(shè)計(jì)種學(xué)生發(fā)展檔案大數(shù)據(jù)算法與分析系統(tǒng)，成為我們當(dāng)前要解決的問(wèn)題

發(fā)明內(nèi)容

本發(fā)明提供一種學(xué)生發(fā)展檔案大數(shù)據(jù)算法與分析系統(tǒng)，由于在數(shù)據(jù)分析系統(tǒng)的底層利用Hadoop系統(tǒng)進(jìn)行數(shù)據(jù)分析，而在數(shù)據(jù)分析系統(tǒng)的上層則以任務(wù)調(diào)度模塊來(lái)實(shí)現(xiàn)對(duì)任務(wù)的統(tǒng)籌管理，從而既可以利用Hadoop系統(tǒng)簡(jiǎn)化了數(shù)據(jù)分析流程，又提供了更為方便地對(duì)任務(wù)進(jìn)行調(diào)度、管理的系統(tǒng)，以及能夠從大量無(wú)序、潛在的信息中獲得有效信息，通過(guò)對(duì)數(shù)據(jù)離散處理、降維存儲(chǔ)，能夠有效提高數(shù)據(jù)處理效率，具有處理量大、效率高等顯著的優(yōu)點(diǎn)，進(jìn)而可以快速的處理學(xué)生發(fā)展檔案大數(shù)據(jù)，可以有效解決上述背景技術(shù)中的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種學(xué)生發(fā)展檔案大數(shù)據(jù)算法，包括如下步驟：

1)離散化處理：從數(shù)據(jù)庫(kù)中抽取數(shù)據(jù)，確定每一種標(biāo)識(shí)對(duì)應(yīng)的分類規(guī)則，并采用對(duì)應(yīng)的分類規(guī)則對(duì)抽取的數(shù)據(jù)進(jìn)行離散化處理；從所獲取的數(shù)據(jù)庫(kù)中抽取數(shù)據(jù)組成訓(xùn)練集；用所得的訓(xùn)練集訓(xùn)練哈希函數(shù)；

2)降維存儲(chǔ)：對(duì)數(shù)據(jù)庫(kù)中還沒(méi)得到二進(jìn)制代碼的實(shí)例進(jìn)行二進(jìn)制編碼；去掉不必要的條件屬性，從而分析所得到約簡(jiǎn)中的條件屬性對(duì)于決策屬性的決策規(guī)則；消除數(shù)據(jù)中的不一致對(duì)象和冗佘對(duì)象，冗佘對(duì)象為條件屬性相同而決策屬性也相同的對(duì)象；確定神經(jīng)元網(wǎng)絡(luò)模型；

3)輸出結(jié)果：訓(xùn)練神經(jīng)元網(wǎng)絡(luò)模型，并通過(guò)運(yùn)行算法實(shí)現(xiàn)數(shù)據(jù)分析處理；對(duì)獲取數(shù)據(jù)進(jìn)行有效范圍篩選的篩選，對(duì)篩選后數(shù)據(jù)進(jìn)行權(quán)值分配，并對(duì)分配權(quán)值后數(shù)據(jù)進(jìn)行融合后顯示輸出結(jié)果。

根據(jù)上述技術(shù)方案，包括待調(diào)度任務(wù)生成模塊、待調(diào)度任務(wù)存儲(chǔ)模塊、任務(wù)調(diào)度模塊和任務(wù)處理模塊，所述待調(diào)度任務(wù)生成模塊用于根據(jù)預(yù)先定義的任務(wù)參數(shù)將收集的數(shù)據(jù)生成待調(diào)度的任務(wù)；所述任務(wù)調(diào)度模塊具體包括：主任務(wù)調(diào)度組件和從任務(wù)調(diào)度組件；所述主任務(wù)調(diào)度組件用于從所述待調(diào)度任務(wù)存儲(chǔ)模塊加載待調(diào)度的任務(wù)，并根據(jù)加載的任務(wù)的任務(wù)類型調(diào)用相應(yīng)的任務(wù)處理模塊；所述從任務(wù)調(diào)度組件用于在所述主任務(wù)調(diào)度組件退出運(yùn)行或者無(wú)法正常運(yùn)行后，從所述待調(diào)度任務(wù)存儲(chǔ)模塊加載待調(diào)度的任務(wù)，并根據(jù)加載的任務(wù)的任務(wù)類型調(diào)用相應(yīng)的任務(wù)處理模塊；所述待調(diào)度任務(wù)存儲(chǔ)模塊，用于存儲(chǔ)所述待調(diào)度任務(wù)生成模塊生成的待調(diào)度的任務(wù)；所述任務(wù)調(diào)度模塊從所述待調(diào)度任務(wù)存儲(chǔ)模塊加載待調(diào)度的任務(wù)，并根據(jù)加載的任務(wù)的任務(wù)類型調(diào)用相應(yīng)的任務(wù)處理模塊；所述任務(wù)處理模塊根據(jù)所述任務(wù)中的分析需求生成相應(yīng)的類結(jié)構(gòu)化查詢語(yǔ)言Hive SQL語(yǔ)句向基于分布式計(jì)算Hadoop的數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器發(fā)送；在接收到所述服務(wù)器返回的數(shù)據(jù)后完成對(duì)所述任務(wù)的數(shù)據(jù)分析。

根據(jù)上述技術(shù)方案，所述不一致對(duì)象是指條件屬性相同而決策屬性不同的對(duì)象。

根據(jù)上述技術(shù)方案，所述數(shù)據(jù)庫(kù)為MySQL數(shù)據(jù)庫(kù)。

根據(jù)上述技術(shù)方案，所述數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器服務(wù)器為Apache服務(wù)器。

根據(jù)上述技術(shù)方案，所述大數(shù)據(jù)的具體分析包括如下步驟：

1)任務(wù)生成：待調(diào)度任務(wù)生成模塊根據(jù)預(yù)先定義的任務(wù)參數(shù)將收集的數(shù)據(jù)生成待調(diào)度的任務(wù)后存儲(chǔ)到待調(diào)度任務(wù)存儲(chǔ)模塊；

2)任務(wù)處理：任務(wù)調(diào)度模塊從所述待調(diào)度任務(wù)存儲(chǔ)模塊加載待調(diào)度的任務(wù)，并根據(jù)加載的任務(wù)的任務(wù)類型調(diào)用相應(yīng)的任務(wù)處理模塊；

3)數(shù)據(jù)分析：所述任務(wù)處理模塊根據(jù)所述任務(wù)中的分析需求生成相應(yīng)的類結(jié)構(gòu)化查詢語(yǔ)言Hive SQL語(yǔ)句向基于分布式計(jì)算Hadoop的數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器發(fā)送；在接收到所述服務(wù)器返回的數(shù)據(jù)后完成對(duì)所述任務(wù)的數(shù)據(jù)分析。