導語：如何才能寫好一篇大數據庫建設方案，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公文云整理的十篇范文，供你借鑒。

篇1

【關鍵字】 互聯(lián)網 大數據 系統(tǒng)建設一、背景

隨著互聯(lián)網、移動互聯(lián)網、數碼設備、物聯(lián)網等技術的發(fā)展，全球數據生產正在高速增長，信息已成為企業(yè)的戰(zhàn)略資產，企業(yè)越來越需要長期保存各種數據，以進行用戶行為分析、市場研究等，服務企業(yè)發(fā)展。目前，“去管道化”成為電信運營商提得最多和思考最多的問題，業(yè)內認為大數據是運營商“去管道化”最有可能的實現(xiàn)形式之一，運營商發(fā)展大數據具有其他行業(yè)無可比擬的優(yōu)勢，主要體現(xiàn)在：運營商掌握數據充分全面；通信網絡數據提供的可持續(xù)性；運營商對數據可以有效利用。

在此背景下，本文將對電信運營商大數據應用系統(tǒng)建設方案進行探討，為省級電信運營商部署大數據平臺提供借鑒。

二、大數據應用系統(tǒng)功能架構

大數據系統(tǒng)目標架構，主要由五大核心平臺構成，如下圖所示：

采集分發(fā)平臺：解決異構數據源之間數據交互，滿足各種數據源之間數據統(tǒng)一采集和統(tǒng)一數據分發(fā)，提升數據實時和準實時海量數據采集分發(fā)能力；

實時分析平臺：實現(xiàn)實時寬表數據整合，提供實時報表，提供統(tǒng)一實時查詢；

離線分析平臺：Hadoop平臺解決海量結構化數據和非結構化數據快速批處理效率、海量數據存儲能力；傳統(tǒng)ODS、EDW、數據集市采用MySQL平臺；

大數據運營監(jiān)控平臺：解決大數據運營監(jiān)控，調度，開發(fā)，運營維護問題處理和運營分析平臺；

大數據數據服務平臺：滿足快速對外提供統(tǒng)一數據服務共享平臺。

三、大數據應用系統(tǒng)數據庫建設

對于大數據平臺數據庫，建議采用傳統(tǒng)關系型數據庫+Hadoop的混搭方式進行建設，主要基于以下考慮：1、對于傳統(tǒng)結構化業(yè)務數據，采用關系型數據庫已非常成熟，新建平臺延續(xù)采用關系型數據庫處理傳統(tǒng)數據，避免大量改動。2、對于非結構化數據，則采用Hadopp架構進行處理，解決以下問題：海量數據儲存成本高；數據批量處理能力不足；計算和存儲擴展能力受限；流式數據處理能力缺失；缺乏非結構化數據的處理能力。

四、大數據應用系統(tǒng)數據采集方案

電信運營商大數據平臺數據主要來源為兩種：來自IT系統(tǒng)的結構化數據和來自網絡的非結構化數據。

4.1結構化數據采集

數據來源主要包括來自CRM系統(tǒng)的客戶/用戶資料、產品/銷售品、產品訂購、業(yè)務辦理等，來自計費系統(tǒng)的賬單、詳單、余額、繳費、欠費等，來自結算系統(tǒng)的結算清單、過往記錄等，來自客服系統(tǒng)的咨詢投訴、外呼等，來自網廳的電子訂購、業(yè)務辦理、電子渠道咨詢/投訴等，來自ITV的點播記錄、節(jié)目庫等，來自增值業(yè)務平臺的訂購與退訂等。

對于上述結構化數據，目前主要通過ODS系統(tǒng)進行采集，大數據平臺直接與ODS系統(tǒng)做接口即可獲得，不需直接從系統(tǒng)采集，大大提升了數據采集的效率。

4.2非結構化數據采集

非結構化數據視圖如下圖所示：

1）固網DPI部署方案

以某電信省公司為例，其 IP城域網覆蓋所有地州，2015年底預計達到3000G出口鏈路，其中省會城域網出口1200G。

現(xiàn)網在IP城域網出口部署一套DPI系統(tǒng)，具備280G帶寬的監(jiān)控能力（上下行），主要功能模塊為多終端私接監(jiān)控、 全協(xié)議分析。存在問題如下：覆蓋能力不足：覆蓋城域網規(guī)模9%，不具備對單地市出口的完整監(jiān)控能力。功能缺乏：無法實現(xiàn)終端識別、網站識別、應用識別等功能。

本期可采用如下方案：

方案一：全覆蓋部署

在城域網出口部署，實現(xiàn)全覆蓋，共3000G。

方案二：兩地州及省會兩區(qū)縣輪詢方式部署

地州輪詢：采集設備部署位置為163骨干機房，容量配置為同時覆蓋兩個地州共620G。

省會區(qū)縣輪詢：采集設備部署位置為省會CR機房，容量配置為同時覆蓋兩個縣區(qū)共680G。

方案三：一地州及省會一區(qū)縣輪詢方式部署

地州輪詢：采集設備部署位置為163骨干機房，容量配置為同時覆蓋一個地州共310G。

省會區(qū)縣輪詢：采集設備部署位置為省會CR機房，容量配置為同時覆蓋一個縣區(qū)340G。

輪詢方式說明：建議輪詢周期不短于一個月，以免頻繁輪詢影響大數據分析系統(tǒng)的數據可用性和精準度。

以上三種方案主要區(qū)別在于覆蓋范圍，以及相應的投資，在投資充分的情況下，建議采用方案一，對城域網出口進行全覆蓋部署，在投資緊張的情況下，建議采用方案三，對一地州及省會一區(qū)縣通過輪詢方式部署，后期根據投資情況再逐步擴大覆蓋范圍。

2）分組域DPI部署方案

新建分組域DPI，分為采集部分和處理部分，對3G、4G、AAA等數據進行采集，通過DPI解析后的數據，同步給大數據平臺及其他相關平臺使用。

3）七號信令監(jiān)測系統(tǒng)改造方案

改造現(xiàn)有七號信令監(jiān)測系統(tǒng)，提供對手機的信令采集，通過A口提供以下數據：所有采集區(qū)域內手機主叫的數據；所有采集區(qū)域內不處于關機或者占線的手機被呼的數據（不包含占線、關機被呼的數據，信令中不包含此數據）；所有采集區(qū)域內手機的短信數據；所有采集區(qū)域內手機的位置更新數據。

篇2

1.1 公有云平臺技術背景

從部署方式來看，云計算一般分為公有云、私有云和混合云三大類。其中公有云是指運營者建設用以提供給外部非特定用戶的公共云服務平臺；私有云平臺僅為單一客戶提供服務，其數據中心軟硬件的所有權為客戶所有，能夠根據客戶的特定需求在設備采購、數據中心構建方面做定制，并滿足在合規(guī)性方面的要求。

1.2 國內發(fā)展趨勢

包括中央電教館在內的國內各大政府機構和省級政府，都在致力或傾向于將大型應用類業(yè)務向社會公有云/混合云轉移。謀求更高效率、更低成本、更及時服務和更安全環(huán)境的云平臺托管，是當今信息化系統(tǒng)服務的發(fā)展趨勢。尋求廣泛的服務托管、安全托管和運維托管是大勢所趨。

1.3 天津市教育數據資源中心的現(xiàn)狀

經過“十一五”、“十二五”兩期建設，隨著信息中心工作的不斷發(fā)展，當前數據中心的數據量比“十一五”翻了兩番，運維工作量更是翻了數番，這對數據中心運維人員的安全運維能力也提出了前所未有的高要求。目前，中心機房和工大機房的承載能力已接近飽和，結合國際和國內信息化的發(fā)展趨勢看，未來單靠單個IDC數據中心已經難以滿足未來天津市教育信息化發(fā)展需求。參照中央電教館等云平臺系統(tǒng)運維模式，我市教育信息化的發(fā)展迫切需要社會上有實力的企業(yè)建設的混合云解決方案，需要更加專業(yè)的團隊，協(xié)助完成“十三五”各類海量資源類系統(tǒng)的承載工作，進一步助力我市教育系信息化工作上一個新臺階。

2 項目目標及分項需求

2.1 項目建設目標

本方案擬建設如下混合云模式：即由天津市教委教育信息化管理中心IDC機房構建未來各類系統(tǒng)的核心數據庫、統(tǒng)一身份認證平臺和數據分析和統(tǒng)計平臺，由公有云企業(yè)提供公有云業(yè)務承載空間，負責提供海量視頻和圖片文件優(yōu)化存儲、對外、信息安全和數據災備服務。公有云服務提供商需提供不少于三個異地災難備份數據中心，提供24小時不間斷同步和異步災備服務。

2.2 云平臺服務需求

云平臺提供方應該參照本需求，提供整體的云平臺解決方案，包含云主機、關系型數據庫、非關系型數據庫、簡單緩存服務、負載均衡、內容分發(fā)網絡、對象存儲、大數據平臺服務、多媒體平臺服務、云安全服務、帶寬等方面。

相關術語如下解釋：

云主機：是一種簡單高效、安全可靠、處理能力可彈性伸縮的計算服務。用戶無需提前購買硬件，即可迅速創(chuàng)建或釋放任意多臺云服務器，有效降低IT成 本，提升運維效率，為用戶快速構建穩(wěn)定可靠的應用，降低網絡規(guī)模計算的難度，使用戶更專注于核心業(yè)務創(chuàng)新

非關系型數據庫：數據庫中的非關系型數據庫，通常情況下指支持NoSQL的數據庫服務或者云數據庫，提供高效、實時、穩(wěn)定的數據檢索服務。

大數據平臺服務：通過對數據收集、存儲、變形、分析等過程，結合公有云分布式并行計算集群、機器學習集群、數據倉庫聯(lián)機分析集群實現(xiàn)數據智能推薦、應用定制開發(fā)、在線報表等需求。

3 項目建設技術路線及實現(xiàn)手段

3.1 公有云平臺技術路線及實現(xiàn)

公有云廠商核心基礎架構需具備10年以上的技術積累，需有上萬名國內頂尖技術專家，并具有多款國內領先互聯(lián)網產品的經驗。公有云廠商需在數據中心技術，網絡技術，安全技術，分布式存儲技術，大數據處理能力方面有豐富的經驗，形成了領先的技術能力和平臺。

3.2 上線安檢服務技術路線及實現(xiàn)

根據上線安檢服務需求內容，制定內容檢查清單，逐一進行核對和檢查，確保系統(tǒng)正常上線。

3.3 多網絡帶寬服務、CDN服務技術路線及實現(xiàn)

當用戶訪問天津教委云平臺時，瀏覽器將DNS域名解析請求發(fā)至本地DNS，本地DNS如果有緩存結果就直接返回IP，否則解析請求最終會到達CDNDNS服務器，它會根據本地DNS IP返回一個離用戶最近的CDN邊緣節(jié)點的IP給用戶。

4 項目部署與實施

項目建設、系統(tǒng)部署和實施的具體時間安排如表1。

5 驗收指標

驗收的內容包括以下幾個部分：

（1）驗收內容一般包括軟件驗收（按功能要求的可執(zhí)行軟件、開發(fā)計劃文檔、 詳細設計文檔、質量保證計劃、設備相應附件、設備運行、網絡運行等）；

（2）驗收評測工作主要包括：文檔分析、方案制定、現(xiàn)場測試、問題單提交、測試報告；

（3）驗收測試內容主要包括：功能度、安全可靠性、易用性、可擴充性、兼容性、效率、資源占用率、用戶文檔；

篇3

圖書館不但為居民提供知識內容，也為科研單位提供數據服務，特別是在大數據時代背景下，圖書館的現(xiàn)代化建設進程更加凸顯。因此在大數據環(huán)境下如何管理和完善圖書館相關服務內容就成為圖書館建設的重中之重。

一、大數據背景下的圖書館科研數據服務管理

圖書館可以為社會科研領域提供豐富充足且多元化的科研數據內容，因此圖書館必須合理利用大數據技術來優(yōu)化數據服務內容管理過程。對科研用戶數據的采集管理，具體來講包括以下四點內容。

首先，圖書館應該為科研用戶專門建設數據平臺，保證其中數據的通用性與可利用性?；谶@一點，圖書館在科研用戶數據的采集管理方面應該做到開發(fā)設計開源軟件，例如Dspace、Eprints等等。利用這些軟件功能來搭建數據平臺，保證數據在平臺內實現(xiàn)通用、共享并被再利用，為圖書館管理工作節(jié)約成本開支。在平臺上，科研用戶可以基于平臺所提供的快捷搜索引擎來搜尋自己所需要的數據，并將數據上傳到平臺加以利用。

其次，要強化用戶需求引導管理工作，例如主動面向科研人員展示圖書館已有的大數據服務項目及服務內容，以構建科研人員數據服務的針對指向性，方便他們下一次來查閱資料，建立科研數據服務專欄。再者，如此管理也能樹立圖書館的精確性定位服務能力，并提高?D書館對外服務的管理效率。

第三，要強化數據管理工作。圖書館大數據技術下的資料信息數據具有生命周期性，所以對它們的管理一定要首先明確其所處生命周期階段，然后根據不同階段來實施不同的管理措施。為此，圖書館應該建立有針對性的數據管理指南服務項目，并利用數據管理工具來對原數據進行數據組織和安全備份，確保數據隨時可用。

最后，要實現(xiàn)嵌入式數據服務管理過程。如果圖書館為科研人員提供傳統(tǒng)的片段式數據服務，很可能導致服務過程準確度的下降，還有可能出現(xiàn)服務內容重合問題。所以圖書館應該改變數據服務管理模式，將傳統(tǒng)的數據服務管理從片段式轉變?yōu)榍度胧剑员ＷC為用戶提供可以持續(xù)跟蹤的嵌入式數據服務內容，滿足用戶隨時隨地的數據應用需求。甚至圖書館也可以和科研用戶聯(lián)手深入到科研項目課題研究過程當中，利用圖書館儲備大數據內容來解決問題，提高圖書館與科研人員之間的合作默契程度[1]。

二、大數據背景下的圖書館大數據平臺建設管理

大數據背景下圖書館的大數據平臺建設管理主要要基于以下3點步驟來展開：

第一步要為圖書館構建數據物理存儲平臺，基于大數據技術將數據流通分類，這樣操作主要是因為圖書館中待處理數據總量與種類繁多，所以如果采用統(tǒng)一標準的存儲方案可能會存在一定技術困難。按照用戶實際需要而定向匹配的數據存儲方案能夠為圖書館更快搭建數據物理存儲平臺，明確管理內容，為圖書館大數據平臺快速發(fā)展奠定基礎。

第二步要強調數據采集平臺有效構建，解決傳統(tǒng)中圖書館盲目采集數據所造成的資源浪費問題，同時減輕圖書館服務器運行負擔。具體來講，數據采集管理工作要首先基于用戶方面所提交的需求性信息進行分類分析，并找到其相對應的數據源，根據數據源來制定數據處理方案；其次要基于相關數據進行有效抽取和提煉；再次要對所采集到數據進行數據變換，將其轉換為用戶可理解的簡易方式，同時明確數據采集平臺工作層次，進而大幅度提高圖書館的大數據服務管理效率[2]。

第三步要構建數據組織平臺，它也是當前圖書館大數據管理工作中的重要環(huán)節(jié)。例如針對圖書館的數據編排、維護與更新工作都要依賴于數據組織平臺。就目前大數據技術發(fā)展形勢來看，像非關系型數據庫NoSQL、關系數據庫RDBMS等都能滿足對圖書館信息數據的行列組織，它基本符合圖書館的傳統(tǒng)書目排布策略，能保持圖書館數據管理的一致性和針對性。比如說在NoSQL數據庫運營模式下，就能對圖書館相應數據進行按列存放管理，縮短用戶的數據搜索時間，同時解決服務系統(tǒng)中可能存在的快速響應問題，提高用戶需求的系統(tǒng)回饋效率[3]。

篇4

關鍵詞 教育大數據 個性化學習 學習路徑

教育部2015年工作要點中提出：將進一步推進《教育信息化十年發(fā)展規(guī)劃》中的“三通兩平臺”建設與應用，力爭實現(xiàn)學?；ヂ?lián)網全覆蓋[1]。教育信息化的推進以及教育基礎設施的建設，為大數據技術在教育領域的應用奠定了良好的基礎。

大數據技術正在對社會生產生活產生深刻的影響，過去無法收集和分析的數據被大數據技術賦予了新的可能性，其中關于人們行為和喜好的數據挖掘，使大數據成為了教育變革與創(chuàng)新的重要推動力。傳統(tǒng)的教育決策通常建立在個人教學經驗和簡單的數據分析基礎之上，無法提供給每個學生最有效的教學方式。而大數據技術對海量教育數據的留存和深度挖掘，能幫助教師更深入地了解學生知識的掌握情況以及學習偏好，有助于教育機構和教育工作者彌補或改變現(xiàn)行教育中的不足，將推動傳統(tǒng)以“教師為中心”的教學方式向以“學生為中心”教學方式的轉變，真正做到以人為本、因材施教。

一、教育大數據的概念和特征

教育大數據作為大數據在教育領域中的應用，至今國內外還沒有教育機構給出明確且統(tǒng)一的定義。教育大數據可以被理解為所涉及的教育數據規(guī)模巨大且種類繁多，以至于傳統(tǒng)的處理工具無法進行有效的擷取和處理的教育數據集。教育大數據主要有以下幾個特征。

1.海量性

麥肯錫對大數據的定義是指那些規(guī)模大到傳統(tǒng)的數據庫軟件工具無法進行采集、存儲和分析的數據集[2]。因此，數據量大也是教育大數據的首要特征。隨著信息化的發(fā)展，大部分學校都采用先進的信息管理系統(tǒng)進行教學管理，教學管理與教學資源的全面整合會產生和記錄大量的教學信息。另外，越來越多的學習行為在網絡上發(fā)生，也導致在線學習平臺所生成的教育數據量呈爆發(fā)性增長的趨勢。

2.多樣性

德勤公司專家羅伯特指出：“規(guī)模并不是常規(guī)數據和大數據之間最主要的區(qū)別，大數據的重要屬性應該是復雜性和多樣性?！盵3]傳統(tǒng)的教育數據具有明顯的結構化特征，但隨著教學手段和教學工具的飛速發(fā)展，教育數據的品種不斷增加，數據結構變得更加復雜，形成了多樣且異質的教育大數據，如教學視頻、音頻、日志、郵件等，這些非結構化的數據背后隱藏著大量的信息，比如學生的學習態(tài)度、能力和偏好。大數據時代的教育工作者要學會利用和分析這些不同類型的教育數據，以還原學生學習情況的完整性和真實性。

3.動態(tài)性

傳統(tǒng)的教育數據更專注于靜態(tài)記錄學生的考試成績，而教育大數據有能力跟蹤和掌握學生的學習動態(tài)，比如學生注意力集中時間、回答問題次數等。這些數據是動態(tài)且高速變化的，教師不僅可以根據實時的教學數據監(jiān)測，動態(tài)地評價學生的學習成績和學習效果；還可以根據變化的學習數據隨時調整教學方案。斯坦福大學吳恩達教授跟蹤學生觀看視頻講座的行為發(fā)現(xiàn)：如果學生中途點擊了關閉或快播鍵，暗示了講座內容晦澀難懂或學生不感興趣，教師可以據此對視頻內容進行調整，以期通過改善教學內容來提高學生的理解力和興趣度[4]。

4.價值性

維克托在《大數據時代》中指出：“大數據時代最重要的是從大數據中挖掘價值?！盵5]目前學校所產生的教學數據都是由很多學生行為片段組成且處于分散狀態(tài)，需要使用大數據技術對這些數據進行整合和利用，通過對這些被鎖在“數據孤島”上的海量數據進行處理，獲得具有重大價值的學生行為分析結果，并利用它們?yōu)楦纳茖W生的成績提供個性化的服務。教育大數據對學生、家長和教師都具有很高的價值，它可以幫助學生提高學習成績、幫助家長理解學生的學習行為、幫助教師改進教學方案，以確保每個學生獲得有效且高效的定制教育。

5.真實性

教育大數據注重提高數據分析的真實性和可靠性，傳統(tǒng)的教育數據由于學校為了排名、教師為了業(yè)績等原因可能被修改或粉飾，這樣得到的不真實數據就失去了對學生學習情況判斷的準確性。而教育大數據由于基數巨大，不是憑借某一個數據對學生進行評價，而是依靠海量的全息數據對學生進行整體評定，即使某些被修改過的錯誤信息存在，也不會影響對學生的最終評價結果。

二、基于教育大數據的個性化學習模式構建

個性化的學習模式強調“一個尺寸適合一個人”的教學方式，通過大數據技術來實現(xiàn)個性化教學，使知識的傳授能夠適應特定的教學環(huán)境、學習偏好和學生能力。個性化學習模式由以下幾個部分組成。

1.學生學習數據庫

個性化學習模式強調“大數據驅動”，由學習數據庫記錄和存儲大量實時、可靠的學生學習行為數據，例如學習路徑、日志、討論、作業(yè)等。大數據技術的優(yōu)勢就體現(xiàn)在可以對各種非結構化的數據進行采集和存儲，課堂教學、在線學習、輔助教學工具都可以作為數據收集的平臺，每次學生的點擊、討論版的互動、博客的進入或任何微小的活動都會被記錄下來，生成每生每課的數以萬計的學習數據，并縱向傳遞到分析系統(tǒng)，成為下一步個性化學習分析的重要基礎資源。

2.學生基礎數據庫

學生基礎數據庫包含了學生的各種基本信息（姓名、年齡、專業(yè)、愛好等）、學生的歷史學習信息（成績、先導課程、問卷調查等）。要確保為學習者制定最適合的學習路徑，不能僅靠學生的學習行為數據，還要參照歷史學習數據，這些數據會綜合反映學生的知識儲備、學習偏好、努力程度等信息，會形成更加立體的學生學習影像。

3.分析系統(tǒng)

分析系統(tǒng)是對學習數據庫中跟蹤學生學習軌跡所存儲的大量數據進行處理和分析。分析的內容主要包括：學生學習表現(xiàn)、課程與教材選擇是否正確、教學方法是否合適等。分析過程首先要對原始學習數據進行歸納和整理，去除無關或難以識別的冗余數據，數據的真實性和時效性是保證最終得出準確分析結論的關鍵。然后通過大數據方法將數據轉化成可以被洞察和操作的模式，獲取數據當中潛在的、有效的、規(guī)律性的、可以被理解的信息，并形成可視化分析報告。

4.自適應系統(tǒng)

自適應系統(tǒng)主要通過分析系統(tǒng)得出的反饋對學習過程進行自我調整和管理，學生基于數據收集和分析的可視化結論來調整學習路徑，比如更換選修課程和學習材料。由于學生的個體情況有很大差異，自適應系統(tǒng)會利用人工智能軟件根據學生對學習內容的接受程度，自動對學生的學習行為作出響應，幫助學生調整學習方案。在自適應學習系統(tǒng)中，學習不是被動地接受知識的過程，而是在更正學習過程中發(fā)現(xiàn)感興趣和擅長的知識的過程。自適應系統(tǒng)增加了學生學習的主動性，調節(jié)了學生的學習狀態(tài)和獨立思考能力，改變了傳統(tǒng)學習的被動局面。

5.個性化干預

個性化的學習干預是通過對學習者基礎數據庫和系統(tǒng)內學習數據庫的數據進行整合，基于分析系統(tǒng)得出的可視化分析結論，結合教師的教學經驗，對學習者的學習軌跡進行修訂和改善的干預服務。對于學習效果較差的學生要通過互動平臺及時給予幫助和干預，其目的在于通過修訂教學方案和個性化資源推送來提高學習者的學習效率，并對學習者未來的學習行為進行智能化預測。個性化的教學干預摒棄了傳統(tǒng)的“合格-不合格”的評價系統(tǒng)，強調通過數據分析來評估學習者的學習情況并掌握學習者思考和解決問題的方式，以便為其提供必要的引導和幫助，最終得到學習者更全面且精準的評價。

由圖1可知，個性化學習模式的流程為：由學生學習數據庫收集原始學習軌跡數據傳遞到分析系統(tǒng)；分析系統(tǒng)通過數據預處理、數據分析功能，利用各種大數據技術生成可視化的學生學習行為分析報告；自適應系統(tǒng)通過數據挖掘和學習分析等工具分析出來的報告，評估學生的學習過程，發(fā)現(xiàn)潛在的問題并進行智能干預，引導學生對學習內容進行適應性修正；教師整合基礎數據庫數據和分析系統(tǒng)得出的結論，結合多年的教學經驗，通過干預系統(tǒng)對學生的學習路徑進行人為的教學干預，對教學方案進行調整和修訂，對學生未來的學習情況進行預測，將傳統(tǒng)的同質教育演化成適應每位學生個性化需求的定制教育。

三、基于教育大數據的個性化學習模式面臨的挑戰(zhàn)

大數據技術運用于教育領域，為傳統(tǒng)的“批量生產”式的教育模式帶來了巨大變革，將引領教育進入全新的高度個性化的時代。但是，個性化學習模式中所有系統(tǒng)相互作用的前提條件是教學數據提供的準確性和及時性，只有在各系統(tǒng)之間保持快速、及時和準確的信息傳遞的情況下，大數據分析對教學的作用才能凸現(xiàn)出來。但現(xiàn)在許多學校的教學仍然以傳統(tǒng)的面對面課堂教學為主，數據的傳遞、轉換和分析可能出現(xiàn)滯后的情況，會影響最終干預系統(tǒng)分析結果的有效性。因此，大數據技術要在教學領域發(fā)揮其應有的作用，還需要學校大力推進教育信息化的建設，提高教學數據處理和分析的能力，才能充分發(fā)揮個性化學習模式的作用，真正實現(xiàn)教育的個性化培養(yǎng)。

對學生學習軌跡進行跟蹤、記錄和挖掘，不可避免地涉及到學生信息的保護問題，尤其在現(xiàn)有個人隱私的法律法規(guī)不夠健全的情況下，教育大數據領域隱私規(guī)則的制定變得迫在眉睫。教育管理者要意識到大數據的使用將涉及到來自道德和法律的雙重挑戰(zhàn)，學生是教育大數據的創(chuàng)造者和所有者，在對教育數據進行采集和分析的時候，應取得學生和家長的認同和信任，同時制定有關學生隱私保護的法律法規(guī)，以保證所有收集到的學生數據都應用于改善教學。

參考文獻

[1] 教育信息化十年發(fā)展規(guī)劃（2011～2020年）[EB/OL].[2015-10-20].http：///web/content.php？id=6853.

[2] Big data：“The next frontier for innovation competition and productivity”[EB/OL].[2015-09-08].http：///news/2011/06/BigData.

[3] 陸Z.大數據及其在教育中的應用[J].上海教育科研，2013（9）.

[4] Viktor Mayer-Sch？nberger.Learning With Big Data[M].Create Space Independent Publishing，2014.

篇5

目前，水產品監(jiān)測是水產品質量安全監(jiān)管的重要手段，農業(yè)部漁業(yè)局在國家層面開展了水產品質量安全監(jiān)督抽查、風險隱患排查、專項抽檢等水產品質量安全監(jiān)測工作。而監(jiān)測工作的信息化，可保障監(jiān)測工作的科學性和公正性，并能加強監(jiān)測結果分析、利用，提高監(jiān)管工作效率。

本文作者在實際工作中從事水產品質量安全監(jiān)測數據庫管理工作，針對當前水產品質量安全數據庫存在的不足，結合水產品質量安全監(jiān)管工作實際，對現(xiàn)有水產品質量安全監(jiān)督抽查等數據庫進行了重新構架、整合和設計，以期提供數據庫的實用性，并滿足下一階段水產品質量監(jiān)管工作需求。

二、現(xiàn)有數據庫簡介及不足

現(xiàn)有信息系統(tǒng)涉及水產品質量安全監(jiān)測相關領域，基本完成了水產品質量安全監(jiān)測技術支撐信息化初期建設。現(xiàn)有數據庫包括“產地水產品質量安全監(jiān)督抽查生產單位數據庫”、“水產苗種質量安全監(jiān)督抽查生產單位數據庫”和“水產品質量安全檢測信息管理系統(tǒng)”三個數據庫。從內容上看，三個數據庫分別集成了產地水產品養(yǎng)殖生產單位信息、水產苗種養(yǎng)殖生產單位信息和產地水產品質量安全監(jiān)督抽查檢測數據三方面內容。

但目前的數據庫與行業(yè)監(jiān)管需求相比，目前的系統(tǒng)仍有待完善。橫向看，目前的各類工作系統(tǒng)或數據庫間沒有進一步整合，各類數據間不能互相銜接、有效共享；縱向看，各類數據沒有深入挖掘，功能沒有深度拓展，尚不能實現(xiàn)水產品質量安全大數據的復雜分析和水產品質量安全預測預警。

（1）用戶使用不便利，影響用戶的使用積極性（沒有信息批量導入導出功能）

（2）數據庫開發(fā)構架落后，不能滿足發(fā)展要求（如無接口、無法繼續(xù)開發(fā)信息批量導入導出功能，不能完成數據復雜分析）

（3）數據庫分別獨立且功能分散，不能完成大數據分析和數據整合（現(xiàn)行幾個數據庫分別獨立，數據不能共享）

三、擬構建信息平臺主要內容、功能和定位

擬對現(xiàn)有信息系統(tǒng)進行升級、改造，在現(xiàn)有信息系統(tǒng)基礎上，進一步開發(fā)軟件系統(tǒng)，整合水產品質量安全監(jiān)測大數據，強化功能應用和信息安全，建立多級共享的網絡平臺，構建“水產品質量安全監(jiān)測信息平臺”。平臺擬由支撐體系管理工作系統(tǒng)、水產品質量安全檢測數據管理系統(tǒng)和水產品質檢機構基礎數據系統(tǒng)等三大系統(tǒng)模塊構成。

功能提升主要表現(xiàn)在：一是，整合產地水產品質量安全監(jiān)督抽查生產單位數據、水產苗種質量安全監(jiān)督抽查生產單位數據庫平臺功能，開發(fā)監(jiān)測任務管理工作系統(tǒng)，完成計劃制定、任務下達、企業(yè)抽取、結果上報等功能，提升支撐體系管理和工作流程的規(guī)范、高效和一體化；二是，增加貝類、捕撈水產品、水產投入品數據庫建設內容，并集成已有產地水產品質量安全監(jiān)督抽查、水產苗種質量安全監(jiān)督抽查等水產品質量安全檢測信息數據庫，開發(fā)水產品質量安全檢測數據管理系統(tǒng)，并深度拓展數據功能，建立多層級、多維度的質量安全檢測數據采集、共享網絡，實現(xiàn)數據復雜分析及水產品質量安全預警功能；三是，對現(xiàn)有水產品質檢機構管理功能進行升級，形成質檢體系管理模塊兒，強化信息通訊功能和對質檢體系建設信息的收集能力。上述系統(tǒng)密切結合，互為補充，提高數據分析和預警預報準確性，進一步加強對行業(yè)監(jiān)管的支撐能力。

升級、改造后的信息平臺，將能顯著提升支撐體系運轉效率，高效支撐行業(yè)監(jiān)管，并為養(yǎng)殖生產和政府部門針對性地開展養(yǎng)殖規(guī)劃和水產品質量安全管理政策措施提供科學依據，對提高我國養(yǎng)殖水產品質量安全科學研究、技術支撐和管理實踐具有十分重要的意義。

四、擬開發(fā)數據庫構架和設想（見以下方案）

水產品質量安全數據管理系統(tǒng)建設方案

本系統(tǒng)用于上報和管理水產品質量安全檢測數據、生產企業(yè)信息、實驗室基礎信息，集信息和管理于一體，系統(tǒng)建設突出集成、開放、易用、安全的原則，目的是為水產品質量安全管理、科研和交流等工作提供數據平臺和技術支撐。

一、系統(tǒng)架構

系統(tǒng)首頁面集成各類數據庫、接口以及信息窗口。

（一）集成的數據庫

1.產地水產品質量安全監(jiān)督抽查檢測信息數據庫

2.產地水產養(yǎng)殖生產企業(yè)數據庫

3.水產苗種生產企業(yè)數據庫

4.質檢機構管理數據庫

（二）數據庫接口

涉及暫緩開發(fā)的苗種檢測信息、貝類檢測信息和捕撈產品檢測信息等數據庫。

（三）信息窗口

包括“通知公告”、“新聞動態(tài)”、“政策文件”、“質量標準”、“交流專區(qū)”和“下載專區(qū)”等內容。

二、主要功能

本系統(tǒng)集成檢測數據、生產企業(yè)、質檢機構相關數據的上報、分析和管理，集信息和交流于一體，系統(tǒng)集成各數據庫、接口及信息窗口，主要功能如下：

（一）集成的數據庫

1.產地水產品質量安全監(jiān)督抽查檢測信息數據庫

本數據庫用于上報和管理產地水產品質量安全監(jiān)督抽查檢測信息，目的是服務水產品質量安全科研和管理。實現(xiàn)方便快捷的錄入、查詢和管理產地水產品質量安全監(jiān)督抽查檢測信息，用數據庫實現(xiàn)數據上報、匯總、分析和生產報告等功能。

2.產地水產養(yǎng)殖生產企業(yè)數據庫

本數據庫用于上報和管理全國產地養(yǎng)殖水產品生產企業(yè)信息，目的是服務農業(yè)部開展產地水產品質量安全監(jiān)督抽查生產企業(yè)隨機抽取工作。實現(xiàn)方便快捷的上傳、查詢和管理全國產地水產養(yǎng)殖生產企業(yè)數據，能開展基于復查選擇條件的企業(yè)記錄的隨機抽取。

3.水產苗種生產企業(yè)數據庫

同產地水產品養(yǎng)殖生產企業(yè)數據庫。

4.質檢機構管理數據庫

本數據庫用于上報和管理質檢機構基礎信息，目的是服務水產品質量安全檢測機構管理。實現(xiàn)方便快捷的上傳、查詢和管理質檢機構基礎信息，用數據庫實現(xiàn)數據查詢和統(tǒng)計等功能。

（二）其他檢測信息數據庫接口

預留苗種檢測信息、貝類檢測信息、捕撈產品檢測信息等數據庫接口，功能與產地水產品質量安全監(jiān)督抽查檢測信息數據庫類同，保證后續(xù)擴展的數據庫兼容性，能實施數據對接。

（三）信息窗口

“通知公告”、“新聞動態(tài)”、“質量標準”、“政策文件”、“等部分主要用來及更新有關信息，具有、刪除和查詢功能。

三、使用對象

各集成數據庫的使用者，各質檢機構、省、市級行政主管部門、中國水產科學研究院質量與標準研究中心和農業(yè)部。

四、建設原則

篇6

關鍵詞：高中信息技術；大數據；教育教學

中圖分類號：G434 文獻標識碼：A 論文編號：1674-2117（2017）06-0102-02

大數據在高中信息技術教學中的應用與優(yōu)勢

1.大數據的應用現(xiàn)狀

當前的“大數據”概念對高中信息技術教學的影響還比較小，很多教師在教學過程中還未產生真正意義上的深度融合，一些“大數據”的應用也未能有效地在教育教學中鋪展開來，從而制約著當前高中信息技術教學的發(fā)展。

2.大數據的應用優(yōu)勢

“大數據”全數據模式下的總體信息處理能力，極大地提高了教育教學中的信息鋪展面，并從樣本的研究轉向為系統(tǒng)化的總體研究。事實上，大數據的創(chuàng)新，將更為直接地剖析信息技術教學中的問題和現(xiàn)象，深化高中信息技g教學。[1]

高中信息技術教學中的大數據

1.教學資源數據

面向“大數據”，信息技術教師教學時能夠更加靈活、全面地汲取互聯(lián)網信息，并通過開放的多樣信息庫，獲取豐富的教學資源數據。同時，教師利用“大數據”能夠建立起教育教學過程的數據信息分析，產生更為科學、全面的教育教學過程分析結果，形成自產型教學資源數據。這樣，教師在進行高中信息技術教學的過程中，既有了外部信息資源數據進行支援，又有了內部自身的教學信息資源數據作為支撐。這能完善教育教學過程中的教學資源數據需求，產生更加有益于教學質量提高的信息鏈條。

2.學生信息數據

在教學活動中，教師按照學生自身的學習信息構建學生信息數據，動態(tài)地呈現(xiàn)學生自身參與信息技術教學過程中存在的即時性信息，這也是高中信息技術中所能夠利用的“大數據”。這一類數據不僅可以反映出學生的學習進度、學習狀態(tài)、學習問題，還能結合當前教師的教學進度、教學安排、教學內容等，進行科學的個體性調整，及時產生綜合全面的個體報告，讓教師能夠及時有效地掌握學生的信息數據。

大數據對高中信息技術教學的影響

1.利用大數據開展個性化、定制化教學

（1）個性化教學

“大數據”能夠構成基于學生信息數據的多維度動態(tài)化信息數據庫，在這一數據庫的基礎上，學生能夠更加自主地接收到適合自身學習狀況的個性化教學方案，彌補當前自身學習的不足。在教學中，教師可以依據“大數據”分析當前學生完成項目需求的具體情況來構建下一步的教學計劃，施行針對具體學生完成情況而設定的教學。

（2）定制化教學

“大數據”構建的數據信息庫，能夠基于當前的綜合信息給出較為精準的前瞻性判斷，也為定制化教學和教學引導提供了可能。這意味著學生在學習研究過程中的表現(xiàn)，被“大數據”技術進行積極主動的拓展性分析，并能夠結合具體的信息處理感應擬定相關的定制化教學方案。這解決了當前高中信息技術教學中固定標準、統(tǒng)一進度、時間有限、內容重復鋪設和教學的發(fā)展問題。

2.利用大數據實現(xiàn)優(yōu)質資源共享

（1）構建免費共享的學習資源庫

“大數據”一方面降低了資源庫建設的成本，另一方面引入互聯(lián)網、物聯(lián)網、三網融合等技術，在建設構成學習資源庫時，就已經面向開源的數據源，構成了具有很高開放度的信息資源庫，并在應用信息、處理信息、反饋信息的過程中，實現(xiàn)學習資源庫的建設和拓展。這意味著在未來的信息技術教學中，整個教學過程也將作為學習資源數據庫，構成免費共享的學習效果、學習反饋、學習研究模式的學習資源庫。[2]

（2）實現(xiàn)多學科交叉的資源共享

“大數據”不只局限于高中信息技術教學中，更能夠將信息技術應用發(fā)散到多學科交叉的資源共享中。在進行高中信息技術教學的過程中，教師通過“大數據”的信息處理，能夠服務于多種綜合學科的信息處理問題，如應用于數學統(tǒng)計、幾何學圖形化處理、歷史資料信息索引等的建設，并在完成高中信息技術教學的過程中，利用“大數據”結合多學科的信息資料和數據資料，完成這些多學科交叉的資源共享，實現(xiàn)綜合利用開發(fā)。

3.利用大數據打造學生成長和終身發(fā)展的平臺

（1）構建信息技術學習平臺

作為接觸開放信息技術學習的主要課程，當前高中信息技術教學的主要發(fā)展目標就是基于“大數據”構建信息技術學習平臺，擴展開源的信息技術學習在線課程內容，通過共享，實現(xiàn)更為全面、強大、綜合性高的信息技術學習平臺。

（2）展開網絡協(xié)調合作學習

“大數據”的信息技術應用為學生在線完成網絡協(xié)調合作學習提供了可能。今后，更為開放、全面、自主性高的學習模式將在開放性的網絡教育平臺基礎上得以實現(xiàn)，學生將可以擁有更多類型、高層次的網絡協(xié)調合作學習的機會。

4.利用大數據凝練學科核心素養(yǎng)

（1）凝練核心素養(yǎng)

信息技術學科核心信息素養(yǎng)由信息意識、計算思維、數字化學習與創(chuàng)新、信息社會責任四個核心要素組成。學生利用大數據創(chuàng)建的學習平臺，可以創(chuàng)造性地解決問題，養(yǎng)成自主學習、合作探索、不斷探究的良好學習方式。在此過程中，教師要不斷運用“大數據”來校對學生的任務解決能力，實時反映學生的學習效果，激發(fā)學生的學習興趣，提高他們的思維能力。

（2）實現(xiàn)教學評價

開放、全面、綜合性高的信息反饋，能夠促成師生更為全面、綜合地完成對教學活動的評價，通過“大數據”的信息鏈條，構成更加平衡的教學關系，使教學活動中的知識能力轉化和教學目標的實現(xiàn)更為高效。

綜上所述，“大數據”在當前的高中信息技術教學中具有應用優(yōu)勢，能夠豐富教學信息資源，并且有助于構建全面系統(tǒng)的學生信息數據?！按髷祿睂Ω咧行畔⒓夹g教學具有促進個性定制化教學、提高優(yōu)質資源共享、構建學生成長和終身發(fā)展的平臺的作用。利用大數據分析可以比較全面地生成學生的信息技術知識與技能、過程與方法、情感態(tài)度與價值觀等綜合表現(xiàn)方面的數據，進一步為教學活動服務。因此，教師應科學地施行對高中信息技術教學中“大數據”的挖掘和使用。

參考文獻：

篇7

關鍵詞：大數據；計算機信息安全；企業(yè)；防護策略

大數據（bigdata）形成于傳統(tǒng)計算機網絡技術應用中，并不能將它理解為傳統(tǒng)意義中大量數據的集合，而是其中涵蓋了更多的數據信息處理技術、傳輸技術和應用技術。正如國際信息咨詢公司Gartner所言“大數據在某些層面已經超越了現(xiàn)有計算機信息技術處理能力范圍，它是一種極端信息資源。[1]”正是基于此，社會各個領域行業(yè)才應用大數據技術來為計算機信息安全提供防范措施，尤其是企業(yè)計算機信息網絡，更需要它來構建網絡信息防護體系，迎接來自于企業(yè)外部不同背景下的不同安全威脅。

1關于企業(yè)計算機信息安全防護體系的建設需求

企業(yè)計算機系統(tǒng)涉及海量數據和多種關鍵技術，它是企業(yè)正常運營的大腦，為了避免來自于內外因素的干擾，確保企業(yè)正常運轉，必須為“大腦”建立計算機信息安全防護體系，基于信息安全水平評價目標來確立各項預訂指標性能，確保企業(yè)計算機系統(tǒng)不會遭遇侵犯威脅，保護重要信息安全。因此企業(yè)所希望的安全防護體系建設應該滿足以下3項需要。首先，該安全防護體系能夠系統(tǒng)的從企業(yè)內外部環(huán)境、生產及銷售業(yè)務流程來綜合判斷和考慮企業(yè)計算機信息安全技術、制度及管理相關問題，并同時快速分析出企業(yè)在計算機信息管理過程中可能存在的各種安全隱患及危險因素。指出防護體系中所存在的缺陷，并提出相應的防護措施。其次，可以對潛在威脅企業(yè)計算機系統(tǒng)的不安定因素進行定性、定量分析，有必要時還要建立全面評價模型來展開分析預測，提出能夠確保體系信息安全水平提升的優(yōu)質方案。第三，可以利用體系評價結果來確定企業(yè)信息安全水平與企業(yè)規(guī)模，同時評價該防護體系能為企業(yè)帶來多大收益，確保防護體系能與企業(yè)所投入發(fā)展狀況相互吻合。

2大數據環(huán)境對企業(yè)計算機信息安全建設的影響

大數據環(huán)境改變了企業(yè)計算機信息安全建設的思路與格局，應該從技術與管理維度兩個層面來看這些影響變化。

2.1基于企業(yè)計算機信息安全建設的技術維度影響

大數據所蘊含技術豐富，它可以運用分布式并行處理機制來管理企業(yè)計算機信息安全。它不僅僅能確保企業(yè)信息的可用性與完整性，還能提高信息處理的準確性與傳輸連續(xù)性。因為在大數據背景下，復雜數據類型處理案例比比皆是，必須要避免信息處理過程錯誤所帶來的企業(yè)信息資源安全損失，所以應該采取大數據環(huán)境技術來展開新的信息處理方式及存儲方式，像以Hadoop平臺為主的Mapreduce分布式計算就能啟動云存儲方式，對企業(yè)計算機信息進行有效存儲、轉移和管理，提高其信息安全水平。分布式計算會為企業(yè)計算機信息建立大型數據庫，或者采用第三方云服務提供商所提供的虛擬平臺來管理信息，這種做法可以為企業(yè)省下防火墻、數據庫、基礎性安防技術等等建設環(huán)節(jié)的大筆成本費用。在信息傳遞方面，大數據環(huán)境主要能夠干預企業(yè)信息傳遞，例如為企業(yè)計算機系統(tǒng)提供高速不中斷的傳遞功能模塊，以確保企業(yè)信息傳遞的完整性與可持續(xù)性。在此過程中為了確保企業(yè)計算機信息傳輸的安全可靠，就會基于大數據技術來為企業(yè)提供數據加密服務，確保數據傳輸整個過程都處于安全狀態(tài)，避免任何信息泄露、被盜取現(xiàn)象的發(fā)生。

2.2基于企業(yè)計算機信息安全建設的管理維度影響

在大數據環(huán)境下，企業(yè)計算機信息安全的管理維度影響不容忽視，它體現(xiàn)在人員管理、大數據管理與第三方信息安全等多個方面。在人員管理管理方面，大數據為企業(yè)所提供的是由傳統(tǒng)集中辦公向分散式辦公的工作模式轉變，它創(chuàng)建了企業(yè)自帶辦公設備BYOD（BringYourOwnDevice），BYOD一方面能有效提高員工積極性，一方面也能為企業(yè)購置辦公設備節(jié)約成本，不過它也能影響到企業(yè)計算機的信息安全管理事項，移動設備大幅度降低了企業(yè)對計算機系統(tǒng)安全的可控度，可能會難以發(fā)現(xiàn)來自于外部黑客及安全漏洞、計算機病毒對系統(tǒng)的入侵，一定程度上增加了信息泄漏的安全隱患。在第三方信息安全管理方面，它可能會對企業(yè)信息安全帶來巨大影響，因為第三方信息是需要用來進行加工分析的，但它對于企業(yè)計算機系統(tǒng)是否能形成保障實際上是難以被企業(yè)穩(wěn)定控制的，所以企業(yè)要確切保證第三方信息安全管理的有效性，基于大數據強化企業(yè)信息安全水平，利用分權式組織結構來提高企業(yè)計算機系統(tǒng)及信息的利用效率，同時也增強大數據之于企業(yè)計算機系統(tǒng)的應用實效性。

3基于大數據優(yōu)化環(huán)境下的企業(yè)計算機信息安全防護策略

企業(yè)計算機信息安全對企業(yè)發(fā)展至關重要，為其建立安全防護體系首先要明確其信息安全管理是一項動態(tài)復雜的系統(tǒng)性工程。企業(yè)需要從管理、人員和技術3方面來滲透大數據意識及相關技術理念，為企業(yè)計算機系統(tǒng)構筑防線，保護信息安全。

3.1基于管理層面的計算機信息安全防護策略

社會企業(yè)其實就是大數據的主要來源，所以企業(yè)在對自身計算機信息安全進行保護過程中需要面臨可能存在的技術單一、難以滿足企業(yè)信息安全需求等問題。企業(yè)需要基于大數據技術來建立計算機信息安全防護機制，從大數據本身出發(fā)，做到對數據的有效收集和合理分析，準確排查安全問題，建立企業(yè)計算機信息安全組織機構。本文認為，該計算機信息安全防護策略中應該包含安全運行監(jiān)管機制、信息安全快速響應機制、信息訪問控制機制、信息安全管理機制以及災難備份機制等等。在面對企業(yè)的關鍵性信息時，應該在計算機系統(tǒng)中設置信息共享圈，盡可能降低外部不相關人員對于某些機密信息的接觸可能性，所以在此共享圈中還應該設置信息共享層次安全結構，為信息安全施加“雙保險”。另一方面，企業(yè)管理層也應該為計算機系統(tǒng)建立信息安全生態(tài)體系，一方面為保護管理層信息流通與共享，一方面也希望在大數據環(huán)境下實現(xiàn)信息技術的有效交流，為管理層提出企業(yè)決策提供有力技術支持。再者，企業(yè)應該完善大數據管理制度。首先企業(yè)應該明確大數據主要由非結構化和半結構化數據共同組成，所以要明確計算機系統(tǒng)中的所有大數據信息應該通過周密分析與計算才能最終獲取，做到對系統(tǒng)中大數據存儲、分析、應用與管理等流程的有效規(guī)范。舉例來說，某些企業(yè)在管理存儲于云端的第三方信息時，就應該履行與云服務商所簽訂的第三方協(xié)議，在此基礎上來為企業(yè)自身計算機系統(tǒng)設置單獨隔離單元，防止信息泄露現(xiàn)象。另一方面，企業(yè)必須實施基于大數據的組織結構扁平化建設，這樣也能確保計算機系統(tǒng)信息流轉速度無限加快，有效降低企業(yè)基層員工與高層管理人員及領導之間的信息交流障礙[2]。

3.2基于人員層面的計算機信息安全防護策略

目前企業(yè)人員所應用計算機個人系統(tǒng)已經趨向于移動智能終端化，許多BYOD工作方案紛紛出現(xiàn)。這些工作方案利用智能移動終端連接企業(yè)內部網絡，可以實現(xiàn)對企業(yè)數據庫及內部信息的有效訪問，這雖然能夠提高員工的工作積極性，節(jié)約企業(yè)購置辦公設備成本，但實際上它也間接加大了企業(yè)對計算機信息安全的管理難度。具體來說，企業(yè)無法跟蹤員工的移動終端來監(jiān)控黑客行蹤，無法第一時間發(fā)現(xiàn)潛藏病毒對企業(yè)計算機系統(tǒng)及內網安全的潛在威脅。因此企業(yè)需要針對員工個人來展開大數據背景下的信息流通及共享統(tǒng)計，明確員工在工作進程中信息的實際利用狀況。而且企業(yè)也應該在基于保護大數據安全的背景下來強化員工信息安全教育，培養(yǎng)他們的信息安全意識，讓員工在使用BYOD進行企業(yè)內部計算機數據庫訪問及相關信息共享過程中提前主動做好數據防護工作，輔助企業(yè)共同保護內部重要機密信息。

3.3基于安全監(jiān)管技術層面的計算機信息安全防護策略

在大數據環(huán)境中，企業(yè)如果僅僅依靠計算機軟件來維持信息安全已經無法滿足現(xiàn)實安全需求，如果能從安全監(jiān)管技術層面來提出相應保護方案則要配合大數據相關技術來實施?？紤]到企業(yè)容易受到高級可持續(xù)攻擊（AdvancedPersistentThreat）載體的威脅（形成隱藏APT），不易被計算機系統(tǒng)發(fā)覺，為企業(yè)信息帶來不可估量威脅，所以企業(yè)應該基于大數據技術來尋找APT在實施網絡攻擊時所留下的隱藏攻擊記錄，利用大數據配合計算機系統(tǒng)分析來找到APT攻擊源頭，從源頭遏制它所帶來的安全威脅，這種方法在企業(yè)已經被證實為可行方案。另外，也可以考慮對企業(yè)計算系統(tǒng)中重要信息進行隔離存儲，利用較為完整的身份識別來訪問企業(yè)計算機管理系統(tǒng)。在這里會為每一位員工發(fā)放唯一的賬號密碼，并利用大數據來記錄員工在系統(tǒng)中操作的實時動態(tài)，監(jiān)控他們的一切行為。企業(yè)要意識到大數據的財富化可能會導致計算機系統(tǒng)大量信息泄露，從而產生內部威脅。所以在大數據背景下，應該為計算機系統(tǒng)建立信息安全模式，利用其智能數據管理來實現(xiàn)系統(tǒng)的安全管理與自我監(jiān)控，盡可能減少人為操作所帶來的不必要失誤和信息篡改等安全問題。除此之外，企業(yè)也可以考慮建立大數據實時風險模型，對計算機系統(tǒng)中所涉及的所有信息安全事件進行有效管理，協(xié)助企業(yè)完成預警報告、應急響應以及風險分析，做好對內外部違規(guī)、誤操作行為的有效審計，提高企業(yè)信息安全防護水平[3]。

4總結

現(xiàn)代企業(yè)為保護計算機信息數據安全就必須與時俱進，結合大數據環(huán)境，利用信息管理、情報、數學模型構建等多種科學理論來付諸實踐，分析大數據環(huán)境下可能影響到企業(yè)信息安全水平的各個因素，最后做出科學合理評價。本文僅僅從較淺角度分析了公司企業(yè)在大數據背景下對自身計算機信息安全的相關防護策略，希望為企業(yè)安全穩(wěn)定發(fā)展提供有益參考。

參考文獻：

[1]尹淋雨.大數據環(huán)境下企業(yè)信息安全水平綜合評價模型研究[D].安徽財經大學,2014:49-51.

[2]雷邦蘭,龍張華.基于大數據背景的計算機信息安全及防護研討[J].網絡安全技術與應用,2016(5):56,58.

篇8

關鍵詞：大數據；數據倉庫；電費風險管控

現(xiàn)狀

為了更好地掌握當前的用電以及電費回收情況，需要相關業(yè)務的詳細數據，由于目前各業(yè)務系統(tǒng)無此專項數據分析功能，只能人工拼湊導出多個系統(tǒng)多個功能的數據明細，需要耗費大量時間進行人工核對處理，工作效率低下，任務繁重，迫切需要基于大數據技術的專項數據監(jiān)測分析功能。

提升電費回收率需對不同的業(yè)務場景進行分析研究，因地制宜，制定更加合理化地專項解決措施，更有效地提升回收率。需要系統(tǒng)提供專項數據分析，作為專項治理的數據依據。

1建設目標

遵循國家電網公司（以下簡稱國網）典設，借鑒試點經驗，充分遵從國網大數據平臺和業(yè)務場景的研究成果，積極吸取各試點單位的大數據場景實施建設經驗。同時，從公司業(yè)務部門自身的生產運行、企業(yè)的經營管理等實際需求出發(fā)，按照需求全面統(tǒng)籌，成熟一個實施一個的思想，逐步實現(xiàn)各個主題場景的落地實施，體現(xiàn)石家莊電力的業(yè)務特色和管理創(chuàng)新。

2系統(tǒng)建設方案

基于大數據的電費風險管控平臺采用大數據技術及數據集市，與省公司的HIVE數據倉庫對接，智能自動化地實現(xiàn)電費數據信息的抽取、清洗、轉換、計算及存儲，相對于原來人工拼湊并處理數據的非即時性，大幅度提高了工作效率。此平臺采用B/S結構進行開發(fā)，只要在公司內網的信息終端，都可以使用該系統(tǒng)。

2.1系統(tǒng)技術架構

大數據平臺技術架構包含數據整合、數據存儲、數據計算、數據分析、平臺服務五個層次，技術架構如下圖所示。

大數據平臺技術組件以集成成熟開源產品為主，并對現(xiàn)有可重用的SG-ERP組件進行提升改造，相關生產應用可適時遷移至大數據平臺。在數據整合方面，融合實時消息隊列、數據抽取、日志采集、服務接口等技術，實現(xiàn)異構數據的快速接入；在數據存儲方面，采用關系數據庫、分布式文件系統(tǒng)、分布式列式數據庫、內存數據庫等存儲技術，滿足海量數據實時、準實時存儲需求；在數據計算方面，提供流計算、批量計量、內存計算等數據處理技術；在數據分析方面，采用開源挖掘工具R語言、Mahout，并構建分布式數據挖掘算法庫；同時，完善智能分析決策平臺的分析模型設計器，構建統(tǒng)一的分析建模能力和運行引擎。在平臺服務方面，提供統(tǒng)一的存儲、計算、分析、展現(xiàn)等服務。

2.2系統(tǒng)功能架構

該平臺的功能模塊包括：整體概況分析、預收電費分析以及欠費電費分析。

2.2.1整體概況分析模塊：用于分析電費回收的整體情況，包含發(fā)行電費、預收電費以及欠費電費。包含四個子模塊：整體概況分析、供電單位分析、行業(yè)分析和電壓等級分析。

2.2.2預收電費模塊：用于預收電費的專項分析，包括預收整體概況、供電單位分布、行業(yè)分布，以及預收走勢四部分。

2.2.3欠費電費模塊：針對欠費電費的專項分析，欠費電費分為陳欠電費和當年欠費。此模塊包含：欠費整體概況、欠費分布（行業(yè)/供電單位分布）以及欠費走勢（整體/行業(yè)/供電單位）三部分。

3應用效果

基于大數據的電費風險管控平臺首次嘗試電費專項場景分析，實現(xiàn)了對現(xiàn)有業(yè)務系統(tǒng)海量電費數據的挖掘分析。根據實際的業(yè)務情況，對電費數據進行不同主題的深入分析，從供電單位、行業(yè)、電壓等級等多維度分析展示電費回收情況，并通過圖表直觀展示可能存在的風險，大大提升了人工處理數據的效率，實現(xiàn)了電費數據分析的智能自動化，使電費回收情況更直接直觀地呈現(xiàn)，為電費風險管控提供科學地數據支持，幫助業(yè)務人員發(fā)現(xiàn)風險管控弱點，從而提升企業(yè)整體的經濟效益。該平臺以數據為驅動，管理為手段，提升企業(yè)經營管理健康度和經濟效益為目標，將進一步提升電費回收率，提升企業(yè)的科學化、自動化監(jiān)測水平，有效控制公司管理成本，為電費風險管控提供有力支持，為企業(yè)的經濟效益提升起到直接的作用。推廣應用前景廣闊，經濟效益和社會效益巨大。

基于大數據的電費風險管控平臺的投運將產生巨大的經濟效益。化被動為主動，穿透數據發(fā)現(xiàn)風險管控弱點，制定強化管控措施，及時有效地降低電費回收風險，產生直接的經濟效益。

基于大數據的電費風險管控平臺的使用使電費管理更加科學、高效、精細化、規(guī)范化。運用先進技術手段實現(xiàn)對實際工作的輔助指導。通過改變原有管理模式，實現(xiàn)工作效率的提升，提高專業(yè)管理水平，產生了良好的管理效益，達到了預期目的。

篇9

【關鍵詞】大數據；環(huán)境保護；云計算；應用；探究

大數據時代，不但各種數據形態(tài)發(fā)生了巨大的變化，而且現(xiàn)代人們的思維與管理模式也在發(fā)生深刻的變化。將大數據應用在環(huán)境保護領域，可以有效整合社會各方面資源，對當前出現(xiàn)的環(huán)境問題進行多元化協(xié)同治理，提高環(huán)境治理效益。下面本文簡要探討大數據在環(huán)境保護領域中的應用情況。

一、大數據概述

大數據的價值主要依據多種技術協(xié)同體現(xiàn)出來的，其中文件系統(tǒng)可以為其提供最底層存儲能力服務。為了加強數據管理，通常需要在文件系統(tǒng)上面構建數據庫體系，借助索引，對外界提供高效率的數據查詢等相關功能，最后利用數據分析技術從數據庫里面的大數據提取各種有益知識。

（一）云計算

云計算相當于支撐大數據“這輛汽車”運行的“高速公路”，云計算可以為大數據提供數據存儲、管理及分析方面的服務。云計算是一個服務器集群，可以為一切可以上網的顯示器服務，屬于一對多的服務模式；云計算主要通過互聯(lián)網進行信息的遠程輸送，從不確定位置的服務器集群處理用戶命令、以及各項數據。云計算的核心原理是用戶需要的應用程序，處理數據不需運行，存儲在本地個人手機或者電腦等各種終端設備上面，通過互聯(lián)網數據中心或者大規(guī)模服務器集群進行存儲。

（二）大數據處理工具

現(xiàn)階段，Hadoop是最流行的大數據處理平臺，它先開始是模仿GFS，MapReduce實現(xiàn)云計算開源平臺之一，后來逐漸成為包括數據庫、文件系統(tǒng)、數據處理功能模塊的體系化生態(tài)系統(tǒng)，事實上，Hadoop已經是大數據處理工具。目前研究焦點主要集中在如何改進Hadoop平臺的性能，構建索引，實現(xiàn)高效率的查詢處理，以及在Hadoop上面建設數據倉庫等。

（三）數據分析與挖掘

數據分析與挖掘是云計算最核心的業(yè)務，也是整個大數據處理流程的重點內容，這主要是因為大數據的價值在分析過程中產生。從異構數據源提取與集成的數據形成了數據分析的最原始數據，按照不同應用需求從數據中選取一部分進行挖掘分析。

二、大數據在環(huán)境保護領域中的應用探究

在將大數據技術、服務應用在現(xiàn)代環(huán)境保護與生態(tài)文明建設過程中時，可以合理利用大數據解決環(huán)境保護工作中的一些棘手問題：

（一）數據公開與數據收集。只有進一步提高環(huán)保系統(tǒng)各相關部門的數據公開水平，才有助于實現(xiàn)大數據應用的創(chuàng)新。推動我國大數據的發(fā)展，重點在于改變政府理念，推行數據公開，理應由政府牽頭帶到社會各行各業(yè)公開數據，然后收集整理數據，將數據入庫，進行數據分析，在將分析結果完整地展現(xiàn)在公眾面前，進而讓數據這一生產要素可以自由流動，在流動過程中逐漸提高附加值。同時，進行數據收集，借助互聯(lián)網、傳感器網絡等先進的技術手段，環(huán)保管理單位以及環(huán)保志愿者們可以很方便地將收集到的數據輸送至數據中心，間接地讓公眾成為環(huán)保部門工作的有力監(jiān)督者，有助于環(huán)保部門加大力度治理違法排污企業(yè)[3]。此外，通過社會公眾提供多種類型數據，進一步豐富了環(huán)境數據，可以為數據公開、數據分析提供最新數據。

（二）空氣質量預警預報。充分利用氣象數據、空氣質量自動監(jiān)測得到的數據、污染源自動監(jiān)控得到的數據進行相關性分析，達到空氣質量預警預報的目的。同時，通過大數據技術、應用服務分析與環(huán)境保護、生態(tài)文明建設之間關系，進一步探究進行生態(tài)文明建設的內在規(guī)律，從宏觀角度看，可服務于人類長遠的生存、發(fā)展。另外，借助大數據技術進行空氣質量預警預報，有利于警醒現(xiàn)代人們對環(huán)境保護問題的重視，進一步大力普及環(huán)境保護方面的知識。且研究理論成果的出現(xiàn)，可以整合整個社會的力量關注環(huán)境保護問題，推動重大社會問題的治理，以此促進人類社會的和諧、快速發(fā)展[4]。

（三）利用大數據采集技術分析環(huán)境污染成因，將各種不同種類的環(huán)境指標信息和污染源排放信息相互結合，開展數據分析活動，通過科學的分析合理預測企業(yè)排污強度，污染源分布情況及其對周圍環(huán)境質量的影響，以此為依據制定環(huán)境治理方案，并定時監(jiān)測環(huán)境治理效果，不斷改進治理方案。大數據作為一個重要的分析、衡量工具，但它并不能衡量所有事物，很多非量化事物需要借助人類獨特的思維力把握。但是通過大數據技術可以讓人類更加了解世界，對未來有一定的預測性，未來的數據挖掘、分析技術不但是各大環(huán)保企業(yè)的競爭力根源，還可能是國和國之間競爭的重要部分。將大數據技術應用在環(huán)保領域，可有效提高我國環(huán)境保護治理水平，為我國核心競爭力的提高提供有力支持。

三、結束語

大數據技術的發(fā)展及應用，可以說為人類治理環(huán)境問題提供了一條嶄新的途徑，對于環(huán)境保護者而言，既要積極地促進大數據技術在環(huán)境保護領域中合理應用，進而在認識自然界客觀發(fā)展規(guī)律方面獲得更多自由。同時又要注意避免大數據技術應用過程中潛在的各種風險，從戰(zhàn)略高度認識環(huán)境保護工作，充分發(fā)揮大數據在環(huán)境保護領域的作用。

參考文獻：

[1]孟小峰.大數據管理：概念、技術與挑戰(zhàn)[J].計算機研究與發(fā)展，2013，2（01）：63-66.

[2]李國杰.大數據研究：未來科技及經濟社會發(fā)展的重大戰(zhàn)略領域――大數據的研究現(xiàn)狀與科學思考[J].中國科學院院刊，2012，7（06）：322-325.

篇10

關鍵詞：信息技術；安全性；高可用性；數據庫

0引言

面金融市場的激烈競爭和信息技術的飛速發(fā)展，銀行的科技體系建設呈現(xiàn)了“數據集中化、業(yè)務綜合化、管理扁平化、決策科學化”的發(fā)展趨勢。與業(yè)務相關的后臺數據庫中的業(yè)務數據量也在成幾何量級增長。由于大型商業(yè)銀行內部業(yè)務模式種類繁多，交易流程復雜，需要根據不同的業(yè)務規(guī)則和數據特點，選取不同的數據庫。目前，在商業(yè)銀行信息系統(tǒng)體系中，涉及到的數據庫主要包括DB2、Oracle、SQL Server，部分系統(tǒng)還用到了MySql等開源數據庫。

1DB2數據庫

1.1DB2簡介

DB2全稱為IBM DB2，是美國IBM公司開發(fā)的一套關系型數據庫管理系統(tǒng)，它主要的運行環(huán)境為UNIX、Linux、z/OS，以及Windows服務器。DB2主要應用于大型應用系統(tǒng)，具有較好的可伸縮性，可支持從大型機到單用戶環(huán)境。DB2提供了高層次的數據利用性、完整性、安全性、可恢復性，以及小規(guī)模到大規(guī)模應用程序的執(zhí)行能力，具有與平臺無關的基本功能和SQL命令。

1.2 DB2在銀行的應用

雖然銀行業(yè)中后臺信息系統(tǒng)數量眾多，但其主要工作是進行各種賬務交易管理，對于需要進行大量賬務處理和計算的銀行信息系統(tǒng)普遍采用DB2數據庫。銀行系統(tǒng)要求高穩(wěn)定性、高可靠性和高安全性，Unix+DB2的組合對銀行的系統(tǒng)高要求滿足的較好。IBM提供的主機和數據庫的解決方案，在很多銀行都有成熟的案例。

對于大型的商業(yè)銀行，銀行系統(tǒng)每天處理的請求可能要上億次，DB2數據庫對海量數據的管理更是十分出色。作為世界上最快的數據庫之一，它可以在一天內完成9000多萬次文本搜索，且每次的響應時間都小于半秒。銀行信息系統(tǒng)中的服務器有很大一部分都是IBM的大型機和小型機，在數據庫層面，選擇IBM的DB2數據可以更好的發(fā)揮服務器和數據庫的優(yōu)勢。

2 ORACLE數據庫

2.1 ORACLE簡介

Oracle是美國Oracle公司提供的以分布式數據庫為核心的一組軟件產品，是目前最流行的C/S或B/S體系結構的數據庫之一。它具有完整的數據管理功能；作為一個關系數據庫，它是一個完備關系的產品；作為分布式數據庫，它實現(xiàn)了分布式處理功能。系統(tǒng)可移植性好、使用方便、功能強，適用于各類大、中、小、微機環(huán)境。它是一種高效率、可靠性好的適應高吞吐量的數據庫解決方案。

2.2 ORACLE在銀行的應用

Oracle可以支持Unix、Linux和Windows等主流操作系統(tǒng)，而且做為專業(yè)做數據庫起家的Oracle，配套開發(fā)了許多高可用組件，為大型的應用系統(tǒng)提供了成熟完備的數據庫高可用解決方案，如：Oracle RAC、GodenGate、Data Guard等。這些組件在銀行的信息系統(tǒng)中使用相當廣泛，比如網上銀行系統(tǒng)、手機銀行和各類臺帳管理系統(tǒng)等。

完善災備系統(tǒng)是銀行建設中至關重要的一項工作，Oracle公司提供數據庫級別的異地災備技術，這為銀行信息系統(tǒng)的異地多活提供了可行性。并且Oracle在數據庫的技術服務支持方面也相當完備，很多銀行并沒有技術能力很強的數據庫維護人員，Oracle可以提供多種層次的數據庫維保服務，為銀行系統(tǒng)的高效可靠的運行保駕護航。

隨著Oracle 12C的，Oracle在云計算和大數據方面的優(yōu)勢也逐漸顯現(xiàn)，各大銀行都有海量的業(yè)務和客戶數據，如何利用其進行精準營銷已經成為各大銀行業(yè)務的新訴求。使用Oracle的最新產品，可以對客戶數據進行數據挖掘和大數據分析，為銀行業(yè)務部門提供強有力的支持。

3 SOL SERVER數據庫

SQL Server微軟公司推出的一種關系型數據庫系統(tǒng)。它是一個可擴展的、高性能的、為分布式客戶機/服務器計算所設計的數據庫管理系統(tǒng)，實現(xiàn)了與WindowsNT的有機結合，提供了基于事務的企業(yè)級信息管理系統(tǒng)方案。

SQL Server以其內置的數據復制功能、強大的管理工具、與Internet的緊密集成和開放的系統(tǒng)結構為廣大的用戶、開發(fā)人員和系統(tǒng)集成商提供了一個出眾的數據庫平臺。由于SQL Server只能在Windows平臺上運行，沒有絲毫的開放性，這就限制了它的應用范圍。Windows操作系統(tǒng)由于其自身的限制，每運行一段時間就需要重啟，這對需要提供7*24小時不停服務的銀行系統(tǒng)帶來極大的問題。SQL Server在銀行內部系統(tǒng)中應用較少，主要在一些由微軟公司提供的應用系統(tǒng)。

4 MYSQL數據庫

MySql是一種開放源代碼的關系型數據庫管理系統(tǒng)，MySql是一個真正的多用戶、多線程數據庫服務器。MySql雖然是免費的，但同Oracle，DB2等商業(yè)數據庫一樣，具有數據庫系統(tǒng)的通用性。

相較于DB2、Oracle和SQL Server數據庫，MySql數據庫更輕量級，對服務器資源要求低，但又能提供高并發(fā)和大事務處理能力。但是MySql官方并不能提供成熟的高可用解決方案，對于銀行端來說，更希望使用成熟的高可用產品，而且沒有很多的技術實力和精力去做二次開發(fā)和改進，所以MySql在銀行信息系統(tǒng)中使用的并不多。

現(xiàn)在有一些銀行在國家去IOE的號召下，開始嘗試在一些新興的互聯(lián)網金融產品中引用MySql數據庫，配合成熟的第三方高可用組件，也取得了不錯的效果。