緒論:寫作既是個人情感的抒發(fā),也是對學術真理的探索,歡迎閱讀由發(fā)表云整理的11篇云計算理論論文范文,希望它們能為您的寫作提供參考和啟發(fā)。
云計算是一種以互聯(lián)網為依托的數(shù)字化技術,通過統(tǒng)一分配、籌劃等多種計算方式,精簡了以往復雜、煩瑣的計算程序,被廣泛應用于商業(yè)計算領域中。截至目前,學術界仍然沒有明確云計算技術的概念,筆者淺顯地認為,云計算技術是一種歷經變革的新興計算模式,借助云計算,將需要共享的數(shù)據(jù)或資料傳輸?shù)皆O備上,并對其統(tǒng)一籌劃和整理,從而將這些內容轉化為虛擬資源,按需索取,既簡單又便捷。
1.2云計算的種類
1.2.1公有云
公有云是指按照云計算的規(guī)模劃分,在對已有資料籌劃和整理后,總端操控處將其發(fā)送給需求者,具有操作簡單、快捷等優(yōu)勢。但公有云模式的缺陷也較為明顯,即采用公共模式存放所有的資料,容易導致資料泄露。因此,應提高此模式的安全性和可靠性。
1.2.2私有云
私有云與公有云相似,二者都按照計算規(guī)模劃分,業(yè)內人士將私有云稱為“私有模式”。私有云具有自行調整資源的優(yōu)勢,但在最初的準備階段,需要大量的啟動資金才能開展,這是私有云模式的明顯缺陷。
1.2.3混合云
混合云是指公有云與私有云的合體,兼?zhèn)淞硕叩膬?yōu)勢和弊端。
2云計算在高校實驗室的應用現(xiàn)狀
隨著時代和經濟的發(fā)展,在我國高等教育院校中,計算機的使用頻率和普及程度在逐年上升。作為一種新型的管理系統(tǒng),云計算被廣泛應用于高校實驗室中。因此,我們應按照教學的實際需要,制訂最佳的管理策略。
2.1簡化設備管理
僅憑校園的硬件設備完成對設備的維護工作是不可能的,但如果延長維護時間,不僅會耽誤日常使用,還會造成重復性故障,進而加大了整改難度和資金投入。從專業(yè)的角度看,軟件的修復和更新工作均十分煩瑣。而使用云計算技術能有效補足這方面的短板,實驗室的管理人員只需借助云計算設備修復和更新“有需要”的機器,便可有效縮短工作時間,從而減少操作的復雜程度.
2.2統(tǒng)一安全修復高校
由于高校的教學任務繁重,所有學生都在同一個實驗室上課,導致計算機設備處于不停歇的運轉狀態(tài),硬件和軟件的使用頻率過高,造成系統(tǒng)超負荷工作,加之計算機的數(shù)量龐大,無法做到及時維護,這也加大了系統(tǒng)出現(xiàn)故障的概率。而云計算可利用云端對每一臺計算機進行操控,用戶可按需索取。比如,用戶想要對系統(tǒng)殺毒或升級,便可利用云計算同時進行這2種操作,且操作方式簡單、快捷,有效節(jié)省了時間。此外,服務器還會記錄用戶的所有訪問,檢測可能會影響設備安全運行的潛在威脅,并對系統(tǒng)自動修復、還原。現(xiàn)階段,我國大部分高校采用還原保護方式,在安裝應用后,必須放開保護權限,系統(tǒng)長時間處于無保護的狀態(tài)下,容易受到惡意侵犯。而云計算具有軟件備份、統(tǒng)一管理資源和設備的功能,管理系統(tǒng)時,系統(tǒng)仍處于防護狀態(tài),從而可消除對系統(tǒng)產生威脅的因素,有效改善以往不安全的運行環(huán)境。
2.3減少學校資金投入
因為成本太高,多數(shù)高校不可能一次性更換所有的設備,所以,分批購買是大多數(shù)高校購買計算機的方式,但這樣會造成機器型號不一、種類繁雜等情況,進而加大了實驗室管理工作的難度。而引用云計算技術,可實現(xiàn)軟件云端化,在服務器中安裝軟件,這樣在降低高校設備維修費、使用費用的同時,還延長了計算機的使用壽命,可謂一舉兩得。
2.4提高實驗室的使用效率
從實驗室使用效率的角度看,常存在編碼落實情況較差的問題,且設備分布較為分散,導致師生之間溝通困難,教師無法實行統(tǒng)一授課,學生的操作平臺散亂,最終嚴重影響了教學質量。雖然很多機器均未老化、損壞,但卻因出現(xiàn)故障時沒得到及時維修,最終變?yōu)殚e置機器。而云計算技術能統(tǒng)一籌劃、集中各個設備,師生之間可借助云端分享數(shù)據(jù)和信息,具有效率高、操作方便的特點,提高了課堂教學的效率和質量。
3云計算在實驗室管理中的技術原理
云計算具有強大的執(zhí)行力,管理層的核心主宰功能和在云端儲存資源或軟件的功能強大。雖然云計算屬于高新技術,但它對機器硬件方面的要求并不高,從而有效減少了實驗室的管理成本。此外,連接虛擬化層具有轉化工作項目的效果,采用簡單易行的邏輯形式,降低了設備承受的壓力;可連接終端用戶訪問層,即使用者登錄系統(tǒng)后,可按需所取、訪問各項資源。
現(xiàn)在運用的云計算技術它的存儲設備已經由原來的TB級別的技術上升到了PB級別的技術,這種技術的主要特點就是存儲的空間體積更加的大,云計算技術通過存儲設備級別的提升,也大大的提高了其自身可存儲的數(shù)據(jù)的體量。
(二)數(shù)據(jù)的種類繁多。
一般應用云計算技術的領域都是涉及到這個領域的各個不同方面的數(shù)據(jù),對于這種數(shù)據(jù)若是通過傳統(tǒng)的方式進行整合處理,其工作量巨大,且分析的有效性有待考量,而通過云計算技術就可以實現(xiàn)對同一領域的不同數(shù)據(jù)的有效整合,分析出切實有效的數(shù)據(jù)。
(三)數(shù)據(jù)的處理速度快。
云計算技術將各個方面的數(shù)據(jù)進行搜集,通過后臺操作,可以實現(xiàn)一秒處理這樣的高效率運行,極大的提高的數(shù)據(jù)的處理速度,實現(xiàn)了現(xiàn)代管理的效率化運行。
二、目前圖書館管理在云計算背景下面臨的挑戰(zhàn)
隨著云計算技術的廣泛應用,在現(xiàn)代化圖書館管理模式中的應用越來越廣泛,云計算技術的特點有效的解決了傳統(tǒng)人工管理存在的工作量大、數(shù)據(jù)計算難度大等突出的問題,大大的提高了圖書館管理工作的效率,但是由于技術能力、設備水平及人員素質等方面的影響,云計算在現(xiàn)代化的圖書館管理中還存在著很多的問題,其面臨的挑戰(zhàn)具體表現(xiàn)為以下幾個方面:
(一)云計算技術的發(fā)展使圖書館管理面臨著大量的人才缺口。
云計算技術是一種高端的數(shù)字化技術,對其的操作需要具有一定水平的技術人員,但是目前大多數(shù)的圖書館管理人員一般都是市場雇傭員工,他們的知識水平和技術能力都不太高,對于現(xiàn)代化的數(shù)字技術存在著一定的盲區(qū),不能夠有效的操作現(xiàn)代技術設備,使云計算技術在圖書館管理中的應用面臨很大的阻礙。
(二)云計算技術的發(fā)展使圖書館管理面臨著巨大的硬件、軟件建設資本投入。
云計算是現(xiàn)代計算技術的又一次騰飛,其具有著存儲數(shù)據(jù)大、處理速度快等優(yōu)勢,目前現(xiàn)在圖書館中應用的計算機等一系列的硬件軟件的功能都不能適應云計算的要求,為了有效的擴大云計算技術在圖書館管理中的應用就必須要對現(xiàn)代的設備進行更新?lián)Q代,引進適宜的、先進的現(xiàn)代化的云計算處理設備。
(三)云計算技術的發(fā)展使圖書館管理面臨著一定的安全問題的挑戰(zhàn)。
目前大多數(shù)的圖書館應用的還是傳統(tǒng)的計算機處理管理模式,對于數(shù)據(jù)的安全性和可靠性沒有形成一定的保護措施,這使大多數(shù)的圖書館經常會發(fā)生一些數(shù)據(jù)遺失或被盜等問題,隨著云計算技術的投入應用,圖書館管理的安全性就會有一個質的提高,各項數(shù)據(jù)統(tǒng)一管理、集中處理,大大的降低了數(shù)據(jù)流失的可能性。
三、完善圖書館管理過程中的云計算技術支持措施
為了有效的提高圖書館管理技術的水平,我們目前大多數(shù)的圖書館管理者都在逐步的加強云計算技術在管理過程中的應用范圍,總的來說云計算技術對于完善圖書館管理水平的支持主要是包括基礎服務層、數(shù)據(jù)分析層和終端層這三個技術平臺,為了能夠使云計算技術更好的適應現(xiàn)代化圖書館管理的要求,我們可以從以下三個方面的發(fā)展來加強技術的支持:
(一)基礎服務層。
這是數(shù)據(jù)的分析層和終端的層的基礎設施,它的主要目的是利用現(xiàn)有的云計算技術,對涉及的不同的類型的數(shù)據(jù)進行整合分析,同時對異構的數(shù)據(jù)進行存儲,從而保障數(shù)據(jù)的安全、穩(wěn)定。在圖書館管理過程中,我們首先就應該加強對這一技術的發(fā)展,大大的擴大數(shù)據(jù)的數(shù)量,把一些圖書館中的信息轉換成電子數(shù)據(jù)信息,從而上傳到存儲設備中,加大基礎服務層的信息量。
(二)數(shù)據(jù)分析層。
這一層面的技術主要是結合著服務層面存儲的數(shù)據(jù)和圖書館管理的實際需求,利用數(shù)據(jù)分析功能和數(shù)據(jù)的挖掘技術,對所存儲的信息進行處理、分析,從而產生切實有效的決策或者是判斷數(shù)據(jù),實現(xiàn)數(shù)字化的圖書館管理水平。這一層面技術的保障工作就是我們必須要不斷地對圖書館管理的實際需求進行調查更新,從而使數(shù)據(jù)分析的依據(jù)更加的切實有效。
(三)終端層。
終端層主要是將數(shù)據(jù)分析層傳輸回的數(shù)據(jù)分析結果到云終端之上,我們可以根據(jù)不同的要求,提供不同的分析結果從而使服務對象能夠更加容易的使用和理解,準確的找到與需求相對應的功能入口。
1.課程準備
首先是編制導學案。主備教師在該學科集體備課前準備好學案和電子課件,然后在集體備課時共同研討、優(yōu)化學案和電子課件,整合優(yōu)化后上傳到“人人通云教學”平臺的“云盤”和“導學”模塊。其次是資源的開發(fā)和收集,備課教師深入研究課程標準和教材內容后,依據(jù)教學難點和重點,制作微課,或者在其他資源網上收集相關的優(yōu)質課程資源,推送給學生。
2.云學習
學生在獨立預習教材的基礎上,運用電腦或者其他電子終端觀看導學案和視頻,觀看、閱讀、聽講,進行課前學習。學生按導學案的要求,完成學習任務,制作課堂展示課件,學習完成后,利用云平臺的筆記功能記錄錯誤和困惑以待課堂上交流反饋。教師可以在課前登錄“人人通云教學”平臺,了解學生預習情況,調整課堂教學進度、難度,制定個別輔導計劃,增強課堂教學的針對性和有效性。
3.云課堂教學和學習測評
經過三輪以上的實驗教學,在學科組的研究討論下,形成了在時間和順序上基本穩(wěn)定的云課堂教學模式課中教學流程,在不同課型、不同內容和不同容量的教學過程中,時間和順序可以做靈活調整。課堂上,首先教師運用交互式電子白板和“人人通云教學”平臺內準備的課件和資源,創(chuàng)設生動有趣的情境,更好地激發(fā)學生的學習興趣,點燃他們思維和智慧的火花。接著,學生在小組協(xié)作平臺上通過同儕互助,形成統(tǒng)一的意見,由小組代表向全班展示本小組的學習成果。各學習小組在平臺互動交流后,排除重復的提問后,提出本組學習過程中遇到的疑惑,教師在收到各組提出的疑問后,在班上統(tǒng)一對共性問題進行重難點的答疑和小結。最后進行在線測評,教師通過平臺的后臺統(tǒng)計可以得知學生存在的問題,測試后及時對存在的問題進行講解,并對學生存在的個性化問題進行輔導。
4.提煉深化
通過云平臺,學生課前預習、課堂表現(xiàn)情況、測驗評價成績,均被實時記錄,形成學生云課堂學數(shù)據(jù)。通過平臺系統(tǒng)的分析,可以對學生的知識掌握情況、應用技巧、分層能力等進行客觀呈現(xiàn)。教師可以通過系統(tǒng)分析發(fā)現(xiàn)問題,進行批評性的反思,有針對性地對教學方案進行優(yōu)化,對教學方式進行改進。
二、實驗情況和數(shù)據(jù)分析
1.實驗的設計
(1)實驗對象。從2014年4月起,在實驗校七年級4個班中抽取兩個人數(shù)、成績基本相近的班級1班和4班作為實驗班和對比班,其中1班為實驗班,共47人;4班為對比班,共46人。(2)研究內容。“云課堂”教學模式的主要特點、程序,“云課堂”教學模式的實效性及學生學習策略的改變。(3)控制。實驗班和對比班都由同一教師任教,都用湘教版七年級地理下冊九年義務教材,為了避免實驗時間過長而導致的干擾變量過多從而影響實驗效果,本實驗沒有采用一年或一學期的實驗周期,而是采用了按教材單元模塊的教學來設置實驗周期,實驗的教學內容為湘教版七年級地理下冊第三章《走進國家》,時間從4月開始,到6月底結束。按學校的統(tǒng)一規(guī)定,每周2課時,實驗時間為12周,共24課時。教學的任務和要求也一樣,實驗班的地理課采用“云課堂”教學模式進行教學,對比班采用常規(guī)教學法教學。(4)檢測。前測用下學期期中成績,后測用自編的第三章《走進國家》單元能力檢測成績,,前后測試卷在考后經過的學科組總結和分析,信度和效度均達到較高水平。實驗完成后,實驗研究人員還應用修改后的初中生學習策略量表(lassi量表)對學生進行學習策略測量,并運用數(shù)據(jù)分析軟件對檢測的數(shù)據(jù)進行處理。
2.實驗數(shù)據(jù)分析
其中,n為樣本容量,即各班級人數(shù)。X是樣本的平均數(shù),即測驗平均分。S為樣本的方差。
3.學習策略的測量及分析
實驗班與對比班學生的學習策略在動機、信息加工、選擇要點、學習輔助、自我測試和考試策略這幾項上呈統(tǒng)計顯著(P<.05)。表明實驗班學生在學習上更認真投入,思維能力更強,更善于在學習中面對大量信息時,從中選擇重要信息進一步學習,更善于創(chuàng)造和使用輔技術及材料來幫助學習,更善于使用復述和理解監(jiān)控技術判斷自己對要學習的信息的理解程度,更多地意識到自我評價的重要性,更善于備考。
三、結論與建議
通過實驗得知,云輔助教學對提高學生知識掌握的程度和學生學習策略的改進有較大的促進作用,教學實驗是有效的。學生在參與學習的過程中,能夠利用情境、協(xié)作、會話等學習環(huán)境要素去充分發(fā)揮自身的主動性、積極性和首創(chuàng)精神,最終實現(xiàn)有效的知識建構。云教學平臺的使用,促使學生通過自主學習、獨立思考、對話交流去獲取知識,培養(yǎng)了學生的獨立精神和協(xié)作品質,以及獲取知識、分析問題、解決問題的能力。對于教師,在很大程度上促進了教師的專業(yè)發(fā)展。首先,云環(huán)境下的翻轉課堂教學實施,需要教師通過對現(xiàn)有多種資源進行再次利用,實現(xiàn)對知識信息的開發(fā)、加工、組合和整理,因此鍛煉了教師知識重組、意義建構、資源整合的能力;其次,利用云教學平臺的大數(shù)據(jù)功能,教師能夠了解學生在學習過程中的知識掌握情況,及時發(fā)現(xiàn)教學中存在的問題,并針對薄弱環(huán)節(jié)進行批評性的反思來改進自己的教學;第三、教學模式的改變,促使導學案的設計成為教學中的重點,是對傳統(tǒng)教學設計的一個顛覆,是真正意義上的教學設計和教學創(chuàng)作過程,它需要教師對所教的知識進行再加工,需要融進教師的個性、思想、理念和方法,進一步促進教師對現(xiàn)代教育理論和技術的學習和掌握。在實驗的實施過程中,筆者發(fā)現(xiàn)一些需要關注的問題。
1.必須認真編制導學案,重視導學案的應用
導學案是學生整個學習過程的引領,其質量的好壞關系到整個云課堂教學模式實施的成敗,教師可以通過導學案對學生進行導引,創(chuàng)設問題情境,誘發(fā)學生的思考,使其在認知上出現(xiàn)新的“沖突”,促使學生為解決“沖突”而自控性地選擇相應的學習資源,并利用原有認知結構針對新知識的不同情況進行同化或順應,對其原有的認知結構不斷地進行反思和重構,形成新的認知結構,從而達到新的平衡。
2.提高云教學主導者的全程把控意識
云教學平臺是一個新興事物,學生的好奇心也很重,同時網絡的自主性很大,網絡的內容十分蕪雜,學生在學習的過程中容易被與教學無關的內容所干擾而分散學習精力。因此,要求教師科學合理地對云課堂的全程有意識地把控,通過把控激發(fā)學生的學習熱情,維持正常的課堂教學秩序。把控的內容包括學生的課堂紀律、學習態(tài)度、師生互動的頻率、課堂氛圍等.以期讓云課堂效果得到最大程度的優(yōu)化。
2方案設計與測試
當學校為學員宿舍、教室、公共實驗室以及圖書館閱覽室等地配置計算機時,配置方案面臨的問題是:如何使這些地方的公用計算機穩(wěn)定地工作而管理員能夠最高效地處理和解決這些計算機出現(xiàn)的故障以及使用中的問題?虛擬磁盤技術廣泛地應用在這些場合,而云計算技術在合理配置服務器資源以及應用配置的靈活性方面是具有極大優(yōu)勢的,因此這兩種技術的結合可以使系統(tǒng)運行更加高效。即,采用:“服務器虛擬化+遠程桌面+虛擬磁盤”的方式部署大面積桌面管理環(huán)境。根據(jù)我校的情況,絕大部分終端適宜采用“服務器虛擬化+虛擬磁盤”作為主要的工作方式,在產品選型和硬件配置上的設計和測試時予以重點考慮。云計算技術應用可以使服務器的配置更加高效。學員宿舍、教室以及圖書館閱覽室等地配置計算機的應用環(huán)境與計算機實驗室的應用環(huán)境有所不同:1、這些場合在線的計算機數(shù)量往往是不確定的,例如宿舍配置1000臺電腦,而同一時間在線的計算機數(shù)量有時可能只有100-500臺;2、計算機實驗室服務器的訪問量常常是風暴式的,例如所有計算機同一時間啟動,而且往往在同一時間運行同一應用任務,而宿舍等場所就大不相同,不會在同一時間開機,運行的任務也相對比較個性化。實驗室為了保證課程進行,通常按極限狀態(tài)設計系統(tǒng)的配置,如果這樣的設計用在宿舍等環(huán)境,服務器資源的利用率會比較低。在云平臺上,可以在服務器資源池中根據(jù)需要配置多臺服務器的群集,在群集中用負載均衡的方式可以做到非常高效而且根據(jù)不同時段的應用變化靈活地調整資源配置。我校共有五棟學員宿舍樓,為每間宿舍配備一臺電腦,數(shù)量約為700臺,每棟樓劃分一個獨立VLAN,另外還有圖書館電子閱覽室以及教室電腦約100臺。我們首先在宿舍區(qū)進行了無盤電腦系統(tǒng)部署并進行了測試。系統(tǒng)構建方案如下:方案中配置了3臺物理服務器和一臺存儲服務器,每臺服務器配置2個6核的雙線程CPU、32G內存,虛擬服務器采用2虛擬核心(未超配時相當于1個物理核)。采用了蔚云云計算平臺搭建了一個私有云。蔚云云計算平臺與比較流行的Vmware相比,除了可以實現(xiàn)硬件虛擬化外還可實現(xiàn)容器虛擬化,虛擬化的效率很高;蔚云云計算平臺也不象Vmware那樣需要一個中心控制機來管理整個云平臺,所有管理配置同時寫入到所有群集節(jié)點,它可以在任何一臺機器上進行管理,這樣可以有效防止管理節(jié)點的單點故障;由于蔚云云計算平臺上具有磁盤緩存加速,可以避免大量終端開機時對磁盤的重復讀取,而VMWARE上不能進行配置;蔚云云計算平臺是以計算(虛擬化)、存儲(網絡存儲和分布式存儲)、網絡(虛擬交換機)管理為基礎上進行擴展的桌面管理,不像VMWARE那樣,購買的是桌面許可,平臺不能用于服務器虛擬化用途,可以有效保護硬件投資和統(tǒng)一調度硬件資源,即依然保留了云平臺的完整功能的使用;提供災備功能,無需第三方軟件而且使用更方便,可保障關鍵業(yè)務故障時快速恢復;具有更好的開放性,如VDI桌面可以根據(jù)性價比和實際應用需求在RDP/SPICE/ICA等多種桌面協(xié)議進行選擇等。為了保證服務器安全和便于配置,將所有虛擬服務器配置在同一VLAN,配置了一個單一桌面管理服務器集群,進行終端負載均衡。由于各終端是分布在不同VLAN的,所以無盤系統(tǒng)必須支持跨路由的終端連接。在系統(tǒng)部署時選擇了兩個無盤系統(tǒng)分別部署在不同的虛擬服務器上并分別連接兩部分終端進行對比測試,兩個系統(tǒng)測試結果表明都可以達到應用需求,其中一個系統(tǒng)是在Linux平臺開發(fā)的,在部署的穩(wěn)定性、靈活性和工作效率方面更加優(yōu)越;而另一個系統(tǒng)的系統(tǒng)是在Windows平臺開發(fā)的,因此操作界面更加友好。
(1)終端有緩存與無緩存啟動時網絡流量
其中第一個圈內所示為無緩存終端啟動時網絡流量;第二個圈內是有緩存終端在第一次啟動時(終端緩存數(shù)據(jù)尚未建立)的流量,與無緩存終端相仿;右邊兩個圈內所示是終端緩存數(shù)據(jù)建立后再啟動時的網絡流量,相比無緩存啟動的流量大為減少。
(2)測試終端運行時回寫數(shù)據(jù)的網絡流量
無盤終端運行時有大量臨時數(shù)據(jù)需要回寫到服務器,下圖所示為用某無盤系統(tǒng),單臺服務器在線終端數(shù)52臺,終端無緩存時的情況。可以看到服務器網絡端口和硬盤都有一定回寫數(shù)據(jù)量但不會產生很大壓力,當檢測有緩存硬盤或4G內存緩存的終端時發(fā)現(xiàn)回寫數(shù)據(jù)幾乎沒有,只有當終端運行大文件下載等應用時才有回寫。觀察可以看到回寫數(shù)據(jù)量與終端運行的應用類型、終端配置以及緩存策略設置都有關系。
(3)測試服務器負載均衡與熱備工作模式下系統(tǒng)容錯情況
在多服務器群集中分別配置為熱備模式和負載均衡模式,終端在線情況下將其中一臺服務器強行關機以模擬服務器意外宕機的情況。觀察原先連接在宕機服務器上的終端,熱備模式下這些終端在5秒內自動切到正常運行的服務器上,任務沒有中斷,用戶端的感覺只是短暫停頓而已。而負載均衡模式下則任務中止,重新開機后此終端自動連接到正常服務器。從容錯效果來看熱備模式無疑憂于負載均衡模式,但熱備模式下需要不斷同步群集中各服務器的工作環(huán)境,需要耗費服務器及網絡資源,測試中發(fā)現(xiàn)同步時甚至會造成終端工作短時間停頓。
(4)測試不同終端硬件配置下系統(tǒng)啟動鏡像的兼容性
由于不同終端硬件配置需要不同的驅動軟件,因此無盤啟動鏡像包與硬件是相關聯(lián)的。參加測試的“和信”與“網眾”兩個軟件所制作的鏡像采用通用網卡驅動包(集合了各種網卡驅動)、操作系統(tǒng)與硬件驅動分離等制作系統(tǒng)啟動鏡像。選擇了不同年份采購的不同品牌終端三種終端對應同一啟動鏡像,三種終端均可以完成啟動。雖然還不能確定可完全做到啟動鏡像與終端硬件無關,但這種關聯(lián)度已大為降低。
2云計算如何協(xié)助電力基建工程進行重點管理
進行重點管理,實際上應該首先進行全面管理,以電力基建工程的源頭作為切入點,對各個環(huán)節(jié)以及最終的質量驗收都進行嚴格的管理和監(jiān)督。此外無論是工程的投標招標以及工程的驗收,都需要保證絕對按照制度程序進行,并且要遵守國家的相關法律法規(guī)。所以針對當前狀況,可以在全國范圍內構建一個云計算平臺,每一個電力基建工程的相關信息數(shù)據(jù)都應該在云計算平臺進行共享,也許全國范圍內所有人進行數(shù)據(jù)瀏覽,工程的每一個步驟都應該在云計算平臺中體現(xiàn),并且附注中要體現(xiàn)每一個步驟的辦理人員的名稱、照片,以及該步驟辦理過程中所拍攝的照片、視頻以及音頻文件,從全國范圍內對電力基建工程進行監(jiān)督和管理,這樣不僅減少了工程建設的開支,也使得監(jiān)管力度和效果得到大幅提升。
3云計算技術融合ERP促進電力基建工程建設
ERP又叫做企業(yè)資源計劃,其本身就是一個融合了組織模型、業(yè)務流程以及企業(yè)規(guī)范和信息技術的信息系統(tǒng)。而云計算也是一種信息化時代的產物,所以將云計算技術融合ERP信息系統(tǒng),實際上就是在云計算平臺上運行ERP信息系統(tǒng)進行建立企業(yè)的基建工程的建設和管理。電力基礎建設ERP主要是管理基建期的資金和物資等資源。其管理核心就是借助信息手段構建一條包含了材料、設備供應商、施工單位、監(jiān)理公司以及發(fā)電廠本身的供應鏈。企業(yè)ERP軟件一般所適應得只是獨立的企業(yè)或者工程,但是通過云計算技術,結合針對施工建設行業(yè)量身打造的企業(yè)級計劃進度控制管理軟件——P3e/c,可以實現(xiàn)同時對多個電力基建工程進行項目管理,再輔助以云計算平臺上所運行的其他財務管理軟件、管理業(yè)務、物資管理業(yè)務、工程安全管理等業(yè)務相關軟件,實現(xiàn)電力基建工程的全面管理,并且通過云計算平臺進行的實時數(shù)據(jù)信息共享、工程計劃進度所需材料及人工成本分析計算,可以起到非常好的效果。此外融合云計算技術的基建MIS管理系統(tǒng)也可以很好的借助當前信息化環(huán)境發(fā)展的優(yōu)勢加強對電力基建工程的管理。基建MIS管理系統(tǒng)是當前基建工程中應用最為廣泛的系統(tǒng)之一。并且該系統(tǒng)具有遠程訪問的功能,還可以滿足多個參建單位之間的有機聯(lián)系,而這些都是云計算所具有的能力,同時也是云計算的優(yōu)勢之一。融合云計算的基建MIS管理系統(tǒng)可以更好的對電力基建工程中所有的施工環(huán)節(jié)進行實時的監(jiān)控,還可以借助云計算所具有的超強的數(shù)據(jù)運算能力對工程進行驗收和評估,自動形成工程驗收資料和財務報表,在保證了電力基建工程可以規(guī)范化及施工的同時還降低了工程的建筑成本。
2柵格化信息網絡的資源管理策略
信息化柵格網絡在不改變原來通信網絡結構與體制的基礎上,將各種業(yè)務類型與傳輸標準的異構專用網絡集成。針對底層網絡拓撲狀態(tài),采用基于資源整合的虛擬化技術,實現(xiàn)“一網四域”的資源共享管理,具體體現(xiàn)在物理層面上一張網絡實施承載,上層3個邏輯網運行具體的業(yè)務,實施各通信子網連接狀態(tài)、交換路由、流量等監(jiān)視控制管理,達到網絡拓撲透明、統(tǒng)一計算流量分布和統(tǒng)一網絡資源配置。
2.1網絡資源管理架構
柵格化信息網絡的資源控制策略體現(xiàn)在運維支撐系統(tǒng)的資源管理與調度模塊。隨著通信裝備與柵格技術的發(fā)展需求,承載網絡帶寬得到大幅提升。因此,在資源管理方法上,采用了基于全IP技術,以集中控制為主、分布式管理為輔的分級分域資源控制策略,將網絡資源統(tǒng)一分為網元級和網絡運維級2個層次進行管理。網元級為網絡重要核心節(jié)點,如:通信業(yè)務控制系統(tǒng)、智能通信業(yè)務系統(tǒng)、資源策略控制系統(tǒng)以及核心承載層的網絡路由器、網絡交換機等設備,在網絡層與下面的各個通信處理單元間起承上啟下作用,負責處理網絡層操作系統(tǒng)與其他各個網元間交換的管理信息,并以集合的方式控制和協(xié)調下級網元子集。網絡運維級主要是針對底層網絡拓撲狀態(tài),采用基于資源整合的虛擬化技術,實現(xiàn)“一網四域”的資源共享管理(見圖1),具體體現(xiàn)為物理層面上一張網絡實施承載,上層3個邏輯網運行具體的業(yè)務,達到網絡拓撲透明、統(tǒng)一計算流量分布和統(tǒng)一網絡資源配置,并力爭在局部范圍內實現(xiàn)網絡資源負載的最優(yōu)。
2.2業(yè)務分級的資源管理模式
由于帶寬資源相對充裕,柵格化信息網改變了傳統(tǒng)的通信網絡,對上層業(yè)務類型不加以區(qū)分,業(yè)務在網內的傳輸采用先到先得的網絡資源占用方法,允許用戶在申請網絡資源時,對業(yè)務優(yōu)先級進行人工參數(shù)設置,運用資源預留協(xié)議(RSVP)在網絡節(jié)點預留報文的IP目的地址,確保經過路由協(xié)議選擇所轉發(fā)的數(shù)據(jù)包的QoS;運用多協(xié)議標簽交換技術(MPLS)使用短而定長的標簽(label)對報文封裝分組,實現(xiàn)在數(shù)據(jù)平面實現(xiàn)快速轉發(fā),使業(yè)務接入控制與路由選擇相結合,針對不同業(yè)務類型提供不同的QoS需求保障。具體的網絡資源管理與控制流程如2圖所示。由此可見,柵格化信息網絡一方面通過在網絡上層對網絡資源實現(xiàn)全局的管理和控制,另一方面運用核心承載網屏蔽底層異構網絡結構與資源的差異,較基于傳統(tǒng)的通信網絡資源管理策略增加了跨層間的QoS保障,資源預留等資源管理技術,增加了層間協(xié)作,實現(xiàn)了網絡資源的跨層融合管理。由于繼續(xù)采用了與指揮關系緊密耦合的樹狀層級式資源管理結構,故其網絡資源的柔性調度能力有待進一步提高。
3基于云計算技術的網絡資源管理架構
隨著各類異構網絡的融合發(fā)展之勢,網絡資源呈現(xiàn)出多樣化、復雜化等特點[5],傳統(tǒng)的資源靜態(tài)分配、負載靜態(tài)管理,應用與基礎設施緊耦合的資源管理方式已經不能適應一體化網絡資源管理的新要求。為解決網絡資源的最優(yōu)化配置問題,筆者基于“一切皆服務”的云計算理念,提出了一種“網絡即服務”(或“通信即服務”)的網絡資源管理架構,目的在于運用資源虛擬化、組件封裝等云計算技術實現(xiàn)一體化異構網絡資源的融合管理。“網絡即服務”的資源管理架構從上到下依次被劃分為3個層次:網絡接入平臺層、資源表示層和網絡基礎設施層。其中,網絡基礎設施層由超短波電臺網、高速數(shù)傳網、戰(zhàn)術互聯(lián)網骨干網、數(shù)據(jù)鏈等異構網絡組成,是整個網絡進行傳輸?shù)慕M成基礎,負責各類用戶的網絡接入。資源表示層作為核心部分連接網絡接入層和基礎設施層,通過虛擬化技術和中間件技術將物理網絡資源抽象成可承載、可管理、可調度的邏輯資源,并匯聚形成網絡資源池。區(qū)別于傳統(tǒng)的與網絡結構綁定緊密、樹狀層級式的資源管理方法,該架構通過對資源池內的資源實施統(tǒng)一的管理與調度,使資源管理與網絡結構松耦合,提高了網絡資源可擴展性與柔性管理能力。如圖3。
4“網絡即服務”的資源池構建方法
資源池化是云計算的核心概念[6],一體化網絡資源池動態(tài)融合了各個通信子網的網絡資源,通過跨網、跨層的資源優(yōu)化組合,為不同業(yè)務需求的用戶提供更高效的QoS保障要求。從根本上說,網絡資源池提供的是一種跨平臺互操作能力,統(tǒng)一分配目標,為多樣化業(yè)務提供底層平臺支撐。本節(jié)重點從資源虛擬化技術、網絡資源的模塊化封裝和資源的分類與監(jiān)測3個角度構建網絡資源池,描述基于云計算技術的一體化網絡資源管理方法。
4.1網絡資源虛擬化
網絡資源的虛擬化是對傳輸鏈路、網絡節(jié)點、網絡架構等物理資源和邏輯資源進行全面虛擬化[7],在共享底層的異構物理資源的基礎上,構建出多個共存但相互隔離的邏輯網絡,形成一體化網絡資源池,使物理網絡能夠根據(jù)動態(tài)變化的虛擬資源請求,向上層提供無差別的通信服務資源模塊,為實施高效的通信傳輸策略提供基礎。如圖4,在邏輯虛擬網絡可看作為邏輯上的共享資源池,是一系列基于虛擬鏈路相互連接的虛擬節(jié)點的集合,本質上可以看作是底層物理拓撲的一個抽象子集。每個虛擬節(jié)點托管在一個特別的物理節(jié)點上,而一條虛擬鏈路跨越物理網絡中的一條鏈路,并且包含了該鏈路上的一部分資源。邏輯虛擬網絡提供統(tǒng)一的服務應用與管理,聚合的底層物理資源可以具有多個通信協(xié)議與不同的傳輸標準。通過選擇自定義數(shù)據(jù)包格式、路由協(xié)議、轉發(fā)機制以及管理和控制功能,實現(xiàn)端到端服務。圖4網絡資源映射關系在針對邏輯虛擬網的資源調度過程中,由于在資源池中,服務是以切片(slice)的形式存在,一個服務即對應一個切片[8],因此,先將資源池中的資源以切片的形式分配;其次對功能相近的服務進行聚合(aggregate);最后將一系列的服務資源以組件(component)[9-10]的形式進行封裝,以封裝的通信服務模塊間動態(tài)按需組合為上層業(yè)務提供服務。
4.2網絡資源組件封裝
為提高資源利用率,有效屏蔽網絡資源異構性特征,實現(xiàn)快速靈活組織資源,需要對資源進行服務化封裝集成。資源的組件封裝是在虛擬化技術的支持下,通過選取恰當?shù)膮f(xié)議構建通信服務模塊,供上層業(yè)務調用并提供通信支持[11]。封裝技術要滿足網絡資源的多樣性與動態(tài)變化,采用統(tǒng)一的描述機制,將各式各樣的網絡資源抽象為統(tǒng)一規(guī)范的服務,同時對上層提供對應的操作接口,進而根據(jù)一定規(guī)則的業(yè)務需求構造相應的通信組件供上層業(yè)務調用。在進行網絡資源封裝時要重點考慮以下問題:1)網絡資源的封裝要滿足網絡資源動態(tài)性與多樣性的特點,封裝后共享服務資源的數(shù)量和可用性能夠隨著環(huán)境的變化而動態(tài)變化;2)網絡資源由于體制與標準、格式種類較多,具有異構性特征,在進行資源封裝描述時采用統(tǒng)一的資源描述機制;3)資源的封裝不僅是對資源的某功能模塊或者單一網絡資源進行封裝,需對網絡資源進行統(tǒng)一的分類,達到資源的集成應用和協(xié)同工作的效果;4)組件封裝的設計和構造應按照所承載業(yè)務的類別和使用頻率選建,封裝的組件需明確可支持的業(yè)務類型和可提供的通信服務能力等必要信息。
4.3網絡資源監(jiān)測與更新
由于網絡拓撲、節(jié)點狀態(tài)、鏈路的可用率等網絡資源都不穩(wěn)定,資源的初始分配往往很難達到最優(yōu)的配置布局,因此需要提供恰當?shù)墓芾硎侄螌崟r監(jiān)控資源的運行并支持資源的適應性更新。探測機制方面可以采用主動探測和被動檢測的方法進行資源的監(jiān)測與獲取[12],主動探測是主動向網絡服務器發(fā)送承載報文,通過探測所傳信息的相應傳遞需求、性能參數(shù)等指標計算得出所需調用的網絡資源;被動探測通過在網絡特定位置安放探針,記錄和匯總某鏈路上的流量信息分析得出可用網絡帶寬。如果監(jiān)測到網絡狀態(tài)的異常情況,則對資源池內組件資源進行更新,在資源更新過程中,由于網絡資源在各層表現(xiàn)形式不同,資源池中資源的表現(xiàn)形式也對應著相應的表現(xiàn)形式,因此,網絡資源應在各層次做相應的變化。為及時反映資源狀態(tài),系統(tǒng)應設置措施保證對資源信息的及時采集和匯總,并在確認的情況下及時更新其情況。資源監(jiān)測與更新流程如圖5所示。
2)計算機網絡模型構建的要求。煤炭鐵路運輸業(yè)的計算機管理信息網絡的構建,需要構建合乎規(guī)范的網絡模型。為了保證信息網絡管理工作的順利開展和信息網絡模型的完整性,一般應用托肯建模的建模方法對煤炭運輸管理過程進行模型的虛擬和建立。隨著計算機技術及網絡的逐漸普及和應用,TWPN即工作流網絡在煤炭企業(yè)的HR(Humanresource)即人力資源的信息化管理的應用中重要性逐漸顯現(xiàn)出來,工作流網絡的應用不但可以作為模型來有效的處理企業(yè)信息,采用轉移集合的方式對煤炭企業(yè)所進行的企業(yè)活動的控制過程和數(shù)據(jù)信息反饋進行建模,對于煤炭企業(yè)的工作規(guī)劃與進展的引導作用立竿見影,因此為了實現(xiàn)模型的可控性及合理性等重要功能的體現(xiàn),對于計算機網絡模型的構建有關部門一定要認真、負責。
3)數(shù)據(jù)庫及功能模板的構建及設計要求。煤炭鐵路運輸?shù)呢浽磾?shù)據(jù)庫是由各個裝、卸車站的貨源數(shù)據(jù)的采集點與分局網聯(lián)合組成的,貨源數(shù)據(jù)庫的主要功能是收集并存放托運人遞交的要車申請及相關辦理信息,包括托運車及托運貨物的類別、去向、貨物的重量及總量等信息。貨源數(shù)據(jù)庫的信息采集要求每個信息點所采集及上交的信息準確、無誤且要按時上交,以保證運輸數(shù)據(jù)的及時處理及運輸工作的管理。
一般情況下,數(shù)據(jù)庫的構建內容主要包括:①貨源信息及記錄表。貨源信息表是數(shù)據(jù)庫的核心內容,是實現(xiàn)控制點的信息以及圖幅管理過程可控的基礎性環(huán)節(jié);②原始信息及數(shù)據(jù)記錄表。它是實現(xiàn)外業(yè)信息有效管理的信息儲存表,主要記錄的是煤炭的發(fā)送量及貨車的路途周轉時間等信息,便于以后相關信息的查詢與管理;③管理人員信息表。它主要用于煤炭鐵路運輸業(yè)管理及工作人員基本信息的存儲,以便于人員的管理和工作的調度及安排;④數(shù)字化圖像信息表。它主要用于儲存計算機實際應用過程中對圖幅信息的編輯及調整,及時的存儲圖像信息,對于突發(fā)狀況的處理及分析具有非常大的價值。
在功能模板的構建與設計環(huán)節(jié)中,一般步驟來為:①礦區(qū)調研;②概念模型抽取;③測量模型建立;④數(shù)值計算;⑤結果檢驗。功能模塊的設計簡單來講就是把設計樣板構建成實物框架的過程,如上步驟所示,進行一個礦區(qū)環(huán)境的調研和摸索,并建立相應的理論上的模型,再經過計算機軟件的處理和仿真試驗完成功能模塊的構建,使礦山測量的圖幅管理實現(xiàn)數(shù)字化的目標。
2計算機管理信息網絡的應用價值及意義
1)實現(xiàn)線路計算、展點及制表過程一體化。計算機信息網絡管理技術應用到煤炭鐵路運輸業(yè)中,可以突破傳統(tǒng)的管理方式的局限,實現(xiàn)線路計算、展點及制表過程的一體化。運用計算機網絡技術不僅便于運輸數(shù)據(jù)的處理,而且還有利于避免人為造成的結果失誤,最大的特點在于它能夠實現(xiàn)整個運輸過程數(shù)據(jù)處理的自動化,比如自動計算、自動儲存等,并能直接打印,使得線路數(shù)據(jù)計算、運輸點坐標計算、數(shù)據(jù)信息表格制備一體化的完成。
2)實現(xiàn)數(shù)據(jù)的高效率管理,界面可視,便于操作。信息網絡技術的應用可以實現(xiàn)運輸過程中的圖形數(shù)據(jù)及其他數(shù)據(jù)信息的高效率管理,在圖幅管理的自動化過程中既節(jié)省了大量的人力、物力,也可以實現(xiàn)運輸過程的全程監(jiān)控,切實的反應路況、貨物的運輸狀況等。除此之外,計算機網絡技術可以達到系統(tǒng)界面可視的效果,且便于操作,進一步提高了煤炭鐵路運輸業(yè)的管理效率。
3)實現(xiàn)鐵路運輸管理模式的轉變,提高工作效率。通過計算機網絡技術的引用,在大的信息環(huán)境的作用下,管理模式也隨之發(fā)生變化,有利于提高工作人員的素質,綜合利用人力資源,有助于實現(xiàn)管理精益求精,增強員工的責任意識。除此之外,新技術的投入和應用也可以極大調動員工的工作熱情和積極性,這對于構建一個健全的鐵路運輸?shù)墓芾眢w系具有顯著的作用,以實現(xiàn)促進煤炭運輸業(yè)獲得極大發(fā)展的長遠目標。
筆者在中國知網(cnki.net)的中國期刊全文數(shù)據(jù)庫、中國學位論文全文數(shù)據(jù)庫和中國會議論文全文數(shù)據(jù)庫檢索題名包括“云計算+檔案”、 “云技術+檔案”和“云檔案館”的文獻(檢索時間為2014-3-12),刪除其中新聞報道性和重復性的論文后,共檢索出78篇論文。
1.1 時間分布。這78篇相關論文的時間分布如表1所示:
由表1可見,我國檔案學界對云計算的研究始于2009年,2009年后開始引起學者較多關注,到2013年掀起一個較小的研究(2013年發(fā)表相關論文共33 篇),但是依據(jù)百度和Google的搜索結果,尚未出版云計算應用于檔案管理的相關著作。
1.2 主題分布。上述78篇論文,其研究的主題可以分為理論研究(介紹云計算的概念、特點、優(yōu)勢,應用的可行性、問題及對策等)、具體應用(研究云計算在檔案業(yè)務環(huán)節(jié)的具體運用,如備份、整合與共享、利用與服務、云檔案館等)、系統(tǒng)和平臺構建(研究基于云計算的系統(tǒng)和服務平臺架構、服務模式等)和應用的安全性。78篇論文的主題分布如表2:
從研究的主題來看,目前檔案界對云計算的理論和應用設想方面的研究占主導,分別占全部論文的43.6%和44.9%。但是,基于云計算的系統(tǒng)、服務平臺構建的研究論文只有5篇,對于如何用技術手段來實現(xiàn)“云”并沒有系統(tǒng)深入的研究。
1.3 作者機構分布。各研究主題的作者機構分布見表3:
從表3可以看出,78篇研究論文作者中有22篇來自高等院校的檔案院系,占全部論文的28.2%。26篇論文作者來自其他機構,約占33.3%,其他機構包括高校除檔案院系和檔案館室的其他院系和部門、事業(yè)單位、軍隊檔案館等。從表中數(shù)據(jù)看,高等院校的研究者傾向于研究云計算在檔案業(yè)務環(huán)節(jié)的具體應用,而其他機構的研究者更注重理論研究和云計算在人力資源檔案、會計檔案、健康檔案等領域的應用與實現(xiàn)。
2 主題分析
2.1 云計算的概念和特點。田雷提出:“云計算是一種網絡服務方式,提供了IT服務的一種交付和使用模式,用戶可以通過網絡租用或免費獲取所需服務。”他還提出目前云計算的三個服務層次:基礎設施即服務、平臺即服務、軟件即服務[2]。黃正鴻認為,云計算旨在通過網絡(互聯(lián)網和內部網)以按需、易擴展的方式獲得所需的硬件、平臺、軟件及服務等資源。其特點可以歸納為:資源池;按需、自助;快速彈性;廣泛的網絡訪問;可度量的服務[3]。陳康明認為,云計算是基于網格計算、分布式計算、并行計算、效用計算、網絡存儲、虛擬化、負載均衡等已有網絡技術發(fā)展起來的一種基于互聯(lián)網絡的服務信息共享模式。云計算的特點是:數(shù)據(jù)存儲更加可靠、安全;資源的合理分配;先進技術理念帶來的以用戶為中心的個性化服務[4]。
2.2 云計算在檔案領域應用的可行性分析。劉永提出,云存儲在技術、管理和經濟上已經具備了數(shù)字檔案存儲的基本條件。云存儲技術是分布式文件系統(tǒng)技術、網格技術、集群應用等技術的集成,后三種技術在理論和實踐上都逐漸成熟。云存儲將分散在各地的數(shù)字信息集中存儲,各檔案館(室)可以根據(jù)需求來申請適當?shù)拇鎯臻g,降低了資金投入[5]。朱悅華、何麗萍、丁建萍認為,云計算時代“云檔案”的實現(xiàn)具有較為完備的云計算理論基礎、較為成熟的云計算技術條件、較為低廉的云計算經濟成本和較為完善的云計算實踐環(huán)境[6]。
2.3 云計算在檔案管理中的應用優(yōu)勢。文杰提出了云計算在數(shù)字檔案館應用中的四大優(yōu)勢:確保檔案服務器的可靠運行,降低服務器的出錯概率;降低相關的維護費用;擴展了信息資源共享范圍;豐富的終端設備[7]。彭小芹、程結晶結合云計算的特點提出云計算在檔案領域的應用優(yōu)勢,即可靠、安全的數(shù)據(jù)存儲;方便、快捷的云服務;強大的計算能力;諸多技術的集合體;經濟效益;個性化;以用戶服務為中心[8]。祝慶軒、桑毓域、方昀提出了云檔案館模式的優(yōu)點:有利于政務信息公開;有利于統(tǒng)一全國各地區(qū)檔案工作標準;有利于節(jié)省軟硬件投資;有利于減少對計算機人才的依賴[9]。
2.4 云計算應用面臨的問題和對策。黃正鴻提出云計算技術本身存在的一些問題,如標準問題、版權糾紛問題、數(shù)據(jù)隱私問題、安全問題、軟件許可證問題、網絡傳輸、用戶使用習慣問題等[10]。陳康明認為,云計算應用面臨的首先就是信息安全問題;其次是執(zhí)行的國際標準問題。對策是完善基礎設施建設;制定安全監(jiān)測環(huán)節(jié)和相關技術;制定監(jiān)督和管理機制[11]。文杰認為,云計算應用面臨的問題主要有資源的選擇問題;協(xié)議和接口問題;數(shù)據(jù)安全問題。對策包括加強人才隊伍建設;完善基礎設施建設;制定相關政策規(guī)范云計算標準;提供基礎建設的統(tǒng)一監(jiān)控、管理和控制;加強安全檢測[12]。
2.5 云計算在檔案領域的應用設想
2.5.1 云計算在檔案存儲、共享與服務中的應用設想。田雷提出可以通過“基礎設施即服務”整合檔案行業(yè)的服務器、存儲器等設備,部署“云計算”環(huán)境,向各級檔案部門提供基礎設施服務[13]。陶水龍?zhí)岢隽嘶谠拼鎯夹g的檔案數(shù)字資源的云備份和多套多地的檔案數(shù)字資源備份數(shù)據(jù)存放策略,建立了云備份系統(tǒng)架構及其運行機制[14]。呂元智提出了國家檔案信息資源“云”共享服務模式,將分散的國家檔案信息資源通過云服務平臺組織起來,形成一個個檔案信息資源服務“云”[15]。祝慶軒、桑毓域等提出檔案館館際云服務,將檔案館電子文件信息置于云中心,用戶可以利用云計算技術檢索云檔案館“虛擬資源池”[16]。卞昭玲、李俐潁等提出通過云存儲解決檔案信息的存儲、檔案信息的收集問題,同時可以共享檔案信息 [17]。
2.5.2 云計算在專門檔案領域內的應用研究。廖玉玲提出了基于云計算的建設工程檔案全過程監(jiān)管模式的系統(tǒng)方案[18]。劉振鵬、卞昭玲等提出了基于云計算的區(qū)域電子健康檔案服務系統(tǒng)[19]。鄧嵐提出運用云計算技術搭建國家綜合減災信息管理與服務系統(tǒng),并分析了云計算技術在災害檔案信息管理中的應用優(yōu)勢和障礙[20]。
2.6 基于云計算的數(shù)字檔案管理系統(tǒng)和平臺構建。程春雨提出國家開放檔案信息資源共享利用系統(tǒng)應采用兩級部署方式,分別部署在中央云中心和50個國家綜合檔案館。中央云中心應用系統(tǒng)開發(fā)主要包括檔案信息資源整合系統(tǒng)、平臺管理系統(tǒng)、國家開放檔案信息資源共享利用門戶網站;省節(jié)點應用系統(tǒng)開發(fā)主要包括省節(jié)點檔案信息資源整合系統(tǒng)和基礎工具包軟件[21]。程結晶提出要構建統(tǒng)一的云存儲平臺,采用虛擬化技術,開發(fā)基于“元數(shù)據(jù)”訪問的分布式數(shù)字檔案數(shù)據(jù)訪問接口,構建完整的云服務平臺來實現(xiàn)數(shù)字檔案資源的訪問服務、請求認證服務、安全數(shù)據(jù)傳輸服務和快速資源搜索和資源發(fā)現(xiàn)服務[22]。鄭光輝提出了基于云計算技術的數(shù)字檔案利用系統(tǒng)設計方案,詳細描述了基于云計算的檔案信息資源整合系統(tǒng)、云平臺管理系統(tǒng)及開放數(shù)字檔案利用門戶設計方案[23]。蔡學美提出云計算數(shù)字檔案館系統(tǒng)主要是由云計算數(shù)字檔案管理應用程序、數(shù)字管理節(jié)點、計算機專用網絡、安全防火墻、公用和私有的硬件設施等構成[24]。朱悅華、何麗萍等提出構建“云檔案”資源共享系統(tǒng),其系統(tǒng)理論模型由資源層、管理中間件層和服務層等三層構成[25]。
2.7 云計算應用的安全性。徐華、薛四新等提出云數(shù)字檔案館安全保障體系應包括防御系統(tǒng)、監(jiān)控系統(tǒng)、容災備份系統(tǒng)、應急響應系統(tǒng)和技術支撐系統(tǒng),通過安全法規(guī)體系、安全組織體系、安全管理制度體系、安全人員培養(yǎng)和培訓體系來保證[26]。崔海莉、張惠達提出將檔案信息管理系統(tǒng)推入云的基礎設施上,服務中斷、數(shù)據(jù)失真、敏感信息泄露是可能遭遇的技術風險,組織策略、準入退出機制是可能遭遇的管理風險[27]。
3 問題與展望
3.1 問題。首先,研究內容重理論輕技術。當前對于云計算基礎理論的研究較多,關于如何運用技術手段實現(xiàn)其具體應用的研究較少。78篇論文中只有5篇從技術角度闡釋了云計算應用于檔案領域的具體實現(xiàn)方式。應用設想相關論文僅僅止步于“設想”,對具體應用及如何實現(xiàn)其應用輕描淡寫,缺乏技術因素。
其次,研究缺乏實踐基礎。相對于云技術在其他領域的快速實現(xiàn),傳說中的云檔案館、檔案云尚未付諸實施,對于云技術的應用需求也沒有實際調研,因此,大多數(shù)研究缺乏一定的實踐基礎。
3.2 展望
中圖分類號:G251 文獻標識碼:A
畢業(yè)論文設計在高校培養(yǎng)人才過程中,是非常重要的環(huán)節(jié)。盡管各高校都有自己的畢業(yè)論文(設計)管理規(guī)定,但在 “過程管理”方面缺乏一套行之有效的辦法,從選題、調研、收集、資料、撰寫論文、修改、定稿、答辯到論文成績評定,沒有明確的標準與考核指標,同時加上就業(yè)壓力,造成大部分學生對畢業(yè)論文(設計)漫不經心,教師指導流于形式,既缺乏對學生的全過程監(jiān)控,也缺乏對老師指導程度的監(jiān)督。
因此如何改革畢業(yè)論文管理模式,提高教學質量,是一個重要的問題。近年來,云計算 (Cloud Computing) 作為一種新興的先進計算技術促進了計算機行業(yè)的革新,云計算對網絡教學改革也有很大的啟發(fā)價值,積極推動云計算的 IT部署和交付模式在教學改革中的作用是十分必要的。
一、論文管理平臺的功能與關鍵需求分析
通過將系統(tǒng)部署、運營于云平臺,可以為很方便實現(xiàn)隨時寫作、審核、修改和全過程監(jiān)督等關鍵功能。論文設計階段主要包括選題階段、開題階段、論文階段、結題階段。在圖1中詳細描述了各功能模塊。
圖 1 系統(tǒng)功能模塊圖
在論文撰寫過程中,學生通過系統(tǒng)提交論文,指導老師在線檢查并且附上修改意見。當學生登錄系統(tǒng)時,就可以看到修改意見。論文修改和審核是一個往復循環(huán)的過程,這個關鍵過程中需要使用工作流技術。在圖2中描述了論文審核方面的需求。
圖2 論文審核需求分析圖
在論文指導過程中,涉及到角色之間工作的審核、駁回。需要在系統(tǒng)中嵌入工作流引擎。工作流是對工作流程及其各操作步驟之間的業(yè)務規(guī)則的抽象、概括、描述。工作流要解決的問題是,為實現(xiàn)某個業(yè)務目標,在多個參與者之間,利用計算機,按某種預定的規(guī)則自動傳遞文檔、信息或者任務。在此系統(tǒng)中采用的工作流引擎為jbpm。通過該引擎可以有效的實現(xiàn)角色交互的工作流程。圖3為在應用了工作流引擎情況下,如何處理工作業(yè)務。
圖3 論文審核業(yè)務處理流程圖
二 論文管理平臺的系統(tǒng)架構
論文管理平臺系統(tǒng)采用MVC三層架構,部署在教育云中。按照設計分層思想,能夠更好的降低系統(tǒng)模塊的耦合度,使系統(tǒng)更加強壯穩(wěn)定。圖4是該系統(tǒng)的
邏輯視圖,邏輯視圖主要表現(xiàn)了在處理業(yè)務邏輯時,系統(tǒng)各個模塊的調用順序。
圖4系統(tǒng)邏輯控制圖
系統(tǒng)部署在教育云平臺上。云計算是面向服務的架構(SOA)、分布式計算、網格計算和虛擬化等多種技術混合演進的結果。云是一個巨大的虛擬化資源池(由硬件、開發(fā)平臺和服務組成),這些資源能動態(tài)地根據(jù)能根據(jù)各自規(guī)模的負載進行自動配置、使資源的利用率達到最優(yōu)化。云計算在教育領域中的遷移稱之為“教育云”,是未來教育信息化的基礎架構,包括了教育信息化所須的一切硬件計算資源。
圖5系統(tǒng)層次架構圖
基于云模式的論文管理系統(tǒng)架構設計綜合考慮了硬件設施的高校利用,采用了適應的系統(tǒng)平臺和軟件開發(fā)架構,以中間件及WEB服務等技術實現(xiàn)系統(tǒng)功能。系統(tǒng)建成后,將實現(xiàn)科學管理、信息統(tǒng)一、決策支持等功能,為高校提高論文質量管理建立基礎。
四 結語
利用云平臺構建立學位論文管理平臺,為教師、學生、學校提供一個專門的交流指導和管理平臺,提高了論文管理工作中各方面的工作效率,同時也能夠保證論文質量。部署在云環(huán)境,也使維護更加簡單,為學校節(jié)省大量的資源。使用工作流技術,使關鍵的審核流程設計與編程變得簡單而且高效。
【基金支持:湖南文理學院教改項目(編號12100032)】
參考文獻:
[1]劉詠梅.淺談畢業(yè)設計(論文)的過程管理[J].北京教育(高教版),2005,(7):32~44
[2]蒲靜,陳華月,傅饒.畢業(yè)論文管理系統(tǒng)的設計與實現(xiàn)[J].西華師范大學, 2002,(20):80~93
隨著有關云計算概念、術語和技術的不斷涌現(xiàn)和大量報道,人們在生活中越來越多的采用和實施云計算技術。由于云計算概念和技術比較新穎,涵義比較寬泛,再加上市場上一些人將云計算放大成無所不包、無所不能和無所不在的萬能技術,對云計算的描述和推銷多少出現(xiàn)了一些浮燥和炒做的嫌疑。脫離實際過分夸大或缺乏全面分析地炒做云計算不僅可能讓人誤解,也會使得云計算的發(fā)展不切實際,對于云計算產業(yè)在中國的成長非常不利。所以,有必要對云計算的由來和概念進行了較為全面的梳理和定義。在總結云計算技術為IT產業(yè)帶來好處的同時,找出不足及局限,從而更好地發(fā)展云計算技術。
一、云計算的概念
云計算(Cloud Computing)是由分布式計算(Distributed Computing)、并行處理(ParallelComputing)、網格計算(Grid Computing)發(fā)展來的,是一種新興的商業(yè)計算模型。
中國網格計算、云計算專家劉鵬認為 :“云計算將計算任務分布在大量計算機構成的資源池上,使各種應用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和各種軟件服務”。
云計算中的“計算”是一個簡單而明確的概念。“計算”系指計算應用,在我們生活中可以指一切IT應用。隨著網絡技術的發(fā)展,所有的信息、通信和視頻應用都將整合在統(tǒng)一的平臺之上。由此推而廣之,云計算中的“計算”可以泛指一切ICT的融合應用。所以,云計算術語的關鍵特征并不在于“計算”,而在于“云”。
二、云計算的發(fā)展模式及其特征
早期云計算來之于國際上以亞馬遜、Saleforces.com和谷歌(Google)為代表的公司,并且都提供了具有顯著特征,但又代表著不同模式的成功云業(yè)務。
云計算按照層次將業(yè)務模式劃分為3層,最頂層是軟云,中間層是平云,底層是基云。在基云之下是構建云計算的基礎技術。
基云也稱基礎設施服務,指將IT的基礎設施作為業(yè)務平臺,直接按資源占用的時長和多少,通過公共互聯(lián)網進行業(yè)務實現(xiàn)的“云”。基云的用戶可以是個人,也可以是企業(yè)、集體和行政單位。基云的IT業(yè)務是將存儲、網絡、計算、安全等原始IT資源提供給用戶。用戶可以通過操作系統(tǒng)和應用軟件(如Web服務軟件和數(shù)據(jù)庫等)來使用IT資源。
平云也稱平臺服務,指將應用開發(fā)環(huán)境作為業(yè)務平臺,將應用開發(fā)的接口和工具提供給用戶用于創(chuàng)造新的應用,并利用互聯(lián)網和提供商來進行業(yè)務實現(xiàn)的“云”。
軟云也稱軟件服務,指基于基云或平云開發(fā)的軟件。軟云是通過互聯(lián)網的應用來實現(xiàn)業(yè)務,軟云業(yè)務可以利用其他的基云和平云平臺,也可以利用軟云運營商自己的基云和平云環(huán)境。
基于云計算的實踐與營銷案例,歸納出云計算的基本特征如下:
(1) 虛擬化的超大規(guī)模
云業(yè)務的需求和使用與具體的物理資源無關,IT應用和業(yè)務運行在虛擬平臺之上。論文寫作,數(shù)據(jù)。云計算支持用戶在任何有互聯(lián)網的地方、使用任何上網終端獲取應用服務。論文寫作,數(shù)據(jù)。
(2)動態(tài)的高可擴展性
云技術使用戶可以隨時隨地根據(jù)應用的需求動態(tài)地增減IT資源。由于應用運行在虛擬平臺上,沒有事先預訂的固定資源被鎖定,所以云業(yè)務量的規(guī)模可以動態(tài)伸縮,以滿足特定時期、特定應用及用戶規(guī)模變化的需要。
(3)高可用性
云平臺使用數(shù)據(jù)多副本拷貝容錯、計算節(jié)點同構可互換技術來保障服務的高可用性。任何單點物理故障發(fā)生,應用都會在用戶完全不知情的情況下,轉移到其他物理資源上繼續(xù)運行,使用云計算比使用其他計算手段的可用性更高。
三、云計算技術的應用
傳統(tǒng)模式下,企業(yè)建立一套IT系統(tǒng)不僅僅需要購買硬件等基礎設施,還需要買軟件的許可證,需要專門的維護人員。當企業(yè)的規(guī)模擴大時還要繼續(xù)升級各種軟硬件設施以滿足需要。對個人來說,我們想正常使用電腦需要安裝各種軟件,而許多軟件是收費的,對不經常使用該軟件的用戶來說購買是非常不劃算的。對于企業(yè)來說,計算機等硬件和軟件本身并非他們真正需要的,它們只是完成工作、提供效率的工具而已。
云計算的最終目標是將計算、服務和應用作為一種公共設施提供給公眾,使人們能夠像使用水、電、煤氣和電話那樣使用計算機資源。
最簡單的云計算技術在網絡服務中已經隨處可見,例如搜尋引擎、網絡信箱等,使用者只要輸入簡單指令即能得到大量信息。
目前,以Google云應用最具代表性,例如GoogleDocs、GoogleApps、Googlesites,云計算應用平臺GoogleApp Engine。
四、云計算的發(fā)展趨勢
“云計算”是一個很時尚的概念,它既不是一種技術,也不是一種理論。準確說,云計算僅描述了一類棘手的問題,因為現(xiàn)在這個階段,“計算與數(shù)據(jù)”蹺蹺板的平衡已發(fā)生變化,即已經到“移動計算要比移動數(shù)據(jù)要便宜的多(Moving computation ischeaper than moving data)”。
隨著個人PC市場的逐漸飽和,全球經濟增長放緩對于企業(yè)IT投資的負面影響,云計算適時的出現(xiàn)在了大家的視野中。論文寫作,數(shù)據(jù)。論文寫作,數(shù)據(jù)。作為一種全新的獲取計算資源的方式,云計算將會徹底改變IT產業(yè)的結構。論文寫作,數(shù)據(jù)。由于計算資源從客戶端向計算中心的集中,傳統(tǒng)純硬件廠商的生存空間將更為狹小,大浪淘沙的行業(yè)洗牌會繼續(xù)持續(xù)。論文寫作,數(shù)據(jù)。云計算模式下,互聯(lián)網將成為連接廠商與客戶的唯一通道,互聯(lián)網業(yè)的霸主和軟件供應商的融合勢在必然。
雖然現(xiàn)在還有很多人擔心云計算的可靠性和安全性等問題,但時間會證明這些問題在行業(yè)模式的大轉變下都只不過是些細枝末節(jié)的問題。正如B2C剛剛興起時,人們一度認為網上交易的安全性,支付的方便性等會阻礙它的發(fā)展,但隨著時間的推移,這些問題已經被證明根本不值一提。同樣,對于云計算帶來的IT行業(yè)大變革,時間也會給出最好的答案。
五、結束語
云計算技術將不僅提供傳統(tǒng)意義的IT資源和應用服務,而且將支持包括IT、通信、電視、移動和物聯(lián)等一切互聯(lián)網技術融合后的資源使用和業(yè)務應用。云計算發(fā)展的關鍵技術主要有統(tǒng)一交換構架、統(tǒng)一虛擬化和統(tǒng)一計算系統(tǒng),云計算發(fā)展的戰(zhàn)略推手將是組建開放產業(yè)聯(lián)盟和推動開放技術標準。
云計算模式具有許多優(yōu)點,但是也存在的一些問題,如數(shù)據(jù)隱私問題、安全問題、軟件許可證問題、網絡傳輸問題等。云計算技術它是一個即將,或者正在改變我們工作和生活的一場變革,是擁有比較持久生命力技術演變,包括商業(yè)模式的革新。“云計算”代表了一個時代需求,反映了市場關系的變化,誰擁有更為龐大的數(shù)據(jù)規(guī)模,誰就可以提供更廣更深的信息服務,而軟件和硬件影響相對縮小。
參考文獻:
【1】(美)MICHAELMILLER.云計算[M].機械工業(yè)出版社.2009.
【2】(美)芬加.云計算[M].電子工業(yè)出版社.2009.
中圖分類號:TP393 文獻標識碼:A DOI:10,3969/J.issn.1003-6970.2013.03.001
本文著錄格式:[1]郭平,劉波,沈岳,農業(yè)云大數(shù)據(jù)自組織推送關鍵技術綜述[J].軟件,2013,34(3):1-6
0 引言
隨著物聯(lián)網、云計算、下一代互聯(lián)網等新一代信息技術的快速發(fā)展和信息內容的日益增長,“信息過載”問題愈來愈嚴重,推薦系統(tǒng)(recommender systems)被認為可以有效的緩解此難題,幫助用戶從海量數(shù)據(jù)中發(fā)現(xiàn)感興趣信息,滿足個性化需求。
近年來,我國在農業(yè)個性化知識服務服務領域從本體論、語義網、知識工程角度開展了廣泛的研究,成果主要體現(xiàn)在三個方面:以搜索引擎為代表的知識檢索系統(tǒng),需回答大量預設問題進行知識推理的專家系統(tǒng),特定領域應用系統(tǒng),它們在各自的場合都發(fā)揮了積極作用。然而知識檢索系統(tǒng)不能滿足用戶個性化需求,專家系統(tǒng)的應用很難普及,特定領域應用開發(fā)成本高和重用難度大。物聯(lián)網與數(shù)據(jù)挖掘云服務提供知識服務云實現(xiàn)物理世界的“感知控”,知識服務云的研究主要集中在制造和圖書情報領域,云環(huán)境下的農業(yè)個性化知識服務的研究尚處于起步階段,主要集中在服務模式的構建與展望。
本文是對科技部科技支撐課題“農村農業(yè)信息化關鍵技術集成與示范”(2011BAD21803)與“農村物聯(lián)網綜合信息服務科技工程”(2012BAD35800)研究成果的總結,也是對農業(yè)云推薦系統(tǒng)研究的升華。
1 農業(yè)云大數(shù)據(jù)自組織區(qū)域推送的提出
1.1 農業(yè)信息資源特點
我國自“十一五”時期以來,農業(yè)農村信息化發(fā)展取得了顯著成效,主要表現(xiàn)在農業(yè)農村信息化基礎設施不斷完善、業(yè)務應用深入發(fā)展、物聯(lián)網技術在農業(yè)中逐步推廣應用等方面。從中央到省,市、縣建立了“三農”綜合信息服務平臺,涉農企業(yè)、組織和科研院所也積極搭建了各具特色的農業(yè)信息服務平臺,目前正向鄉(xiāng)鎮(zhèn)村發(fā)展。農村信息員隊伍及以農業(yè)綜合信息服務站和農業(yè)合作社為代表的農村信息服務機構發(fā)展迅速,“三電合一”、“農民信箱”、“農村熱線”等信息服務模式應用深入。云計算利用海量的存儲能力把農業(yè)信息資源形成高度集成和虛擬化的計算資源一“農業(yè)知識聚合云”,支持用戶在任意位置、使用各種終端方便獲取信息,但由于農業(yè)領域生態(tài)區(qū)域性和過程復雜性及農業(yè)區(qū)域發(fā)展不平衡和農民文化的多層次性也帶來了“信息過載”、“資源隱晦”“資源迷向”等問題。
1.2 農業(yè)云環(huán)境下大數(shù)據(jù)自組織區(qū)域推送
物聯(lián)網和云計算背后是大數(shù)據(jù),在云計算模式下,用戶不確定的、智能的交互,個性化需求更加多元化,信息交互行為更加頻繁;在大量用戶通過社會標注達成共識的過程中,逐漸形成不同社區(qū),涌現(xiàn)出群體智能,形成“農業(yè)用戶興趣社交云”。利用云的海量存儲、群體涌現(xiàn)智能、強大的計算能力和物聯(lián)網感知控優(yōu)勢,可以提供面向用戶復雜分析計算,實現(xiàn)業(yè)務重點由面向應用和資源的傳統(tǒng)信息服務,轉變?yōu)榛趯A哭r業(yè)知識進行動態(tài)劃分,有目的、主動、定制、自組織推送給有需求的農業(yè)用戶,為農業(yè)用戶提供實時性、個性化知識服務,指導農業(yè)生產過程。
首先以Hadoop+MapReduce+HBaSe分布式框架為處理平臺,對“農業(yè)用戶興趣社交云”,融合用戶興趣偏好和社交網絡進行建模,將這些多元用戶信息充分融入推送系統(tǒng)會更好產生推薦結果;將推薦對象“農業(yè)知識聚合云”按農業(yè)知識高維性、多樣性、多層次性特征分類聚類為各種知識塊靜態(tài)和動態(tài)元數(shù)據(jù);通過智能算法推薦和社會網絡推薦為用戶發(fā)現(xiàn)個性化內容;根據(jù)用戶的地理位置、用戶服務的評價以及云基礎服務提供商信息將預測值最高的服務推送給用戶實現(xiàn)與物理世界的互動(如圖1)。
從以上分析可知,農業(yè)云大數(shù)據(jù)自組織區(qū)域推送的關鍵技術有用戶興趣模型、推薦對象模型,推薦算法、數(shù)據(jù)挖掘四個部分,以下分別對這幾項技術進行論述。
1.2.1 用戶興趣模型
用戶興趣建模是個性化服務技術的基礎和核心,包括數(shù)據(jù)收集、模型表示、模型學習與模型更新。用戶興趣建模的方法有很多,常用的有向量空間模型、神經網絡、遺傳算法、用戶一項目評價矩陣、基于案例的表示、基于本體論的表示、基于加權關鍵詞的表示,基于社會網絡的表示等。幾乎每種表示形式都是以一種私有形式進行知識表示,此外一些表示技術還依賴于模型學習,如廣泛使用的基于向量空間模型的表示與TF-IDF學習技術聯(lián)系在一起。表示形式的私有性和對學習技術的依賴性阻礙了用戶模型在系統(tǒng)間的共享,這種共享對于減少用戶建模工作量,提高推薦算法啟動效率具有重要意義。因此開發(fā)獨立于模型學習技術的通用用戶模型表示技術是目前研究中熱點,基于語義網和社交網絡的用戶模型在這方面表現(xiàn)了優(yōu)勢。
用戶的興趣或需求會隨時間、情景發(fā)生變化,結合長期和短期興趣及興趣的變化用戶興趣建模的重點,目前的更新機制很難及時跟蹤用戶興趣的變化,有更好的學習效率和動態(tài)變化適應能力的建模是未來的重要研究方向,國內外大量的文獻對此展開了研究,遺忘函數(shù)、時間窗、用戶興趣的漂移特性等被提出。
在湖南農業(yè)云中,基于呼叫中心、互聯(lián)網,手機報、手機短信,電視廣播等用戶在多應用系統(tǒng)中形成的興趣偏好和社交網絡特征,提出“農業(yè)用戶興趣社交云”建模思路:以圖論模型表示用戶“興趣圖”數(shù)據(jù)和“社交圖”數(shù)據(jù),根據(jù)經典的局域世界演化理論,綜合考慮實際情況中用戶之間的多重關系和關系的強弱程度,以用戶之間相似度為節(jié)點連接概率因素,生成動態(tài)多維網絡,進行用戶數(shù)據(jù)的挖掘和更新;結合農業(yè)本體,在多維社交網絡的基礎上,將基于農業(yè)本體的區(qū)域用戶興趣融合在云計算平臺上進行處理。
1.2.2 推薦對象模型
推薦本質上是將推薦對象的特征與用戶的興趣偏好進行推薦計算,所以推薦對象的描述和用戶的描述密切相關。推薦系統(tǒng)應用不同領域,它推薦的對象也就各不相同,目前,湖南農業(yè)云主要是文本性數(shù)據(jù);不同的對象,特征也不相同,目前沒有一個統(tǒng)一的標準來進行統(tǒng)一描述,主要有基于內容、分類、聚類的方法。
基于內容的方法是從對象本身抽取信息表示對象,常見的是向量空間模型,使用最廣泛的是加權關鍵詞矢量方法進行特征選取,使用TFIDF計算每個特征的權值。向量空間模型對模型中的特征詞進行權重估計(TF-IDF)過程中不考慮特征詞之間的相關性,直接用特征詞作為維度構建文檔向量,降低了文檔向量對文檔概念表達的準確性以及對不同類型文檔的區(qū)分能力。
基于分類的方法是把推薦對象放入不同類別,把同類文檔推薦給對該類文檔感興趣的用戶。主要有兩種,一種是基于知識工程的方法,使專家的類別知識直接編碼為分類規(guī)則,正確率和召回率高,但工作量大;近期研究最多的是另一種一機器學習,根據(jù)訓練樣本集建立分類器,方法有很多,常見的有概率分類、貝葉斯回歸分析、決策樹分類器、決策規(guī)則分類器、Rocchio分類器、神經網絡分類器、支持向量機(SVM)、分類器融合、Boosting分類器、k最近鄰方法(KNN)等。
研究文本聚類的最初目的是為了提高信息檢索的查全率和查準率,近年來,文本聚類用于自動產生文本的多層次的類,并利用這些新生成的類對新文本進行效率較好的歸類,已經提出了大量的文本聚類算法。傳統(tǒng)的聚類算法在處理高維和海量文本時效率不很理想。針對這樣的問題,將聚類分析與計算智能理論,并行計算、云計算等相結合,設計出高效的并行聚類算法,己經成為一個比較流行的研究思路。
在湖南農業(yè)知識云數(shù)據(jù)模型中,將能更好反映特征詞相關性的超圖模型引入,將文檔中提取的特征項表示為圖中節(jié)點,特征詞條之間的關系構成圖中邊,用邊上權值表示相關聯(lián)特征項之間共現(xiàn)程度。通過對文本圖模型K最近鄰劃分實現(xiàn)降維降噪的粗粒度數(shù)據(jù)切片;對切片后數(shù)據(jù)反映用戶興趣如地域、時間、訴求等多維度特征的智能聚類,實現(xiàn)細粒度的聚合與分割。
“農業(yè)知識聚合云”模型算法建立在基于MapReduce處理的大規(guī)模圖上,得到各種知識塊靜態(tài)和動態(tài)元數(shù)據(jù)。
1.2.3 推薦算法
推薦算法是整個推薦系統(tǒng)中核心部分,大量的論文和著作都關注了這個方面。目前,基本包括以下幾種:基于內容過濾推薦、協(xié)同過濾推薦、基于關聯(lián)推薦、基于知識推薦、基于效用推薦、基于網絡結構推薦、基于聚類推薦、基于社會網絡分析推薦、混合型推薦等。通過對眾多推薦算法進行比較分析,各種算法都有優(yōu)缺點(如表1):
各種推薦方法都有各自的優(yōu)缺點,在實際問題中采用多種策略進行混合推薦,主要有兩種混合思路:推薦結果混合和推薦算法混合。目前大部分的推薦算法都是混合推薦算法,主要還是以協(xié)同理論為核心,再配合其他算法的優(yōu)點或交叉學科的理論來改善推薦的質量。另外基于社會網絡個性化推薦算法研究是一個趨勢,基于社會網絡的推薦是協(xié)同過濾的延伸,通過考察結點之間(用戶和用戶之間或產品之間)的相關性和結點之間的信任度可以獲得比一般協(xié)同推薦更高推薦效果,如文獻提出將社會網絡關系結合到推薦算法中。縱觀國內外在推薦算法上的研究,主要集中在基于用戶顯性評分數(shù)據(jù)的協(xié)同過濾算法上,對基于非顯性評分行為數(shù)據(jù)場景下的研究卻顯得有點不足。目前在擴展性問題上學術研究不是很具有針對性,主要集中在通過各種交叉學科中的方法來對用戶進行聚類或對行為數(shù)據(jù)進行降維、壓縮等縮短推薦的項目集或減少計算量,從而提升算法的性能;有關基于云平臺上的推薦算法研究目前主要集中于協(xié)同過濾算法MapReduce化。而實際應用中,己出現(xiàn)利用分布式集群解決算法擴展性方法,如Google News的推薦算法就是部署在分布式環(huán)境下,從而滿足海量數(shù)據(jù)下的推薦服務。
根據(jù)農業(yè)云大數(shù)據(jù)自組織區(qū)域推送實際情況將推薦結果和推薦算法混合,提出“三層推薦”策略:在豐富的知識塊云元數(shù)據(jù)基礎上,將知識塊屬性和用戶興趣行為基于頻繁模式的知識關聯(lián)撮合推薦;通過復雜網絡聚類算法識別一個用戶多個社區(qū)興趣,融合“興趣圖”和“社交圖”協(xié)同過濾推薦,突破算法推薦的局限性,讓用戶信任的朋友圈子為其發(fā)現(xiàn)和推薦內容,取得社交推薦的時效性和算法推薦的長尾性之間的互補,從而針對每個社區(qū)成員提供精準個性化推薦;根據(jù)基礎設施服務供應商、用戶所在的地理位置以及用戶對服務可用性評價值的相似性等,將大量用戶云終端聚類為一定數(shù)量的社區(qū),提高云端推送服務的有效性,最終形成通過大眾參與,支持云間變換,集電信網、廣播電視網、互聯(lián)網合一的自組織區(qū)域推送,較有效地處理一般推薦算法中存在的稀疏性、冷啟動以及大規(guī)模實時計算的問題。
1.2.4 云計算下個性化數(shù)據(jù)挖掘
數(shù)據(jù)挖掘采用了多種領域中的思想,包括來自統(tǒng)計學的抽樣、估計、假設檢驗以及人工智能、模式識別和機器學習的搜索算法、建模技術和學習理論。隨著數(shù)據(jù)挖掘的不斷發(fā)展,也采用了包括最優(yōu)化、進化計算、信息論、信號處理、可視化、信息檢索、云計算、并行計算等技術。與傳統(tǒng)的數(shù)據(jù)挖掘相比,云計算下的個性化數(shù)據(jù)挖掘的目標,就是通過云計算中心,向用戶提供針對其即時演化需求的數(shù)據(jù)挖掘SaaS(Software as aService,軟件即服務)服務,其基礎問題主要為:對于用戶不同的數(shù)據(jù)挖掘需求以及針對用戶特點進行個性推薦的建模和表征;數(shù)據(jù)挖掘算法適應云計算的并行分布式化;使數(shù)據(jù)挖掘的結果和算法能夠支持云間變換并形成一種面向用戶、即時組合的、變粒度的云服務,其中數(shù)據(jù)挖掘的云服務化是研究的難點。
(1)云計算下個性推薦的建模和表征
云下的個性推薦建模和表征與傳統(tǒng)上個性化推薦明顯的不同在于海量異構大數(shù)據(jù)和用戶間群體涌現(xiàn)的社交網絡,它們本質上形成了多個頂點的大規(guī)模圖。云計算可以為大規(guī)模個性化提供技術支撐,云服務本身也有大規(guī)模個性化定制應用需求,目前研究兩者結合的文獻還很少,張澤華從計算資源的角度基于復雜系統(tǒng)理論對云計算聯(lián)盟體系結構進行建模,并基于蟻群優(yōu)化算法和復雜系統(tǒng)理論進行了負載均衡研究;郭昱就有效處理客戶需求信息該如何選擇與分布云計算平臺中的關鍵節(jié)點問題,提出了基于云計算的大規(guī)模定制客戶需求模型。趙東杰對復雜網絡、數(shù)據(jù)挖掘與群體智能有效結合進行了探索研究。農業(yè)云大數(shù)據(jù)自組織推送通過“農業(yè)知識聚合云”分解的靜態(tài)、動態(tài)知識元數(shù)據(jù)和“農業(yè)用戶興趣社交云”形成的興趣圖、社交圖基于用戶行為和知識元數(shù)據(jù)的關聯(lián)撮合,通過人工智能和社交圈子幫助用戶發(fā)現(xiàn)內容,實現(xiàn)搜索和推薦的無縫結合,為智能個性化推薦實現(xiàn)“內容找人”愿景。
(2)算法并行分布式與高性能計算
對于大規(guī)模數(shù)據(jù)的處理,典型系統(tǒng)結構大致分為三類:基于MapReduce模型的分布式并行處理系統(tǒng)、基于BSP模型的分布式并行處理系統(tǒng)和分布式圖數(shù)據(jù)庫系統(tǒng)。數(shù)據(jù)挖掘算法現(xiàn)在的發(fā)展趨勢是基于云計算的并行數(shù)據(jù)挖掘,它的同一個算法可以分布在多個節(jié)點上,多個算法之間是并行的,多個資源實行按需分配,而且分布式計算模型采用云計算模式,數(shù)據(jù)用DFS或者HBASE,編程模式采用MapReduce這種方式。Bhaduri等整理了一個十分詳盡的并行數(shù)據(jù)挖掘算法文獻目錄,包含了關聯(lián)規(guī)則學習、分類、聚類、流數(shù)據(jù)挖掘四大類分布式數(shù)據(jù)挖掘算法,同時還包括分布式系統(tǒng)、隱私保護等相關的研究工作。
2 基于云計算推薦系統(tǒng)研究的重點、難點與熱點
2.1 云環(huán)境下用戶偏好獲取安全與可信問題
推薦系統(tǒng)中,用戶數(shù)據(jù)集的數(shù)量和質量問題,影響用戶模型的精確度、可用性,導致問題的根本原因在于用戶對隱私和安全的考慮。而云環(huán)境下,數(shù)據(jù)的安全與隱私是用戶非常關心的問題。既能得到準確用戶信息而提高推薦系統(tǒng)性能,又能有效保護用戶信息同時檢測并能預防推薦攻擊(一些不法的用戶為了提高或降低某些對象的推薦概率,惡意捏造用戶評分數(shù)據(jù)而達到目的)將是未來推薦系統(tǒng)的一個重要研究方向。
2.2 模型過擬合問題
過擬合現(xiàn)象是指系統(tǒng)推薦給用戶的對象與用戶剛剛看過的不是太相似或者太不相關。過擬合(過學習)的問題本質上來自于數(shù)據(jù)的不完備性,這在實際應用中是無法完全避免的。在于興趣偏好獲取方式或隱私等原因使用戶沒有對足夠多類別的對象進行評價。目前解決的主要方法是引入隨機性,使推薦算法收斂到全局最優(yōu)或者逼近全局最優(yōu),關于既要保證推薦的多樣性,又不能與用戶看過的對象重復或毫不相關這一問題的研究是推薦系統(tǒng)研究的一個難點和重點。
2.3 稀疏性與冷啟動問題
稀疏性和冷啟動問題困擾推薦系統(tǒng)很長時間了,前者的解決辦法主要過濾和降維。目前針對冷啟動問題提出了一些解決方法,主要分為兩大方面,一是直接利用傳統(tǒng)協(xié)同過濾的評分數(shù)據(jù)結合特定的方法進行解決,二是新用戶或新項目的內容屬性信息與傳統(tǒng)的協(xié)同過濾評分數(shù)據(jù)相結合的方法進行改善冷啟動問題。稀疏性與冷啟動問題一直是推薦系統(tǒng)研究的一個難點和重點。
2.4 數(shù)據(jù)挖掘的結果和算法智能服務化
將數(shù)據(jù)挖掘算法融入針對海量用戶的使用記錄和計算資源間協(xié)作進行優(yōu)化組合,利用這些特性通過大眾參與的交互作用,提高云間服務的智能性、有效性將是大數(shù)據(jù)時代推薦系統(tǒng)研究的一個制高點。將數(shù)據(jù)挖掘任務及其實現(xiàn)算法服務化,通過SaaS方式向云計算中心索取所需的相應的數(shù)據(jù)挖掘,這可能是目前突破數(shù)據(jù)挖掘專用軟件使用門檻過高、普通大眾難以觸及、企業(yè)用戶使用成本太大、挖掘算法和結果難以實時得到評價和相應修改等問題的最有希望的解決方案之一,也是數(shù)據(jù)挖掘走向互聯(lián)網大眾、走向實用化的重要的一步。
2.5 大數(shù)據(jù)處理與增量計算問題
目前對大數(shù)據(jù)的研究仍處于一個非常初步的階段,半結構化和非結構化數(shù)據(jù)給傳統(tǒng)的數(shù)據(jù)分析帶來巨大挑戰(zhàn),尤其算法如何快速高效地處理推薦系統(tǒng)海量和稀疏的數(shù)據(jù)成為迫在眉睫的問題。當產生新的數(shù)據(jù)時,算法的結果不需要在整個數(shù)據(jù)集上重新進行計算,而只需考慮增量部分,對原有的結果進行微調,快速得到準確的新結果,是增量計算的理想狀態(tài)。但一般而言,隨著信息量的增多,算法的誤差會累積變大,最終每過一段時間還是需要利用全局數(shù)據(jù)重新進行計算。一個特別困難的挑戰(zhàn)是如何設計一種能夠保證其誤差不會累積的算法,也就是說其結果與利用全部數(shù)據(jù)重新計算的結果之間的差異不會單調上升,要達到這種程度,還有很長的路要走。
結束語:
隨著新一代信息技術的快速發(fā)展和信息內容的日益增長,搭載在云計算平臺的自組織區(qū)域推送具有它天然的優(yōu)勢:云的海量存儲使得推薦系統(tǒng)能有效獲取訓練數(shù)據(jù);云的分布式計算能力提供了較高的響應能力;海量用戶的使用記錄和計算資源問大眾參與的交互涌現(xiàn),最終形成自組織優(yōu)化組合的智能個性化云推送。因此,農業(yè)云自組織區(qū)域推送具有重要的研究意義和廣闊的應用前景,對云環(huán)境下其他領域的個性化推送應用具有借鑒意義,但目前存在大量問題需要進行深入細致的研究。
參考文獻
[1]孟祥武,胡勛,王立才,張玉潔,移動推薦系統(tǒng)及其應用[J],軟件學報,2013,24(1):91-108
[2]楊濤,基于本體的農業(yè)領域知識服務若干關鍵技術研究[D],上海:復旦大學計算機科學技術學院博士論文,2011,1-50
[3]楊曉蓉,分布式農業(yè)科技信息共享關鍵技術研究與應用[D],北京:中國農業(yè)科學院博士學位論文,2011,3-35
[4]趙春江,農業(yè)智能系統(tǒng)[M],北京:科學出版社,2009,1-210,
[5]何清,物聯(lián)網與數(shù)據(jù)挖掘云服務[J],智能系統(tǒng)學報,2012,7(3):1-5,
[6]黃衛(wèi)東,于瑞強,共享學習模式下知識服務云平臺的構建研究[J],電信科學,2011,12:6-11
[7]丁靜,楊善林,羅賀,丁帥,云計算環(huán)境下的數(shù)據(jù)挖掘服務模式[J],計算機科學,2012,39(6):217-219,237
[8]鄧仲華,錢劍紅,陸穎雋,國內圖書情報領域云計算研究分析[J],信息資源管理學報,2012,2:10-16
[9]胡安瑞,張霖,陶飛,羅永亮,基于知識的云制造資源服務管理[J]同濟大學學報(自然科學版),2012,40(7):1093-1101
[10]程功勛,劉麗蘭,林智奇,俞濤,面向用戶偏好的智能云服務平臺研究[J],中國機械工程,2012,23(11):1318-1323,1336
[11]劉波,方逵,沈岳,可重構的農業(yè)知識服務模式研究[J]農機化研究,2011,36(11):66-70
[12]趙星,廖桂平,史曉慧,陳誠,李文圃,物聯(lián)網與云計算環(huán)境下的農業(yè)信息服務模式構建[J],農機化研究,2012,4:142-147
[13]郭永田,中國農業(yè)農村信息化發(fā)展成效與展望[J],電子政務,2012,02-03:99-106
[14]李道亮,中國農業(yè)農村信息化發(fā)展報告(2011)[M],北京:電子工業(yè)出版,2012,87-150
[15]錢平,鄭業(yè)魯,農業(yè)木體論研究與應用[M],北京:中國農業(yè)科學技術出版社,2006,1-100
[16]吳麗花,劉魯,個性化推薦系統(tǒng)用戶建模技術綜述[J],情報學報,2006,25(2):55-62
[17]李珊,個性化服務中用戶興趣建模與更新研究[J],情報學報,2010,29(1):67-71
[18]王國霞,劉賀平,個性化推薦系統(tǒng)綜述[J],計算機工程與應用,2012,48(7):66-76
[19]王巧容,趙海燕,曹健,個性化服務中的用戶建模技術[J],小型微型計算機系統(tǒng),2011,32(1):39-46
軟件雜志歡迎推薦投稿:http:///
[20]張華清,動態(tài)多維社會網絡中個性化推薦方法研究[D],濟南:山東師范大學碩士學位論文,2012,16-31
[21]丹,面向跨系統(tǒng)個性化服務的用戶建模方法研究[J]_情報雜志,2012,31(6):156-161
[22]鄧夏瑋,基于社交網絡的用戶行為研究[D],北京:北京交通大學碩士學位論文,2012,4-43
[23]馬堯,基于多維用戶特征建模的個性化社交搜索引擎的設計與實現(xiàn)[D],廣州:華南理工大學碩士學位論文,2012,12-55
[24]陳恩紅,徐童,田繼雷,楊禹,移動情景感知的個性化推薦技術[J],中國計算機學會通訊,2013,9(3):19-24
[25]Jong Hwa Kima,b,,Hyun JoonLeeb,Extraction of user profile based on workflow and information flow[J],Expert Systems with Applications,2012,39(5):5478-5487
[26]南智敏,錢松榮,引入漂移特性的用戶興趣模型優(yōu)化研究[J],微型電腦應用,2012,28(3):30-32
[27]郭新明,弋改珍,混合模型的用戶興趣漂移算法[J],智能系統(tǒng)學報,2010,5(2):181-184
[28]程顯毅,朱倩,文本挖掘原理[M],北京:科學出版社,2010,9-45 [29]李濤,推薦系統(tǒng)中若干關鍵問題研究[D],南京:南京航空航天大學博士學位論文,2009,31-80
[30]姜倫,模糊聚類算法及其在中文文本聚類中的研究與實現(xiàn)[D],哈爾濱:哈爾濱理工大學碩士學位論文,2010,18-48
[31]馮汝偉,謝強,丁秋林,基于文本聚類與分布式Lucene的知識檢索[J],計算機應用,2013,33(1):186-188
[32]陶紅,周永梅,高尚,一種基于語義相似度的群智能文本聚類的新方法[J]計算機應用研究,2012,29(2):482-532
[33]孟海東,劉小榮,基于聚類分析的圖模型文檔分類[J]計算機應用與軟件,2012,29(1):117-174,229
[34]饒君,張仁波,東呈曉,吳斌,基于MapReduce的大規(guī)模圖挖掘并行計算模型[J],應用科技,2012,39(3):56-60
[35]于戈,谷峪,鮑玉斌,王志剛,云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術[J],計算機學報,2011,34(10):1753-1767
[36]呂善國,吳效葵,曹義親,基于網絡結構的推薦算法[J]_實驗室研究與探索,2012,31(7):278-280,368
[37]周佳,羅鐵堅,一種基于內容關聯(lián)的學術資源協(xié)同推薦算法[J],中國科學院研究生院學報,2013,30(1):117-123
[38]唐曉波,張昭,基于混合圖的在線社交網絡個性化推薦系統(tǒng)研究[J]情報理論與實踐,2013,36(2):91-95
[39]王立才,孟祥武,張玉潔,上下文感知推薦系統(tǒng)[J],軟件學報,2012,23(1):1-20
[40]劉建國,周濤,汪秉宏,個性化推薦系統(tǒng)的研究進展[J],自然科學通報,2009,19(1):1-15
[41]許海玲,吳瀟,李曉東,閻保平,互聯(lián)網推薦系統(tǒng)比較研究[J]軟件學報,2009,20(2):350-362
[42]孫冬婷,何濤,張福海,推薦系統(tǒng)中的冷啟動問題研究綜述[J],計算機與現(xiàn)代化,2012,5:59-63
[43]張亮,基于聚類技術的推薦算法研究[D],成都:電子科技大學碩士學位論文,2012,7-18
[44]Liu, F.,Lee, H.J. Use of social network information to enhance collaborative filterinperformance.Expert[J] Systems with Applications. 2010, 37(7):4772-4778.
[45]Jiang, J., Lu, J., Zhang, G., Long, G. Scaling- Up Item-Based CollaborativeFiltering Recommendation Algorithm Based on Hadoop[C].2011 IEEE World Congress onServices.IEEE[A]. 2011, 490-497.
[46]周源,基于云計算的推薦算法研究[D],成都:電子科技大學碩士學位論文,2012,26-64
[47]呂雪驥,基于云計算平臺的智能推薦系統(tǒng)研究[D],合肥:安徽大學碩士學位論文,2012,25-43
[48]劉晨,改進的聚類挖掘算法對網絡自助出版“長尾”文本的推薦應用[D],上海:復旦大學碩士學位論文,2011,10-19
[49]陳桂生,張海粟,劉玉超,云計算下的個性化數(shù)據(jù)挖掘服務[EB/OL],[2011-2-28]中國人工智能學會通訊,http://www,/contents/50/119,html
[50]張澤華,云計算聯(lián)盟建模及實現(xiàn)的關鍵技術研究[D],昆明:云南大學博士學位論文,2012,26-114
[51]郭昱,吳清烈,基于云計算的大規(guī)模定制客戶需求響應模型及其節(jié)點的選擇與分布[J],系統(tǒng)工程理論與實踐,2011,31(增刊2):1-6
[52]趙東杰,張海粟,韓言妮,楊海濤,何宇,基于網絡化數(shù)據(jù)挖掘的群體智能研究方法[C],Proceedings of 2010 The 3rdInternational Conference on Computational Intelligence andIndustrial Application(Volume 9).IEEE[A].2010,239-243.
[53]AnandRajaraman,Jeffrey David Ullman著,王斌譯,互聯(lián)網大規(guī)模數(shù)據(jù)挖掘與分布式處理[M],北京:人民郵電出版社,2012,1-253
[54]Bhaduri K, Das K, Liu Kun, et al. Distributed data mining bibliography[EB/OL]. [2011-01-03]. http:// cs. umbc. edu/~hillol/DDMBIB/