緒論:寫作既是個人情感的抒發(fā),也是對學術真理的探索,歡迎閱讀由發(fā)表云整理的11篇云計算技術基礎范文,希望它們能為您的寫作提供參考和啟發(fā)。
引言
隨著網(wǎng)絡技術的不斷發(fā)展,云計算也不斷完善,不僅可以為計算機數(shù)據(jù)運行提供平臺,也能為計算機發(fā)展提供方向,因此,相關計算機技術人員要注重云計算技術,通過發(fā)展混合云計算、進行云計算遷移,能夠保證數(shù)據(jù)傳播的安全與穩(wěn)定。
1云計算技術的內(nèi)涵
云計算(cloudcomputing)是基于計算機技術的一種增加服務和使用交付模式的技術,主要為計算機運算提供虛擬化的動態(tài)鏈接資源。所謂的“云”是指一計算機互聯(lián)網(wǎng)的比喻方法。“云”由原來的比喻,逐漸轉(zhuǎn)變?yōu)橛嬎銠C處理數(shù)據(jù)時的動態(tài)以及基礎設備的抽象化概念。由于云計算具有開放式運算特點,它能夠在每秒內(nèi)進行15萬億次的運算,因此,擁有如此強大的數(shù)據(jù)計算能力的云計算,能夠模擬核爆炸、預測天氣變化和推測金融市場走勢。用戶端只需要通過電腦、筆記本電腦、手機就能夠接入數(shù)據(jù)中心,從而按自己所需,進行數(shù)據(jù)處理。現(xiàn)階段,接受最廣的云計算定義:云計算是一種按照數(shù)量來付費的數(shù)據(jù)處理模式,這種模式能夠為用戶端提供可靠的、具有針對性的網(wǎng)絡訪問權限。用戶端能夠接入可共享計算資源池,包括網(wǎng)絡資源、服務器資源等,這些資源可以被用戶端快速搜索出并被使用,從而只需非常簡單的操作,就可以和服務供應商交互。
2云計算技術在計算機數(shù)據(jù)處理過程中的應用
2.1保障數(shù)據(jù)傳輸提供安全
云安全(CloudSecurity)是一個云計算延伸的概念,主要是指用戶端在進行計算機數(shù)據(jù)處理的過程中,使用云計算,能夠保證數(shù)據(jù)信息安全。用戶端越多,每個使用者的數(shù)據(jù)就越安全,因為,用戶端群體增大,能夠覆蓋所有計算機互聯(lián)網(wǎng)數(shù)據(jù)角落,只要出現(xiàn)木馬病毒或者被病毒感染,云計算技術就可以及時截獲病毒,從而保證用戶端安全。云安全主要表現(xiàn)在以下三個方面。(1)安全問題。用戶端在進行數(shù)據(jù)傳輸?shù)倪^程中,會遇到訪問權限,需要輸入正確的密碼,才能夠完成數(shù)據(jù)傳輸。這是云計算基于原有的安全方法不斷加密,從而使“輸入圖片中的數(shù)字”問題,變得更加深奧,避開一眼就能看出答案的問題,保證個人密碼安全。(2)雙重認證。用戶端在進行計算機技術傳輸過程中,還會遇到允許其他用戶訪問或者拒絕訪問的情況。在云計算中,除了用戶名和密碼外,還需要驗證碼。驗證碼一般是通過信息的形式發(fā)送到手機,同時,也有語音、圖片等驗證碼,通過這樣的方法,如果用戶端處于被訪問的狀態(tài),能夠拒絕登錄,從而保障數(shù)據(jù)的安全性。(3)登錄地點。定位系統(tǒng)能夠顯示出用戶端的實際位置,這樣會導致信息安全問題,因此,云計算對登陸地點進行保護,用戶可以隱藏自己的位置,同時,云計算會提供郵件服務,顯示用戶賬號的異地登錄現(xiàn)象,保護數(shù)據(jù)信息安全。
2.2云計算可以為數(shù)據(jù)處理提供平臺
云計算技術主要包括兩個層次的服務:(1)IaaS基礎設施級服務。用戶者通過網(wǎng)絡能夠完善計算機基礎設施,包括存儲空間、網(wǎng)絡連接等基本計算資源,在此基礎上部署和運行各種軟件,包括操作系統(tǒng)和應用程序。現(xiàn)如今,主要的iaas平臺產(chǎn)品有華勝天成、OPENStack、Cloudstack等。(2)PaaS平臺級服務。PaaS平臺主要包括操作系統(tǒng)、編程語言的運行環(huán)境、數(shù)據(jù)庫和Web服務器,用戶在此平臺上部署和運行自己的應用,不能管理和控制底層的基礎設施,只能控制自己部署的應用[1]
3云計算技術在計算機數(shù)據(jù)處理中的發(fā)展策略
3.1保障云計算安全
隨著計算機技術的不斷發(fā)展,人們的信息數(shù)據(jù)安全意識也逐漸提高,更加注重在計算機數(shù)據(jù)傳輸過程中,云計算技術是否能夠發(fā)揮保護數(shù)據(jù)作用,因此,相關技術人員在進行云計算技術研發(fā)時,要注重云計算發(fā)揮安全保障作用,主要體現(xiàn)在以下兩個方面。(1)研發(fā)新的加密技術。加密技術是通過數(shù)學或物理手段,對數(shù)據(jù)在傳輸過程中和存儲體內(nèi)進行保護,以防止泄漏的技術。加密技術具有一定的標準,技術人員在研發(fā)新的技術時,需要應用到數(shù)據(jù)加密標準,一次性將64位明文打亂順序,接著將把64位的明文分解成兩個32位塊,在用機密算法將每個32位塊打亂為16位,最后使用初始置換的逆置換。(2)安全協(xié)議。安全協(xié)議是通過一種建立在密碼基礎上的通信交互協(xié)議,運用密碼算法和邏輯,來實現(xiàn)密匙認證與分配。因此,技術人員在進行安全協(xié)議架設的時候,要注重熟悉加解、解密等密碼運算,從而能完成加密密鑰和解密密匙。
3.2研發(fā)混合云計算
混合云計算是指私有云計算和共有云計算二者混合運用。混合云計算能夠良好協(xié)調(diào)兩者,可以為企業(yè)、個人帶來融合應用體驗。混合云計算主要有資源自動化和提升硬件價值的優(yōu)點。其中,資源自動化能夠在單一域中,使用自動化方法,來控制、管理計算機數(shù)據(jù);而實現(xiàn)硬件的價值,主要是降低數(shù)據(jù)運行成本。例如,一家企業(yè)購買了數(shù)據(jù)采集和監(jiān)控系統(tǒng)的硬件,當遷移至公共云計算時這些硬件投入就失去了價值。
3.3研發(fā)移動云服務
隨著移動端的普及,未來云計算技術發(fā)展趨勢一定是移動云服務。移動云服務能夠起到擴充移動端的能力,同時還可以增強多媒體、Web離線及本地數(shù)據(jù)存儲的能力。現(xiàn)如今,大部分移動設備都能夠用來信息傳遞、數(shù)據(jù)通信,因此,技術在研發(fā)移動云服務的時候,需要注重以下兩點。(1)實現(xiàn)Windows應用的無縫遷移。用戶端應用遷移到移動端會面臨著運行不暢的問題,影響用戶體驗,因此,技術人員要提高移動端數(shù)據(jù)傳送的流暢,降低開放應用數(shù)量和容量減材,從而確保計算機數(shù)據(jù)的傳送和安全。(2)基于信息系統(tǒng)進行開發(fā)。技術人員要保證移動云服務的數(shù)據(jù)安全,通過集中管理應用、完善用戶權限管理、對數(shù)據(jù)加密保護和多種登錄驗證,包括信息、語音驗證等。從而降低數(shù)據(jù)被盜用和被截取風險。
4結束語
云計算能夠促進計算機數(shù)據(jù)處理技術發(fā)展。在此基礎上,通過研發(fā)新的加密技術、架構安全協(xié)議,能夠防止技術泄漏、確定參與協(xié)議的主體標識,同時,通過“跨鏈通信”區(qū)塊鏈安全協(xié)議、混合云計算方法喚醒硬件設備,能夠擴充基礎設備容量、降低數(shù)據(jù)運行成本。
參考文獻
中圖分類號 TP3 文獻標識碼 A 文章編號 2095-6363(2017)08-0070-01
云計算技術融合了負載均衡、網(wǎng)絡存儲、效用計算和分布式計算等計算機網(wǎng)絡技術,具有擴展性、通用性、大規(guī)模、虛擬化等特點及可提供可靠、廉價的服務。云計算的服務包括IaaS(基礎設施即服務)、PaaS(平臺即服務)及SaaS(軟件即服務)3種模式。據(jù)艾瑞咨詢數(shù)據(jù)顯示,2016年中國企業(yè)云服務的市場規(guī)模或達520億,同比增長31.9%,且在未來幾年中,云服務市場仍會以超過30%的年復合增長率高速發(fā)展。在這一背景下,社會非常關注云安全的問題,具體涉及云端、應用服務層和基礎設施層的安全層次。針對這一問題,中國建立了BIM云計算中心、360、綠盟、啟明星辰、瑞星等公司制定了網(wǎng)絡安全解決辦法,并出現(xiàn)了阿里云、BIM云和百度云等,從而為云計算技術應用的安全性提供了重要保證。
1 網(wǎng)絡安全存儲的關鍵技術
1.1 身份認證
身份認證是保護計算機網(wǎng)絡存儲系統(tǒng)安全的第一道關口,其主要采用下列幾種技術方式:一是口令核對驗證,即在身份認證時,用戶僅需輸入事先建立的合法用戶名與口令,便可校驗用戶是非法的或是合法的;二是智能IC卡,即事先在智能IC卡中錄入用戶的合法信息,而在身份認證時,僅需輸入合法的用戶名與口令,便會由智能卡向認證服務器發(fā)送隨機數(shù),以驗證用戶身份的合法性;三是Kerberos身份認證,即先利用授權服務器、資源訪問機制使用戶口令生成密鑰K,再經(jīng)授權服務器提供的票證認證身份,并在獲得合法憑證后獲得相關服務;四是PKⅠ身份認證,即通過利用彼此匹配的密鑰,實現(xiàn)加、解密,并采用密鑰備份、更新與恢復機制,以提供計算機網(wǎng)絡安全服務。
1.2 數(shù)據(jù)加密
數(shù)據(jù)加密是先運用加密密鑰、加密算法使明文變?yōu)槊芪模僭诮饷軙r采用同樣的辦法使密文為明文。目前,數(shù)據(jù)加密技術的常用方法包括對稱、非對稱加密算法。其中,對稱加密算法使用的密鑰加、解密數(shù)據(jù)相同,詳見圖1。
結合圖1,對稱加密算法要求發(fā)送方、接收方知曉全部數(shù)據(jù)的加密密鑰或具有訪問權限,因此密鑰在傳遞與管理上的難度很高。不對稱加密算法的運用可有效彌補對稱加密算法的不足,即其會使用一對公、私鑰組合,且唯有私鑰能解密經(jīng)公鑰加密的或公鑰能解密經(jīng)私鑰加密的密文,其中公鑰對外公布,而私鑰由自己保存。
1.3 糾刪碼
在計算機網(wǎng)絡存儲系統(tǒng)中,可運用糾刪碼技術來應對誤碼信息位置的未知性、不確定性,且其要素包括分組碼、碼集、碼字、監(jiān)督與信息碼元等。目前,常用的糾刪碼技術包括級聯(lián)低密度糾刪碼、無速率編碼和RS糾刪碼,從而實現(xiàn)了加速編、解碼及保證計算機網(wǎng)絡安全的目的。
2 云計算技術的應用
在計算機網(wǎng)絡安全存儲中,云計算技術的應用條件是規(guī)模化的分布式存儲技術,即其適合用在聲音、圖像、視頻和文檔等文件中,且可保證這些文件存儲的穩(wěn)定性與可擴展性,同時要求用戶按需付費。在這一應用過程中,一般通過副本、編碼冗余存儲和備份數(shù)據(jù),以保證云計算技術的安全應用。
2.1 可取回性證明算法
可取回性證明算法是一種基于“挑戰(zhàn)-響應-驗證”機制的算法,其運用冗余糾錯編碼,以幫助需求用戶驗證云計算中數(shù)據(jù)的狀態(tài),即:在查詢數(shù)據(jù)時,先由用戶向云端發(fā)起挑戰(zhàn),再由云端據(jù)此作出響應,而用戶通過驗證云端響應信息,便可確定歸檔數(shù)據(jù)是否處在安全狀態(tài)下。倘若驗證未能通過,表面歸檔文件受損,要求嘗試性恢復,而若破壞值處在閾值范圍內(nèi),則可用編碼冗余信息恢復原始數(shù)據(jù),同時亦可利用副本冗余安全存儲保障,以使恢復錯誤數(shù)據(jù)的幾率更高。應用表明,可取回性證明算法可驗證云中數(shù)據(jù)的完整性,可準確定位錯誤數(shù)據(jù)及進行深入的分析與處理。但若在原始數(shù)據(jù)的冗余編碼中運用RS糾刪碼,會在一定閾值范圍內(nèi)出現(xiàn)數(shù)據(jù)丟失或錯誤現(xiàn)象。為此,通過可運用冗余數(shù)據(jù)進行修復,并分開放置,以使提取歸檔文件的速率更高,從而使得系統(tǒng)應用功能的便捷性更高。
2.2 MC-R應用策略
在計算機網(wǎng)絡安全存儲中,云計算技術在應用中采用的MC-R策略包括:一是用戶端MC-R策略或用戶端MC加密算法,即:針對數(shù)據(jù)偽裝與隱藏能力較差的應用現(xiàn)狀,運用用戶端MC加密算法,可構建數(shù)據(jù)偽裝、隱藏和標記模塊,且這些模塊的協(xié)同狀態(tài)影響著云計算的安全應用;二是云端MC-R策略或云端RSA,即其僅加密核心隱私數(shù)據(jù),以免云端RSA陷入大數(shù)據(jù)量消耗的狀態(tài)中,其中對于加、解密模塊,其應用流程如下:先由需求用戶生成、保存一組RSA公、私密鑰,再采用MC加密算法處理數(shù)據(jù),并連同密鑰傳入云端,然后先云端加密數(shù)據(jù),而在下載加密文件及用密鑰解密數(shù)據(jù)時,要求需求用戶的下載請求滿足一定的條件。對于恢復、利用初始數(shù)據(jù)的問題,可先用云端數(shù)據(jù)標記模塊尋找隱藏數(shù)據(jù),再撤除偽裝。
3 結論
在本案,筆者結合云計算技術的理論知識,探討了其在計算機網(wǎng)絡安全存儲中的具體應用。研究表明,云計算技術具有性能高、可擴展性等優(yōu)點,因此有助于保證網(wǎng)絡數(shù)據(jù)的隱私性與完整性,同時通過運用M-POR、MC-R安全存儲策略,可實現(xiàn)對網(wǎng)絡數(shù)據(jù)的完善、保護及實現(xiàn)部分數(shù)據(jù)的安全共享。總之,云計算作為一種新起的商業(yè)計算模型,其為下一代網(wǎng)絡計算平臺提供了可靠的數(shù)據(jù)存儲、優(yōu)質(zhì)的網(wǎng)絡服務。換而言之,為了適應互聯(lián)網(wǎng)的深入發(fā)展,在計算機網(wǎng)絡安全存儲中引入云計算技術及保證云計算的安全存儲具有現(xiàn)實意義,值得高度重視。
參考文獻
[1]張菁菁.新時期云計算環(huán)境下的計算機網(wǎng)絡安全技術研究[J].中國新通信,2016(4):44.
[2]袁玉珠.云計算模式下的計算機網(wǎng)絡安全儲存系統(tǒng)設計[J].電子技術與軟件工程,2016(7):227.
云計算技術具有規(guī)模大、虛擬化、可靠性強、高擴展性、按需付費且價格低廉、優(yōu)越的事務處理環(huán)境等特點,可以根據(jù)用戶的不同需求對數(shù)據(jù)信息進行計算、備份和存儲,其服務模式主要包括三種,分別為基礎設施即服務、軟件即服務、平臺即服務。基礎設施即服務(Infrastructure-as-a-Service),主要是利用硬件設備和虛擬機設備等提供擴展,可以更好的發(fā)揮計算機的存儲作用。軟件即服務(Software-as-a-Service)為用戶提供虛擬桌面程序和軟件應用程序。平臺即服務(Platform-as-a-Service)就是根據(jù)用戶的需求開發(fā)Web服務。云服務商提供的這些服務在資金節(jié)約及數(shù)據(jù)安全性等方面具有很多優(yōu)勢。
2造成計算機網(wǎng)絡安全存儲問題的因素分析
隨著網(wǎng)絡技術的發(fā)展,網(wǎng)絡中存儲著大量的信息,涉及到商業(yè)機密、個人機密信息等,關系著工作和生活的方方面面,因此,保障網(wǎng)絡數(shù)據(jù)的安全顯得尤為重要,但是技術的快速發(fā)展讓整個網(wǎng)絡環(huán)境變得十分復雜,很多因素都不利于網(wǎng)絡信息的安全存儲。第一,計算機系統(tǒng)的安全問題。計算機系統(tǒng)的安全問題主要變現(xiàn)在硬件問題和軟件問題兩個方面,其中,硬件系統(tǒng)的問題主要是硬件設備發(fā)生故障或者是人為原因?qū)τ布O施進行破壞,軟件的問題主要是操作系統(tǒng)、數(shù)據(jù)庫等容易受到一些不法之徒與黑客的攻擊,他們?yōu)榱双@得某些利益,通常會利用相關的技術變更用戶的訪問權限,嚴重破壞計算機系統(tǒng)的正常運行。第二,計算機網(wǎng)絡病毒。計算機網(wǎng)絡病毒的傳播主要通過文件下載、網(wǎng)頁植入、電子郵件等方式進行,通過采用計算機網(wǎng)絡病毒對系統(tǒng)進行蓄意攻擊,可以侵入他人的計算機網(wǎng)絡系統(tǒng)盜取信息,甚至還會通過不斷的復制和傳播,造成整體系統(tǒng)的癱瘓,破壞強度大,比如木馬程序,它隱藏性強,植入之后不會馬上爆發(fā),不法之徒可以通過該程序遠程對計算機進行控制,給計算機網(wǎng)絡安全造成威脅。
3計算機網(wǎng)絡安全存儲中加強云計算技術運用的策略
3.1對存儲數(shù)據(jù)進行加密,提高安全保護系數(shù)
基于云計算技術提高網(wǎng)絡數(shù)據(jù)存儲安全性,可以應用加密技術,形成只有合法用戶才能知道的密文,提高數(shù)據(jù)存儲的安全系數(shù)。云計算環(huán)境的數(shù)據(jù)存儲安全技術主要包括密碼技術、加密算法體系。(1)密碼技術。密碼技術可以采用加密方式保護數(shù)據(jù),數(shù)字證書鑒別身份,數(shù)字指紋及數(shù)字簽名、密碼技術驗證等,對計算機網(wǎng)絡安全存儲十分重要。加密方式保護數(shù)據(jù)主要通過密碼轉(zhuǎn)換的方式將明文變成只有數(shù)據(jù)合法使用者可以恢復的密文,對傳輸?shù)臄?shù)據(jù)和存儲的數(shù)據(jù)都可以進行加密。數(shù)字證書鑒別身份主要是通過標識網(wǎng)絡通訊雙方的身份信息確保數(shù)據(jù)的安全存儲。密碼技術驗證主要是在數(shù)據(jù)儲存過程中為了防止被篡改,將原始數(shù)據(jù)使用密碼技術運算之后生成消息驗證碼,將消息驗證碼與原始數(shù)據(jù)一起存儲,從而實現(xiàn)對數(shù)據(jù)的可靠性和準確性的驗證,主要應用在票據(jù)防偽中。(2)加密算法體系。為了提高數(shù)據(jù)存儲的安全性,還可以使用加密算法,包括對稱加密算法、非對稱加密算法、Hash算法、阿里云SSH密鑰對,其中對稱加密算法的加密和解密密鑰是可以相互推算的,只要知道密鑰就可以實現(xiàn)數(shù)據(jù)的解算。非對稱加密算法的通信雙方加密和解密所需要使用的密碼是不一樣的。阿里云SSH密鑰對由公鑰和私鑰組成,是一種用戶登錄認證方式,確保了計算機數(shù)據(jù)存儲的安全,但是該密鑰對僅支持Linux實例。(3)M-POR算法。M-POR算法在“挑戰(zhàn)—響應—驗證”機制中具有非常重要的作用,當用戶歸檔文件數(shù)據(jù)時,系統(tǒng)會自動將挑戰(zhàn)申請發(fā)送到云端,云端響應用戶申請之后,發(fā)送驗證信息,用戶通過驗證說明數(shù)據(jù)是安全的即可進行歸檔,如果未通過驗證,則代表歸檔文件已破損,需采進行恢復,可以采用編碼冗余信息實現(xiàn)文件數(shù)據(jù)的恢復,但是如果文檔數(shù)據(jù)破壞嚴重,超出了恢復的閾值需要進行數(shù)據(jù)深層分析。
3.2強化計算機網(wǎng)絡安全防護工作
除了數(shù)據(jù)加密之外,為了防止日常操作中計算機硬件系統(tǒng)損壞而造成的數(shù)據(jù)安全問題,可以應用災難備份與恢復技術和安全審計技術,幫助解決各種突發(fā)的數(shù)據(jù)安全問題,在短時間內(nèi)完成各種數(shù)據(jù)的恢復,防止數(shù)據(jù)遺失。此外,還可以采用身份認證技術,提高數(shù)據(jù)存儲安全性。(1)災難備份與恢復技術。云計算環(huán)境中的災難備份與恢復技術主要為主機失效保護技術和數(shù)據(jù)的備份與恢復技術。主機失效保護技術主要包括主機集群技術,負載均衡技術和主機切換技術。主機集群技術主要是通過心跳線方式對業(yè)務系統(tǒng)主機的工作情況進行監(jiān)聽,一旦發(fā)現(xiàn)問題,就會自動把業(yè)務轉(zhuǎn)換到災難恢復系統(tǒng)主機上來處理。負載均衡技術如果某臺主機在監(jiān)聽中發(fā)現(xiàn)問題,其主機上的負載會自動分配到其它正常運行的主機上。主機切換技術根據(jù)預先設定的災難恢復預案,實現(xiàn)主機切換。數(shù)據(jù)備份和恢復技術主要包括異地保存技術、異地備份技術及遠程復制技術。異地保存技術將本地備份數(shù)據(jù)磁盤在其它主機進行重新安全和恢復。異地備份技術主要是借助數(shù)據(jù)備份軟件,對數(shù)據(jù)進行分級存儲、災難恢復和備份等。遠程復制技術經(jīng)過對數(shù)據(jù)產(chǎn)生端與數(shù)據(jù)災難恢復端的網(wǎng)絡,保證兩端數(shù)據(jù)量、數(shù)據(jù)內(nèi)容在每時每刻都能完全相同。(2)安全審計技術。安全審計的基本思路為基于數(shù)據(jù)倉庫技術、數(shù)據(jù)挖掘技術,在不同的網(wǎng)絡環(huán)境中監(jiān)聽某個終端的運營情況,一旦發(fā)現(xiàn)問題立即按照相關的方式給被監(jiān)控終端的管理者發(fā)出警告,或者是啟用故障恢復系統(tǒng)進行問題排查,追蹤和分析歷史數(shù)據(jù)記錄,確保網(wǎng)絡系統(tǒng)的運行安全及存儲的數(shù)據(jù)安全。(3)身份認證技術。身份認證技術通過口令核對身份驗證、智能IC卡身份認證、Kerberos身份認證以及PKI身份認證,確保用戶登錄的合法性。
3.3增強和完善云計算信息庫的防火墻功能
防火墻在整個計算機系統(tǒng)的運行中具有非常重要的作用,它是網(wǎng)絡安全的重要保護屏障之一,通過防火墻技術可以攔截各種惡意軟件和病毒的攻擊和入侵,但是隨著網(wǎng)絡入侵技術的不斷提升,需要對防護技術進行不斷升級,可以采用安全組。安全組是一種虛擬防火墻,由同一個地域內(nèi)具有相同安全保護需求并相互信任的云服務器實例組成。安全組具備狀態(tài)檢測和數(shù)據(jù)包過濾功能,用于在云端劃分安全域。通過配置安全組規(guī)則,允許或禁止安全組內(nèi)的云服務器實例對公網(wǎng)或私網(wǎng)的訪問。
3.4云安全服務的應用
除了數(shù)據(jù)加密之外,還可以采用云計算環(huán)境下的云安全服務提高數(shù)據(jù)存儲的安全性,一是,應用基礎安全服務。一是,云服務器中的基礎安全服務。該服務可以實現(xiàn)漏洞掃描、對異常登錄進行檢測,通過云安全中心或者是云服務器的控制臺可以隨著查看云服務器的安全狀態(tài)以確保存儲的數(shù)據(jù)安全。二是,DDoS基礎防護服務。通過該防護服務可以有效攔截對云服務器的惡意攻擊,保護云服務器的安全穩(wěn)定運行,阿里云云盾默認為云服務器實例免費提供最大5Gbit/s惡意流量攻擊。三是,RAM訪問控制。只有具有RAM用戶權限策略才能對云服務器資源進行訪問,一定程度上保證了數(shù)據(jù)資源的安全性。
隨著物聯(lián)網(wǎng)、網(wǎng)絡、移動通信等的快速發(fā)展,特別是互聯(lián)網(wǎng)的普及使得信息傳播的規(guī)模和速度呈現(xiàn)幾何增長,人們獲取信息的途徑和方式開始變得異常豐富,人們事實上已經(jīng)進入了“信息大爆炸”時代。與此同時信息傳播的大容量、高效性和準確性也對現(xiàn)有的數(shù)據(jù)處理體系提出了更高要求。根據(jù)大數(shù)據(jù)摩爾定律,人類世界的數(shù)據(jù)產(chǎn)生量將按照每兩年一倍的速率增長,預計2020年世界數(shù)據(jù)量將超過35億GB,“大數(shù)據(jù)”時代迫在眉睫。“大數(shù)據(jù)”具有離散型、隨機性、發(fā)散性、爆發(fā)性等特點。近年來,隨著云技術的興起全面革新了傳統(tǒng)的數(shù)據(jù)技術,大容量、多樣化、快速處理、信息價值性和準確性為了云技術背景下大數(shù)據(jù)處理的五大主要特征。如何利用云計算技術對大數(shù)據(jù)進行高效處理已經(jīng)成為了信息技術發(fā)展亟待解決的關鍵問題。
1 大數(shù)據(jù)和云計算的關系
云計算技術是指利用集中式遠程計算資源池,通過按需分配的方式,為終端用戶提供強大而廉價的計算服務技術。云計算技術作為一種數(shù)據(jù)處理方式,其技術特點包括:一是資源池在物理上是對終端用戶完全透明的;二是能夠為任何行業(yè)提供規(guī)模化計算服務,其服務能力可看做是“無限”的;三是其應用部署快速便捷,服務能力和方式是可以完全按照終端客戶要求定制的,具有極強的彈性伸縮能力;四是云端數(shù)據(jù)獲取方便,能夠資源共享,用戶使用成本低廉。
云計算技術是目前最強大的數(shù)據(jù)存儲、傳輸和處理平臺,它是大數(shù)據(jù)處理的最優(yōu)選擇。云計算能夠為大數(shù)據(jù)提供幾乎“無限”的存儲空間和處理能力,滿足其超大容量存儲和超級復雜的處理需求,也是傳統(tǒng)存儲方式無法實現(xiàn)的。云計算側(cè)重數(shù)據(jù)的計算處理,而大數(shù)據(jù)需要強大數(shù)據(jù)處理能力,因而它是云計算的處理對象。此外大數(shù)據(jù)所產(chǎn)生的業(yè)務需求也為云計算的實現(xiàn)提供了更多的形式。
2 基于云計算的大數(shù)據(jù)處理技術
2.1 大數(shù)據(jù)的采集技術
目前數(shù)據(jù)采集方式主要分為集中式和分布式兩大類。其中分布式的靈活性較強,而集中式的全局性較好。實際上大數(shù)據(jù)采集的對象通常包括組織內(nèi)部和相互獨立組織間的各類數(shù)據(jù),而云計算恰好具有并行處理的優(yōu)勢,因而可采取混合式采集方式能夠更加有效地完成數(shù)據(jù)采集任務。即在各個組織內(nèi)部采用集中式數(shù)據(jù)采集方式,通過在組織內(nèi)配置中心服務器,作為集中式數(shù)據(jù)注冊機構,用于存儲和共享內(nèi)部的數(shù)據(jù)。在相互獨立組織間,采用云計算的集群技術、虛擬化技術等在各獨立組織中心服務器間采用分布式采集方式實現(xiàn)數(shù)據(jù)采集、組織間對接和共享。大數(shù)據(jù)結構類型包括結構化、半結構和非結構化數(shù)據(jù),因而在應用云計算技術進行分布式采集時,可依托其超強的擴展性和容錯力,將數(shù)據(jù)池內(nèi)數(shù)據(jù)進行同構化,從而實現(xiàn)數(shù)據(jù)進行分類存儲。
2.2 大數(shù)據(jù)的存儲技術
由于超大體量、離散、復雜的數(shù)據(jù)特點,傳統(tǒng)數(shù)據(jù)存儲模式已經(jīng)難以滿足大數(shù)據(jù)存儲要求。一方面單結點的數(shù)據(jù)倉庫在容量上難以滿足呈幾何增長的數(shù)據(jù)量,在運行效率上也難以滿足大數(shù)據(jù)的分析處理需求。另一方面?zhèn)鹘y(tǒng)數(shù)據(jù)倉庫按行存儲模式,雖然可以實現(xiàn)大容量索引和視圖,但實際操作中其時間和空間過高。而云計算主要采取列式存儲模式,即區(qū)分數(shù)據(jù)不同屬性,不同屬性列都單獨存放。云計算中列式存儲的優(yōu)勢在于在投影數(shù)據(jù)時只需查詢其屬性列,系統(tǒng)處理量和處理效率顯著提升。此外按數(shù)據(jù)屬性進行列式存儲,數(shù)據(jù)倉庫中相鄰列數(shù)據(jù)的相似性更高,因而能夠得到更高的數(shù)據(jù)壓縮率,進一步減少存儲所需空間。
2.3 大數(shù)據(jù)的挖掘技術
聯(lián)機分析能夠完成數(shù)據(jù)的復雜處理,得到直觀結果,實現(xiàn)決策性分析。云計算并行模式下聯(lián)機分析能夠基于數(shù)據(jù)全局,建立多維分析模型對數(shù)據(jù)進行多維度分析,從而盡可能獲得全面的分析結構。由此可見多維度分析是聯(lián)機分析的重要特征,而云計算技術下數(shù)據(jù)倉庫正好是通過多維數(shù)據(jù)組織的。
聯(lián)機分析對數(shù)據(jù)的處理僅僅只是表面的,其獲取的信息價值并不高,難以得到數(shù)據(jù)深層次的含義與內(nèi)在關聯(lián)。而數(shù)據(jù)挖掘正是在聯(lián)機分析的基礎上,從超大體量的數(shù)據(jù)倉庫中提取數(shù)據(jù)所蘊含的隱性信息,并將這些信息用規(guī)律、概念或是模型等表現(xiàn)出來。基于云計算的數(shù)據(jù)挖掘主要采用分布式并行挖掘技術。與其他串行方式相比,云計算技術下并行數(shù)據(jù)挖掘能夠利用機器集群拆分分布式系統(tǒng)中的并行任務,并將拆分后的各個任務分別交由不同的機器去處理,從而實現(xiàn)大規(guī)模數(shù)據(jù)處理,其時間成本也大大降低。
2.4 大數(shù)據(jù)的可視化技術
上文所述數(shù)據(jù)挖掘可實現(xiàn)大數(shù)據(jù)的深層次、多維度分析,獲取更多有用信息。而云計算平臺下可視化技術則能夠?qū)⑸鲜鲂畔⒕唧w化,從而使數(shù)據(jù)及其有關結構的相關信息能夠更直觀地表現(xiàn)出來,更容易被發(fā)覺和理解。可視化技術是指在存儲空間中,將數(shù)據(jù)庫及其中數(shù)據(jù)以圖像(圖形)的形式表示出來,并在其中再采用其他的分析手段獲取圖像中所蘊含的未知信息。而原有的數(shù)據(jù)處理僅僅只能夠從數(shù)據(jù)本身入手,分析和觀察數(shù)據(jù)中的內(nèi)在信息。云計算下的可視化技術不但能夠?qū)崿F(xiàn)非空間數(shù)據(jù)的多維度圖像顯示,而且能夠?qū)崿F(xiàn)檢索過程的直觀圖形顯示,從而幫助人們更好地挖掘和理解信息,信息檢索效率也大大提升。
3 結語
在數(shù)據(jù)爆炸時代,云計算的出現(xiàn)為大數(shù)據(jù)的存儲和處理提供了可能,也為數(shù)據(jù)處理系統(tǒng)的功能擴展提供了重要保障。以往的數(shù)據(jù)管理將收集和存儲作為重點,而在云計算模式下,大數(shù)據(jù)管理將更多地側(cè)重數(shù)據(jù)分析、挖掘及管理模式的創(chuàng)新。目前數(shù)據(jù)采集和統(tǒng)計技術已經(jīng)較為成熟,利用云計算進一步豐富大數(shù)據(jù)的存儲和處理方式,實現(xiàn)更高層次的數(shù)據(jù)挖掘和可視化將是今后需要解決的問題之一。
參考文獻
[1]孟小峰,慈祥.大數(shù)據(jù)管理:概念,技術與挑戰(zhàn)[J].計算機研究與發(fā)展,2013,50(1):146+169.
[2]吳雪琴,基于云計算的大數(shù)據(jù)信息檢索技術研究[J].電腦知識與技術,2014,10(10):38-41.
Data Computation and Data Storage in Cloud Computing
DONG Yu , GUAN Qun
(College of Computer Science, Sichuan University, Chengdu 610065, China)
Abstract: With the continuous growth of the network bandwidth, the conditions are more mature that access non-local computing servic? es through the network, so there is a technology what we call "cloud computing".The cloud computing is a new application model for de? centralized computing which can provide reliable, customized and maximum number of users with minimum resource.With the constantly expanding and deepening of the cloud computing applications, it asks for higher demand, therefore, many researchers also strive to improve the cloud computing performance. The article explains the basic concepts of cloud computing. and on this basis, it also introduced the technology of data computation and data storage, it has a detailed description to the multi-user isolation mechanism, and finally to predict the development of cloud computing and its future.
Key words: cloud computing; data computation; data storage; isolation mechanism
云計算[1]是I T基礎設施的交付和使用模式,它指的是通過網(wǎng)絡以按需、易擴展的方式獲得所需的資源(硬件、平臺、軟件)。提供資源的網(wǎng)絡被稱為“云”。“云”中的資源在使用者看來是可以無限擴展的,并且可以隨時獲取,按需使用,隨時擴展,按使用付費。這種特性經(jīng)常被稱為像水電一樣使用I T基礎設施。近年來,云計算的研究和應用發(fā)展非常快,主要原因是云計算具有如下優(yōu)點:超大規(guī)模、虛擬化、高可靠性、通用性、高可擴展性、按需服務、極其廉價、安全、方便。
[1]朱近之.智慧的云計算[M].北京:電子工業(yè)出版社,2010.
[2] Dean J,Ghemawat S.MapReduce: Simplified Data Processing on Large Clusters[J].Communications of the ACM, 2008,51(1):107-113.
[3]李遠方,賈時銀,鄧世昆,等.基于樹結構的MapReduce模型[J].計算機技術與發(fā)展,2011,21(8 ):149-152.
[4]韓燕波,王桂玲,等.互聯(lián)網(wǎng)計算的原理與實踐[M].北京:科學出版社,2010.
[5] Sacha K. Middleware architecture with patterns and frameworks[Z].2007.
[6]王鵬.走進云計算[M].北京:人民郵電出版社,2009.
中圖分類號:TP393 文獻標識碼:A 文章編號:1009-3044(2015)13-0060-02
從現(xiàn)有的工作來看,云計算技術發(fā)展到了一個全新的階段,不僅為計算機的應用提供了更大的平臺,同時還能夠滿足較多的復雜運算,在實際的工作中,可將計算機作為一種資源,利用云計算技術輸入到網(wǎng)絡系統(tǒng)中,以此來獲得更多的計算資源,告別傳統(tǒng)的操作。在云計算技術發(fā)展和研究的過程中,安全問題是最大的阻礙。在此,本文主要對云計算技術安全問題及防控對策進行討論。
1云計算技術的安全問題
從客觀的角度來分析,任何一項技術在使用或者研究的過程中,都是存在安全問題的。但因為技術類別上的差異和具體服務的不同,技術上的安全問題程度也不同。云計算技術作為一種新計算技術,與網(wǎng)絡、電腦、日常辦公等相聯(lián)系比較緊密,此時若想更好的解決安全問題,首先應在多方面,明確云計算技術的安全問題都有哪些,了解這些問題可能會造成的影響。在此,本文主要對云計算技術的安全問題進行論述。
1) 客戶端信息安全
在現(xiàn)階段的工作中,云計算技術的應用比較廣泛。在技術上,云計算技術的運用基礎,主要是在網(wǎng)絡狀態(tài)下來完成的,并且保持相互獨立,各個終端在這種情況下連接到一起。當計算機的終端,與網(wǎng)絡云端相互連接的時候,各個獨立的終端,會在客觀上成為云計算的重要組成部分,這其中所包含的信息量是非常龐大的。所以,我們在運用或者是研究云計算技術的過程中,必須充分保證客戶端的信息安全。在總體的研究和運用中,這些信息并沒有一個針對性的隱私保護條例來維持,針對性的技術性措施也不是很多。倘若這些信息丟失,不僅會給用戶帶來極大的損失,也有可能對部分行業(yè)或者是產(chǎn)業(yè)造成傷害,其波及范圍比較廣泛。所以,我們在今后的云計算技術研究中,必須采取有效的手段,充分保障客戶端的信息安全。
2) 服務器端的信息安全
云計算技術雖然已經(jīng)得到了廣泛的應用,但明顯沒有滿足所有群體的需求。網(wǎng)絡是現(xiàn)階段的重要工具,任何一項工作幾乎都可以通過網(wǎng)絡來完成。但是,比較先進的云計算技術在運用和研究中,其服務器端的信息安全,受到了較大的挑戰(zhàn)。綜合來講,目前出現(xiàn)的服務器端信息安全問題,還是在可控范圍內(nèi)的。所以,采取針對性的措施,可以較好的解決。云計算技術當中,服務器端的信息安全問題,主要表現(xiàn)在以下幾個方面:第一,當用戶將自己的信息,交由他人進行云存儲或者是管理,很容易失去自身的控制權,從而造成較大的安全問題。第二,云計算技術,直接涉及到如何獲取用戶信任的問題。目前,各種網(wǎng)絡信息盜竊事件,給廣大的用戶造成了一定的恐慌。第三,云計算技術本身不是特別的健全,一旦出現(xiàn)服務器端的安全問題,勢必會造成固有問題的惡化。
3) 網(wǎng)絡虛假信息的干擾
網(wǎng)絡在發(fā)展的過程中,其速度是非常快的。在硬件設備的輔助和軟件技術提升的過程中,網(wǎng)絡已經(jīng)涉及到了社會的各個部分。現(xiàn)今,虛假信息的干擾,造成了云計算技術安全問題的較大困擾。在云計算的網(wǎng)絡信息當中,充斥著大量的虛假信息、網(wǎng)絡地址等等,這些都是造成云計算技術安全問題的重要因素。從本質(zhì)上來講,我們在研究和應用云計算技術的過程中,并沒有對源代碼或者是網(wǎng)絡源地址的安全性進行篩查,只是在出現(xiàn)安全問題后,被動的做出一些防護措施,而且主要是集中在用戶的主觀態(tài)度上,技術上的內(nèi)容并不是很多。所以,網(wǎng)絡虛假信息對云計算安全的干擾,是非常嚴重的,日后必須采取有效的手段予以處理。
2 云計算技術的防控對策
云計算技術在長久的研究中,已經(jīng)成為了網(wǎng)絡和計算機不可分割的一個重要組成部分,今后必須對其深入研究。云計算技術所反映出來的安全問題,正是技術上的不足,也是日后需要努力研究的方向。解決云計算技術安全問題的過程中,不僅要加強預防工作,還必須強化控制工作,在多個方面來完成云計算技術的長久發(fā)展,與其他技術聯(lián)合應用,實現(xiàn)云計算技術的體系深化和內(nèi)容豐富。在此,本文主要對云計算技術的防控對策進行論述。
1) 選擇信譽度高的云服務供應商
云計算技術的發(fā)展,帶動相關產(chǎn)業(yè)進步。云服務供應商看中這一商機,紛紛打著云計算技術的旗號,開始投放市場。但是,部分云服務的供應商,其技術本身只有一個雛形,并不能應對較多的問題,也滿足不了較多的需求,但對于用戶來講,他們所了解的內(nèi)容有限。所以,我們將云計算技術應用的過程中,必須告誡用戶選擇信譽度較高的云服務供應商。首先,云服務供應商,對于云計算安全而言,具有主要的責任。一般來講,信譽度較高的云服務供應商,其自身的數(shù)據(jù)安全維護手段和措施,也是比較健全的,能夠較好的維護用戶的利益。其次,信譽度較高的云服務供應商,會在各個領域中選擇針對性的映射手段,促使云服務在實際的運行中,可以實現(xiàn)整體和局部的有效配合,為用戶提供較多的服務,不會造成太多的安全問題。第三,現(xiàn)階段,部分信譽度較高的云服務供應商,會在出現(xiàn)安全問題后,采用追查手段,徹底解決源頭的安全問題。
2) 采用加密技術,保證數(shù)據(jù)信息的傳輸安全
云計算技術在應用和研究,要想從客觀上更好的解決安全問題,單純憑借上述的措施,是無法達到的。我們在現(xiàn)實工作中,還要選擇一些有效的加密技術,實現(xiàn)數(shù)據(jù)和信息的傳輸安全。就現(xiàn)階段的情況來看,加密技術的應用,主要是在客戶端與云計算服務供應商之間進行傳輸?shù)募用埽WC數(shù)據(jù)和信息不會被竊取,實現(xiàn)較強的安全性。綜合來講,在一些信譽度教高的云服務供應商都會在數(shù)據(jù)加密這一方面采取相應的措施。例如,可以運用True Crypt、PGP 等計算機軟件程序,對用戶的文件進行加密,而這種加密的方法可以使用密碼,這就可以實現(xiàn)客戶端與供應商對加密文件的讀取。另外,在數(shù)據(jù)加密中,可以根據(jù)信息數(shù)據(jù)的安全級別,設置不同的信息數(shù)據(jù)安全訪問級別。所以,在信息數(shù)據(jù)傳輸?shù)倪^程中,通過信息數(shù)據(jù)加密技術,能夠有效防止信內(nèi)容的泄漏,保證用戶的信息安全。
3) 數(shù)據(jù)的備份與恢復
云計算技術在問世后,受到了很多用戶的廣泛歡迎。原因在于,其能夠?qū)崿F(xiàn)較多的功能,且在數(shù)據(jù)方面的處理工作相當出色。但是,在長久的應用后,發(fā)現(xiàn)云計算技術還是有很多的瑕疵,雖然沒有造成極大的負面影響,但其造成的安全問題不容忽視。云計算技術在實際的應用中,數(shù)據(jù)的備份和恢復,也是需要特別注意的。現(xiàn)今,虛擬的網(wǎng)絡環(huán)境不斷擴大,并且對實際造成的影響也是不容忽視的。當用戶操作使用云計算技術的時候,由于操作步驟不夠規(guī)范,或者是其他因素的影響,則容易導致計算機的信息數(shù)據(jù)出現(xiàn)丟失的情況,這將給用戶帶來很大的損失。因此,云計算技術必須要具有自定義數(shù)據(jù)恢復功能,并對數(shù)據(jù)進行備份,保證數(shù)據(jù)信息的完備性。而在云計算的虛擬環(huán)境中,信息數(shù)據(jù)的存儲重要是以離散的方式進行文件的存放,相對與傳統(tǒng)的災難恢復,云計算的災難恢復更加簡單,恢復所需要的時間也更加短暫。所以,在云計算環(huán)境中,積極對信息數(shù)據(jù)進行定時備份和定期備份,可以有效保證信息數(shù)據(jù)的安全。即使信息數(shù)據(jù)發(fā)生丟失的問題,也可以通過數(shù)據(jù)的恢復迅速找回,讓用戶能夠正常得使用信息數(shù)據(jù)。
4)采用虛擬技術進行隔離
通過深入的研究和努力,云計算技術的安全問題,得到了有效的處理,并且很多問題都沒有反復發(fā)生,具體的工作效果還是值得肯定的。通過上述三項工作的努力,已經(jīng)初步建立了云計算技術安全防控的良性循環(huán),倘若能夠融入虛擬技術的隔離措施,將會進一步提高安全問題的防控水平。云計算多數(shù)情況是針對虛擬的網(wǎng)絡和數(shù)據(jù)來完成的,通過采用虛擬隔離技術,能夠更好的隔離影響安全問題的因素,不僅實現(xiàn)了較強的預防作用,還在安全問題的控制上,做到了較高的水準。例如,在云計算系統(tǒng)的環(huán)境下,物理隔離的方式很難對信息數(shù)據(jù)的安全起到實質(zhì)性的作用。所以要積極采用虛擬技術,設置邏輯安全邊界。用戶在裝置云計算虛擬服務器的過程中,要為每一臺虛擬服務器分配一個獨立的硬盤分區(qū),從邏輯上對各個虛擬服務器進行隔離。另外,虛擬服務器系統(tǒng)還可以通過安裝防火墻、殺毒軟件以及數(shù)據(jù)恢復軟件等,構建一個多層次的安全防控體系,保障云計算的信息安全。
3 總結
本文對云計算技術安全問題以及防控對策進行討論,在現(xiàn)階段的工作中,云計算技術的安全問題數(shù)量逐步減少,防控對策逐步增多,基本上沒有集中在傳統(tǒng)的防控對策上,很多工作都是按照現(xiàn)實情況變化而變化的,因此做到了有效的防控。另一方面,云計算技術安全問題的研究,還是需要更加深入,需保證細節(jié)問題的有效處理,控制好大環(huán)境的影響,不要造成安全隱患。相信在今后的工作中,云計算技術的安全問題將得到徹底解決,而防控對策也將會逐步健全。
參考文獻:
[1]王少輝,印后杰.云計算環(huán)境下個人信息保護問題的思考[J].電子政務,2014(2):2-9.
[2]陸阿妮,管永權.云計算ERP的安全問題及對策初探[J].江蘇經(jīng)貿(mào)職業(yè)技術學院學報,2014(4):55-58.
[3]陳鵬.物聯(lián)網(wǎng)RFID技術與云計算數(shù)據(jù)傳輸?shù)陌踩苑治鯷J].物聯(lián)網(wǎng)技術,2014(7):91-92.
[4]高樹華.煤炭企業(yè)云計算技術的安全風險探析[J].電子制作,2014(12):132-133.
[5]張立永.云計算網(wǎng)絡環(huán)境下的信息安全問題研究[J].中國高新技術企業(yè),2015(3):14-15.
中圖分類號:TP393文獻標識碼:A文章編號:1009-3044(2012)18-4360-03
云計算是近年來出現(xiàn)的一個熱門概念,也是未來互聯(lián)網(wǎng)發(fā)展的方向。從狹義上看,云計算是一種動態(tài)的、易擴展的且通常是通過互聯(lián)網(wǎng)提供虛擬化資源的計算方式。從廣義上看,云計算是一種以互聯(lián)網(wǎng)為中心的面向應用的服務,用戶不需要了解云內(nèi)部的細節(jié).也不必具有云內(nèi)部的專業(yè)知識或直接控制基礎設施,便能使用的相關資源。云計算包括基礎設施即服務(Infrastructure as a Service,簡稱IaaS),平臺即服務(Platform as a Service,簡稱PaaS)和軟件即服務(Software as a Service,簡稱SaaS)以及其他依賴于互聯(lián)網(wǎng)滿足客戶計算需求的服務類型。云計算服務通常提供通用的通過瀏覽器訪問的在線商業(yè)應用,軟件和數(shù)據(jù)則存儲在服務器上。
圖1云計算的組成
2.1基礎設施
云基礎設施,即IaaS。是計算機基礎設施,通常是虛擬化的平臺環(huán)境。作為一項服務,具體應用例如:Sun公司的Sun網(wǎng)格、亞馬遜的彈性計算云。它通過將服務器端強大的計算能力單位化,來為個人用戶提供PC機無法實現(xiàn)的海量數(shù)據(jù)計算服務。
2.2存儲
云存儲涉及提供數(shù)據(jù)存儲作為一項服務,包括類似數(shù)據(jù)庫的服務,通常以使用的存儲量為結算基礎。它既可以交付作為云計算服務,又可以交付給單獨的數(shù)據(jù)存儲服務,具體應用包括亞馬遜簡單存儲服務和Google的BigTable服務。通過云存儲,由云端為用戶提供數(shù)據(jù)的備份和安全性保障,用戶可以在任何地點任何時刻進行數(shù)據(jù)的存儲和讀取操作。
2.3平臺
云平臺,即PaaS,直接提供計算平臺和解決方案作為服務.以方便應用程序部署和開發(fā),從而節(jié)省購買和管理底層硬件和軟件的成本。比如Google的應用程序引擎(Google AppEngine)可以讓開發(fā)人員編譯基于Python的應用程序,并免費使用谷歌的基礎設施來進行托管。這種在云端的開發(fā)平臺為編程人員提供了快速開發(fā)網(wǎng)絡應用程序的途徑,同時免去了繁瑣的服務器搭建、維護等工作。
圖3GFS架構
3.3分布式計算
由于云計算系統(tǒng)中的計算單元分布在不同的地理區(qū)域,為了有效的利用這巨大的運算能力,傳統(tǒng)的編程方式已不適用,而要采用分布式計算模型。當前Map/Reduce模型在云計算系統(tǒng)中的使用最為廣泛。
Map/Reduce是一種編程模型,用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運算。概念“Map(映射)”和“Reduce(化簡)”,以及它們的主要思想,都源自函數(shù)式編程語言和矢量編程語言。Map/Reduce為編程人員進行分布式并行編程提供了一個框架,使得自己的程序可以方便的運行在分布式系統(tǒng)上。
Map/Reduce編程的實現(xiàn)是指定一個Map(映射)函數(shù),用來把一組鍵值對映射成一組新的鍵值對,指定并發(fā)的Reduce(化簡)函數(shù),用來保證所有映射的鍵值對中的每一個共享相同的鍵組。
簡單說來,一個映射函數(shù)就是對一些獨立元素組成的概念上的列表(例如,一個測試成績的列表的每一個元素)進行指定的操作(例如,如果發(fā)現(xiàn)所有學生的成績都被高估了一分,就可以定義一個“減一”的映射函數(shù),用來修正這個錯誤)。事實上,每個元素都是被獨立操作的,而原始列表沒有被更改,因為這里創(chuàng)建了一個新的列表來保存新的答案。這就是說,Map操作是可以高度并行的,這對高性能要求的應用以及并行計算領域的需求非常有用。
中圖分類號:TP393 文獻標識碼:A 文章編號:1674-7712 (2013) 10-0093-01
云計算是一種非常具有應用前景的綜合性計算機技術,該技術以互聯(lián)網(wǎng)為平臺,可以按照用戶的使用需求方便快捷的為用戶提供所需的數(shù)據(jù)處理性能和信息存儲空間,使得用戶可以隨時隨地享受高速高效的信息服務。目前,云計算無論在商用還是在個人用戶服務方面還處于初級階段,其所具有的功能和優(yōu)勢還沒有得到充分的發(fā)揮和利用。但是可預見的未來,云計算以及基于云計算所構建的生態(tài)系統(tǒng)必將使用戶的信息管理模式發(fā)生極大的改變。本文以云存儲生態(tài)系統(tǒng)為例對云生態(tài)構成、運行、維護等多方面內(nèi)容進行討論。
一、基于云計算技術的生態(tài)系統(tǒng)概述
按照對象對云生態(tài)系統(tǒng)進行內(nèi)容分類可以將其分為生產(chǎn)者和消費者兩類。兩者的關系如下圖1所示。
圖1 云計算生態(tài)系統(tǒng)模型
云生態(tài)系統(tǒng)中生產(chǎn)者為用戶提供統(tǒng)一、安全、可靠、經(jīng)濟的信息共享、軟件應用以及信息處理平臺,用戶通過云平臺對自身資源進行管理,進而實現(xiàn)消費者與生產(chǎn)者的互利共贏。
二、云計算生態(tài)系統(tǒng)運行機制
為保障云計算生態(tài)系統(tǒng)持續(xù)性處于健康穩(wěn)定的狀態(tài),在其運行中必須按照實際要求制定和采取必要的運行機制與維護機制,利用該機制約束云系統(tǒng)平臺下各成員的行為,促進云計算生態(tài)系統(tǒng)平衡、穩(wěn)定發(fā)展。具體來說,云計算生態(tài)系統(tǒng)的運行機制主要由以下幾部分內(nèi)容構成:用戶需求考察、系統(tǒng)應用規(guī)劃、云平臺監(jiān)控與調(diào)度管理、云平臺優(yōu)化與維護等。
其中,用戶需求考察是云計算生態(tài)系統(tǒng)建立的基礎,直接決定了是否可以構建生態(tài)系統(tǒng)、如何確定宣傳與實施方案等內(nèi)容。系統(tǒng)應用規(guī)劃則是用于增強系統(tǒng)構建和部署的科學性與可控性,便于使云系統(tǒng)得到更好更充分的利用。云平臺監(jiān)控與調(diào)度管理則是按照使用需求和管理需求對云生態(tài)系統(tǒng)進行實時監(jiān)控和統(tǒng)計,根據(jù)監(jiān)控內(nèi)容制定或采取適當?shù)恼{(diào)度和運行策略,保證系統(tǒng)的服務質(zhì)量和用戶的使用體驗。云平臺優(yōu)化與維護則是定期對云生態(tài)系統(tǒng)進行維護和更新,以增強生態(tài)系統(tǒng)的魯棒性和可持續(xù)性。
三、云存儲生態(tài)系統(tǒng)的構建
(一)構建方案
基于云技術的生態(tài)系統(tǒng)涉及多個子系統(tǒng)和多種資源信息,是一種綜合性的、多方面的系統(tǒng)平臺,可以為用戶提供多種類服務。當今信息社會中,企業(yè)各種活動的核心與支撐就是數(shù)據(jù)信息,對應云計算生態(tài)系統(tǒng)中即為云存儲生態(tài)子系統(tǒng)。實際應用中,云存儲生態(tài)系統(tǒng)以虛擬技術為核心,將用戶在云端存儲的數(shù)據(jù)信息以遠程桌面的方式呈獻給用戶,并按照用戶要求進行存放和管理。
完整的云存儲生態(tài)系統(tǒng)由云存儲設備生產(chǎn)商、集成商、商以及使用用戶等構成,每一對象負責云生態(tài)系統(tǒng)中的某一具體內(nèi)容,如此便可以組成一個高效可用的云存儲生態(tài)系統(tǒng)。除此之外,為進一步保證云存儲生態(tài)系統(tǒng)中數(shù)據(jù)的可靠性與有效性,系統(tǒng)中還需要集成諸如身份認證、數(shù)據(jù)加密、數(shù)據(jù)管理等數(shù)據(jù)安全服務。
(二)主要功能
由圖1可以看出,云存儲生態(tài)系統(tǒng)中包含物質(zhì)流、能量流、信息流、資金流等內(nèi)容和服務。其中:(1)物質(zhì)流主要是指云存儲生態(tài)系統(tǒng)的硬件部署,即用戶可以非常方便的獲取存儲空間,避免了傳統(tǒng)系統(tǒng)應用中的硬件設備購置;(2)能量流主要是指云存儲生態(tài)系統(tǒng)在遠程云端為協(xié)助用戶完成數(shù)據(jù)的管理與應用,為用戶節(jié)省系統(tǒng)運行所消耗的能量;(3)信息流主要是指用戶除了可以應用云存儲生態(tài)系統(tǒng)對數(shù)據(jù)進行存儲和管理外,還能夠借助云數(shù)據(jù)處理軟件對云端數(shù)據(jù)進行挖掘、聚類、檢索等操作,使得信息能夠得到充分的應用;(4)資金流主要是指云存儲生態(tài)系統(tǒng)可以讓用戶在更低的資金投入下獲得更好的使用效果,幫助用戶節(jié)約資金。
(三)關鍵技術
為實現(xiàn)云存儲生態(tài)系統(tǒng)的構建與運行,需要使用到以下幾方面關鍵技術。
(1)元數(shù)據(jù)管理技術。該技術可以向用戶提供元數(shù)據(jù)的上傳、下載、更新以及管理等。(2)緩存管理技術。對用戶的數(shù)據(jù)訪問行為進行記錄、分析與整理,協(xié)助用戶梳理數(shù)據(jù)的重要性,對于重要程度不同的數(shù)據(jù)建立不同的數(shù)據(jù)緩存與分配策略,便于提升用戶的訪問響應速度。(3)數(shù)據(jù)更新技術。該技術不僅包括本地元數(shù)據(jù)的更新,還包括云端緩存數(shù)據(jù)、存儲數(shù)據(jù)以及相關的數(shù)據(jù)表單等內(nèi)容的更新。(4)服務調(diào)度技術。不同時刻云存儲生態(tài)系統(tǒng)的運行狀態(tài)是不同的,為讓用戶獲得更好的使用體驗,系統(tǒng)需要對整個系統(tǒng)的能力、負荷以及用戶需求等內(nèi)容間進行權衡,從而制定一個最優(yōu)的服務方案,讓用戶獲得良好的使用體驗,避免因系統(tǒng)負荷過大出現(xiàn)問題。(5)數(shù)據(jù)安全技術。云存儲生態(tài)系統(tǒng)的基礎是數(shù)據(jù)的安全。為提升用戶信息的安全性能,必須采取必要的安全防護措施和加密技術等對數(shù)據(jù)進行安全保障。
四、總結
云存儲生態(tài)系統(tǒng)是云計算平臺的一個重要組成部分,對整個社會經(jīng)濟的發(fā)展都具有十分重要的影響和意義,不僅可以拓展人們存儲和獲取內(nèi)容方式和途徑,還能夠在很大程度上提升數(shù)據(jù)的利用率,增強數(shù)據(jù)的使用效果。
參考文獻:
中圖分類號:TP3文獻標識碼:A文章編號:1007-9599 (2010) 10-0000-02
The Application of Cloud Computing Technology in the Storage System
Shi Feng
(Computer Center of Taiyuan University,Taiyuan030009,China)
Abstract:With rapid economic development at present,people are always encountered by tremendous amount of data in daily work,which requires large volume for the storage and redundant data backup,while the data is growing quickly in size.In the age which low-cost and high efficient storage systems have become the mainstream,effective management for these large data has not been available.As the proposal of the concept for cloud computing,the conceptual model of cloud storage was derived.Running and managing data in the cloud storage way could greatly reduce cost of storage systems and simplify the complex setup and management tasks.Placing data in cloud can also make it easy to have access to data from more places,so as to improve the efficiency of storage systems.
Keywords:Data;Cloud Computing;Storage Systems
隨著數(shù)字技術和互聯(lián)網(wǎng)的急速發(fā)展,特別是Web2.0的發(fā)展,互聯(lián)網(wǎng)上的數(shù)據(jù)量高速增長,導致了互聯(lián)網(wǎng)數(shù)據(jù)處理能力的相對不足,但互聯(lián)網(wǎng)上還同時存在著大量處于閑置狀態(tài)的計算設備和存儲資源,如果能夠?qū)⑵渚酆掀饋斫y(tǒng)一調(diào)度提供服務則可以大大提高其利用率,讓更多的用戶從中受益。因此將云計算技術應用到存儲領域可以大大提高資源的利用率。
一、云計算與云存儲
(一)云計算的概念
云計算(cloud computing),是分布式計算技術的一種,是分布式處理、并行處理和網(wǎng)格計算的發(fā)展,是透過網(wǎng)絡將龐大的計算處理程序自動拆分成無數(shù)個較小的子程序,再交給由多部服務器所組成的龐大運算系統(tǒng),經(jīng)過搜索和計算分析之后將處理結果回傳給用戶。透過這項技術,網(wǎng)絡服務提供者可以在數(shù)秒之內(nèi),達成處理數(shù)以千萬計甚至億計的信息,達到和“超級計算機”同樣強大效能的網(wǎng)絡服務。
(二)云存儲的概念
云存儲在云計算的概念基礎上延伸和發(fā)展出來的一個新的概念。云存儲的概念與云計算類似,它是指通過集群應用、網(wǎng)格技術或分布式文件系統(tǒng)等功能,將網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。云存儲不是傳統(tǒng)的存儲系統(tǒng),而是一種特殊形式的架構服務,對使用者來講是透明的,不是指某一個具體的設備,而是指分布在不同物理地域的多臺存儲設備和服務器所構成的集合體。
(三)云計算和云存儲之間的關系
當云計算系統(tǒng)運算和處理的核心業(yè)務是大量數(shù)據(jù)的存儲和管理時,云計算系統(tǒng)中就需要配置大量的存儲設備,那么云計算系統(tǒng)就轉(zhuǎn)變成為一個云存儲系統(tǒng),所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。從架構模型來看,云存儲系統(tǒng)比云計算系統(tǒng)多了一個存儲層,同時,在基礎管理也多了很多與數(shù)據(jù)管理和數(shù)據(jù)安全有關的功能,兩者在訪問層和應用接口層則是完全相同的。
二、云存儲的結構模型
與傳統(tǒng)的存儲設備相比,云存儲不僅僅是一個硬件,而是一個由網(wǎng)絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網(wǎng)、和客戶端程序等多個部分組成的復雜系統(tǒng),各部分以存儲設備為核心,通過應用軟件對外提供數(shù)據(jù)存儲和業(yè)務訪問服務。云存儲系統(tǒng)的結構模型(圖1云存儲結構模型)由4層組成,自下而上分別為存儲層、基礎管理層、應用接口層和訪問層。
三、云存儲服務器配置實例
對于云存儲這種云計算應用形式來說,重復數(shù)據(jù)刪除技術顯得十分重要。在我們存儲的數(shù)據(jù)和文件里,有很多文件經(jīng)過反復修改,造成了大量重復的資料,這時,重復數(shù)據(jù)的刪除實現(xiàn)后,網(wǎng)絡優(yōu)化的效果就變得比較明顯。根據(jù)云存儲的特點,將其過程描述為將數(shù)據(jù)分塊后,保存到不同的數(shù)據(jù)存儲節(jié)點中,并寫入數(shù)據(jù)文件存儲信息表。需要刪除時,在數(shù)據(jù)文件信息表中查找文件ID,找到后刪除該文件的數(shù)據(jù)信息。下面通過部分核心程序代碼來說明云存儲技術是怎么樣來存儲數(shù)據(jù)和刪除數(shù)據(jù)的。
(一)將一個數(shù)據(jù)塊保存在三個不同節(jié)點,成功返回1
int WriteStorInfo(fStorInfo fInfo)
{
fStorInfo temp;
memset(&temp,0,sizeof(fStorInfo));
int id=1;
int num=0;
FILE*fd;
if((fd=fopen(fileinfo,"rb+"))==NULL)
fd=fopen(fileinfo,"wb+");
while(fread(&temp,sizeof(fStorInfo),1,fd)==1)
{
if(temp.flag==0)
break;
++num;
}
fInfo.flag=1;
fseek(fd,num*sizeof(fStorInfo),0);
fwrite(&fInfo,sizeof(fStorInfo),1,fd);
fclose(fd);
return 1;
}
(二)獲得文件保存信息的順序表
int GetStorInfo(int fID,StorInfoList *L)
{
Research on Data Storage Scheduling Algorithm in Cloud Computing Environment
Zhen Cheng-gang Li Bao-cai
(North China Electric Power University HebeiBaoding 071000)
【 Abstract 】 The rapid development of cloud computing technology has accumulated a huge amount of data resources, data resource storage scheduling algorithm directly affects the efficiency of people's use of information resources. In order to improve the efficiency of data resource and improve the efficiency of data storage scheduling in cloud computing environment, a data storage system is designed. The system can be used to store the high frequency of the data.
【 Keywords 】 cloud computing;storage scheduling;data placement;dynamic migration
1 引言
目前,光纖網(wǎng)絡、移動無線網(wǎng)絡發(fā)展迅速,利用基礎網(wǎng)絡資源實現(xiàn)了云計算,其可以將分布于世界各地計算機終端、服務器連接在一起,利用分布式計算、透明計算、移動計算等技術,提高人們工作、生活和學習的信息化水平。云計算技術長期的使用,已經(jīng)積累了海量的數(shù)據(jù)資源,因此降低了人們搜索的有效性,也降低了數(shù)據(jù)搜索的實時性,為了提高數(shù)據(jù)存儲調(diào)度效率,可以基于智能分級存儲策略設計一個新的數(shù)據(jù)存儲調(diào)度算法。
2 云計算環(huán)境下數(shù)據(jù)存儲調(diào)度算法設計
云計算環(huán)境中,為了能夠提高數(shù)據(jù)存儲調(diào)度的效率,為用戶提供更加的數(shù)據(jù)搜索利用體驗,數(shù)據(jù)存儲調(diào)度算法包含的關鍵功能包括六個方面,分別是元數(shù)據(jù)管理、文件估值、遷移控制、訪問重定向、文件系統(tǒng)監(jiān)視、數(shù)據(jù)遷移。
(1)元數(shù)據(jù)管理。云計算環(huán)境中,為了保證數(shù)據(jù)的原子性、完整性,可以使用云數(shù)據(jù)進行描述,實現(xiàn)數(shù)據(jù)的遷移和訪問重定向。
(2)數(shù)據(jù)對象估值。數(shù)據(jù)對象估值可以根據(jù)數(shù)據(jù)資源訪問頻次、數(shù)據(jù)容量、讀寫模式、創(chuàng)建時間等屬性對數(shù)據(jù)對象進行估值,以便能夠反饋數(shù)據(jù)文件的訪問量和活躍程度,進行數(shù)據(jù)遷移。
(3)數(shù)據(jù)遷移控制。云計算環(huán)境下,用戶訪問數(shù)據(jù)對象時,可以根據(jù)數(shù)據(jù)對象估值實時的、動態(tài)的改變數(shù)據(jù)對象存儲位置,以便能夠?qū)狳c數(shù)據(jù)賦予較高的存儲優(yōu)先級位置,便于用戶訪問,提高資源命中率。
(4)數(shù)據(jù)訪問重定向。云計算時代,網(wǎng)絡數(shù)據(jù)能夠為用戶提供透明的、分布式的服務,因此無論用戶在哪個地方,只需要記住數(shù)據(jù)訪問的邏輯地址,無需關系存儲器的物理地址,如果數(shù)據(jù)物理地址發(fā)生改變,比如遷移到其它地方,使用數(shù)據(jù)訪問重定向功能即可尋找到數(shù)據(jù)。
(5)文件系統(tǒng)監(jiān)視。文件系統(tǒng)監(jiān)視可以實時的統(tǒng)計存儲系統(tǒng)運行狀態(tài),計算系統(tǒng)延時、存儲空間利用率、讀寫比例、文件訪問命中率等,并且將這些輔助信息提供給遷移控制模塊。
(6)數(shù)據(jù)遷移。數(shù)據(jù)遷移可以放置在相關的遷移計劃列表中,記錄遷移數(shù)據(jù)的大小、存儲位置、創(chuàng)建時間、訪問頻次,同時采用相關的算法將數(shù)據(jù)遷移到合適的目標位置,數(shù)據(jù)遷移的主要目的是實現(xiàn)數(shù)據(jù)存儲優(yōu)化。
數(shù)據(jù)存儲調(diào)度算法可以根據(jù)用戶訪問數(shù)據(jù)頻次,將數(shù)據(jù)資源放置在不同的設備,實現(xiàn)數(shù)據(jù)的自動化遷移,以便提高數(shù)據(jù)的命中率,算法執(zhí)行流程如圖1所示。
3 云計算環(huán)境下數(shù)據(jù)存儲調(diào)度算法關鍵技術
數(shù)據(jù)存儲調(diào)度算法在實驗過程中,其關鍵技術包括三種,分別是數(shù)據(jù)分類技術、數(shù)據(jù)放置技術和數(shù)據(jù)遷移技術。
(1)數(shù)據(jù)分類技術。云計算的快速發(fā)展積累了海量的數(shù)據(jù)資源,這些數(shù)據(jù)資源根據(jù)不同的分類標準,可以劃分為文檔數(shù)據(jù)、視頻數(shù)據(jù)和圖像數(shù)據(jù)等。隨著數(shù)據(jù)分類標準的不同,不同定義和標準下數(shù)據(jù)的分類是不同的,數(shù)據(jù)分類是數(shù)據(jù)遷移的最基本條件。目前,隨著數(shù)據(jù)劃分技術的快速改進,已經(jīng)誕生了貝葉斯理論、聚類、神經(jīng)網(wǎng)絡、K均值、支持向量機等,可以將數(shù)據(jù)根據(jù)人們的需求動態(tài)的進行分類,更好的保存在不同類型的數(shù)據(jù)庫中,以便人們訪問。
(2)數(shù)據(jù)放置技術。網(wǎng)絡存儲系統(tǒng)中,數(shù)據(jù)放置可以采用相關的原則,針對系統(tǒng)中新添加的數(shù)據(jù)、被遷移的數(shù)據(jù)放置在某一個特定的位置上,數(shù)據(jù)放置可以采用更加科學的方法,直接影響數(shù)據(jù)讀取、寫入等訪問操作效率,影響用戶使用感知。網(wǎng)絡數(shù)據(jù)放置存在兩個關鍵技術:一是確定數(shù)據(jù)放置在何種類型的存儲介質(zhì)上;二是數(shù)據(jù)放置的形式,隨機放置、順序放置或文件分割放置等。
(3)數(shù)據(jù)遷移技術。云計算環(huán)境下,由于用戶訪問數(shù)據(jù)是一直動態(tài)變化的,因此數(shù)據(jù)訪問頻次均是在動態(tài)改變的,為了能夠提高數(shù)據(jù)訪問效率和命中率,需要根據(jù)網(wǎng)絡存儲的數(shù)據(jù)和相關的指標進行數(shù)據(jù)遷移。數(shù)據(jù)遷移常用的技術包括同級數(shù)據(jù)遷移和異級數(shù)據(jù)遷移兩種模式。同級遷移模式能夠根據(jù)相關的存儲系統(tǒng)硬件容量的大小,將集中出現(xiàn)在相關的存儲系統(tǒng)中數(shù)據(jù)進行遷移,目的是均衡各個存儲設備的負載。異級遷移模式則是在存儲系統(tǒng)中經(jīng)常發(fā)送的時間,可以更好地優(yōu)化數(shù)據(jù)存儲內(nèi)容,實現(xiàn)自動化的遷移,異級遷移過程能夠提高低性能存儲設備向高性能存儲設備的數(shù)據(jù)遷移,同時也可以向相反的方向遷移。
4 結束語
云計算環(huán)境下,數(shù)據(jù)存儲調(diào)度算法可以實現(xiàn)數(shù)據(jù)動態(tài)的、分布式的、透明的訪問、讀寫數(shù)據(jù)資源,提高數(shù)據(jù)資源訪問速度,同時能夠保護數(shù)據(jù)的安全性,確保云計算時代網(wǎng)絡存儲系統(tǒng)能夠滿足人們的需求。
參考文獻
[1] 于珊珊,陳冬林,李偉等.基于SLA的云計算多數(shù)據(jù)中心任務調(diào)度算法[J].武漢理工大學學報:信息與管理工程版,2014,3:345-349.
[2] 肖艷文,王金寶,李亞平等.云計算系統(tǒng)中能量有效的數(shù)據(jù)擺放算法和節(jié)點調(diào)度策略[J].計算機研究與發(fā)展,2013,S1:80-82.
[3] 王強,李雄飛,王婧.云計算中的數(shù)據(jù)放置與任務調(diào)度算法[J].計算機研究與發(fā)展,2014,51(11):2416-2426.
中圖分類號:G250.73 文獻標識碼:A 文章編號:1003-6938(2010)03-0099-003
Research on the Library Mass Data Storage Based on Cloud Computing
Du Haining (Library of Lishui College, Lishui, Zhejiang,323000)
Abstract:As a result of mixing and evolving of many technologies, the new kind of commercial computation model---cloud computing---has many advantages such as being safe and reliable, capable of mass data storage, as well as easy and convenient to use. Distributed data storage technology and related virtual technology of cloud computing are used by the libraries so as to have a reduction of the storage and maintenance costs besides acquiring the benefits of being reliable and safe in storing the date and convenient in sharingdata between different devices.
Key words:cloud computing; libraries; mass data storage; storage technology; virtual technology
CLC number:G250.73 Document code:A Article ID:1003-6938(2010)03-0099-003
網(wǎng)絡時代中,信息爆炸使得信息量呈指數(shù)型增加,近幾年世界范圍內(nèi)磁盤存儲系統(tǒng)的容量仍將以每年近80 %的速度遞增。作為信息資源中心的圖書館面臨與日俱增的信息資源存儲問題,增大圖書館的信息資源存儲能力,更大程度的實現(xiàn)信息資源的長效保存和資源共享成為圖書館人思考的一個問題。作為一種新型的基于互聯(lián)網(wǎng)的商業(yè)計算模型,是多種技術混合演進的結果,成熟度較高,又有大公司推動,云計算已越來越成為人們熱議的焦點話題。在云計算的模式之下,圖書館的海量數(shù)據(jù)可以存儲在通過互聯(lián)網(wǎng)連接的任何一臺電腦或終端設備,并通過網(wǎng)絡來高度共享使用,[1 ]能解決困擾圖書館的數(shù)據(jù)存儲和共享等問題。
1 圖書館數(shù)字資源存儲現(xiàn)狀概述
1.1 圖書館數(shù)字資源存儲方式及比較
目前,國內(nèi)圖書館數(shù)字資源存儲方式主要包括DAS(Direct Attached Storage,DAS,直接附加存儲)、NAS(Network Attached Storage,NAS,網(wǎng)絡附加存儲)、SAN(Storage Area Network,存儲局域網(wǎng)絡)三種。
(1)直接附加存儲(DAS)。直接附加存儲是指主機與存儲設備之間的直接連接,存儲設備通過SCSI或ATA作為數(shù)據(jù)接口的存儲方式。[2 ]是目前國內(nèi)比較成熟的數(shù)字資源存儲方式,具有標準統(tǒng)一、兼容性好等優(yōu)點,但面對指數(shù)型增長的信息量,DAS存儲方式存在可靠性和安全性較低的缺陷。當存儲服務器出現(xiàn)故障時,將會導致存儲設備中的數(shù)據(jù)不能被讀取。其次,DAS的擴展性差,因為DAS 沒有獨立的存儲操作系統(tǒng),不能提供跨平臺的文件共享功能,各服務器不能共享原有的DAS設備。另外,由于受服務器性能的局限,以及DAS數(shù)據(jù)存儲模式是分散的,各系統(tǒng)下的文件必須分別存儲,容易形成信息的孤島,不利于資源的共享。
(2)網(wǎng)絡附加存儲(NAS)。網(wǎng)絡附加存儲是指直接接在網(wǎng)上的存儲設備,實際上NAS是一臺專用的存儲服務器,數(shù)據(jù)通過網(wǎng)絡協(xié)議進行傳輸。[3 ]網(wǎng)絡附加存儲支持異構服務器間的數(shù)據(jù)共享,在資源存儲的可靠性方面也有所改善,但NAS的數(shù)據(jù)備份時消耗較多的通信帶寬,導致數(shù)據(jù)傳輸速度過低,另外NAS不支持數(shù)據(jù)庫服務,因此不適合大型數(shù)據(jù)庫的應用。NAS依然存在擴展性較差的缺陷,由于受到設備容量的限制,新增加的NAS設備與原有的設備不能很好的集成,這就導致NAS對數(shù)據(jù)的備份恢復實現(xiàn)起來相當困難。除此之外,NAS技術所需投入的成本很高,因此不能得到較為廣泛的應用。
(3)存儲區(qū)域網(wǎng)絡(SAN)。存儲區(qū)域網(wǎng)絡是獨立于服務器網(wǎng)絡之外的高速存儲專用網(wǎng)絡,其將存儲子系統(tǒng)網(wǎng)絡化,實現(xiàn)真正的高速共享存儲目標。[4 ]SAN是繼DAS、NAS之后出現(xiàn)的新興存儲技術,其具有傳輸速度快,擴展能力強,共享能力高以及可靠性、安全性好的特點,因此SAN成為現(xiàn)在社會主流的存儲解決方案。盡管如此,SAN依然存在難以改變的缺陷:由于SAN是在DAS和NAS的基礎上發(fā)展起來的,其技術必然復雜難懂,技術實現(xiàn)要求也過于苛刻。龐大繁雜的技術要領必然帶來軟件升級困難和投資成本過高的問題。
1.2 圖書館數(shù)字資源存儲存在的問題
各種存儲技術沒有統(tǒng)一技術標準是目前國內(nèi)數(shù)字資源存儲存在的首要問題,使存儲系統(tǒng)從立項到實施均無據(jù)可循,建設效果千差萬別,阻礙了計算機與存儲設備之間的高速互聯(lián),甚至難于實現(xiàn)大容量數(shù)據(jù)共享的解決方案。其次是數(shù)據(jù)快速備份和恢復能力的缺乏。現(xiàn)階段各圖書館的海量數(shù)據(jù)存儲系統(tǒng)或大或小的存在系統(tǒng)不穩(wěn)定的問題。由于各存儲技術不同程度的存在著該技術不能攻克的技術缺陷,任何技術都無法保證存儲系統(tǒng)百分百無故障。在這樣的情況下,為了保證數(shù)據(jù)的安全性就必須建立切實有效的數(shù)據(jù)備份和恢復方案。最后,為了達到圖書館數(shù)字化、信息化的要求,各圖書館對海量數(shù)據(jù)存儲系統(tǒng)建設的資金投入不理性。盲目追求現(xiàn)代化主流技術導致圖書館沒有清楚的了解自身需求,并且對建成后系統(tǒng)運行維護費用等缺乏理性分析,因此造成所建存儲系統(tǒng)后期投入更多或投入大量資金卻無法滿足自身需求的現(xiàn)象。
1.3 圖書館數(shù)字資源存儲的需求
隨著網(wǎng)絡信息服務的發(fā)展和數(shù)字信息資源的指數(shù)增長,人們在追求信息存儲系統(tǒng)容量擴增的同時,開始越來越多的關注信息存儲在有效性、安全性和存儲效率等方面的問題。針對目前社會較高的數(shù)字資源存儲要求,圖書館作為信息資源中心為用戶提供各種信息服務,必然要在數(shù)字資源存儲上迎合社會發(fā)展的需要。
(1)高性能的存儲系統(tǒng)。將傳統(tǒng)圖書館資源數(shù)字化并通過現(xiàn)代化存儲技術進行存儲的目的在于提高圖書館信息資源的使用效率,在此基礎上建立的存儲系統(tǒng)、存儲服務器必須擁有較高的性能。目前圖書館用戶對信息的需求量增加迅速,導致存儲系統(tǒng)的訪問量較大,這就要求相應的數(shù)據(jù)流量也比較大。為了加快存儲系統(tǒng)的數(shù)據(jù)相應時間,必須采用高性能、實用性強的存儲系統(tǒng)。
(2)可靠完整的存儲方案。在實際工作中,各種不可抵抗的自然災害和人為破壞都有可能造成存儲系統(tǒng)的崩潰,為了提高數(shù)據(jù)存儲的安全性,圖書館必須保證數(shù)據(jù)存儲在任何條件下都保持可靠完整性,存儲系統(tǒng)或存儲設備出現(xiàn)故障時也不會出現(xiàn)數(shù)據(jù)損壞和丟失的現(xiàn)象。這就需要圖書館的信息存儲系統(tǒng)建立一個能應對這些危機的存儲方案,如:本機、本地備份,異機、異地備份,甚至是遠程容災系統(tǒng)等,以保證存儲數(shù)據(jù)的安全可靠。[5 ]
(3)高度的擴展性存儲接口。由于國內(nèi)圖書館資金有限,對數(shù)字資源存儲系統(tǒng)的投資不可能一次性到位,所以存儲方案必須考慮高度的擴展性。一方面存儲系統(tǒng)必須適應多廠商、多平臺和多系統(tǒng)的持續(xù)發(fā)展,支持異構環(huán)境下的多系統(tǒng)多平臺服務;另一方面,考慮到圖書館業(yè)務的發(fā)展必然導致數(shù)字資源的增長,因此存儲系統(tǒng)的建設必須充分滿足數(shù)據(jù)增長對存儲系統(tǒng)擴容的要求。
(4)適度投資的存儲原則。圖書館在海量數(shù)據(jù)存儲問題上應該量力而行,根據(jù)圖書館的規(guī)模及財力選擇適合本館的海量數(shù)據(jù)存儲方案。若存儲方案沒有考慮圖書館已有數(shù)字資源存儲設施,而另行開發(fā)建立新的存儲方案,這樣不僅造成重復建設浪費資源,而且增加了許多不必要的資金浪費。因此,如何保護原有存儲系統(tǒng)建設,減少海量數(shù)據(jù)存儲的投資成本是構建海量數(shù)據(jù)存儲時要考慮的關鍵問題。
2 基于云計算的圖書館海量數(shù)據(jù)存儲
2.1 基于云計算的圖書館海量數(shù)據(jù)存儲技術需求
在圖書館海量數(shù)據(jù)存儲中的云計算技術是以計算服務器為核心,動態(tài)部署虛擬的硬件服務器。用戶可以實現(xiàn)“無處不在”的訪問,同時也和Web云上的用戶共享流量和計算能力。[6 ]滿足實現(xiàn)圖書館海量數(shù)據(jù)存儲和操作需求的云計算關鍵技術需要:
(1)采用分布式存儲進行數(shù)據(jù)存儲實現(xiàn)云計算對圖書館海量數(shù)據(jù)的存儲,并采用冗余存儲的方式來保證存儲數(shù)據(jù)的可靠性。通過云計算這兩個技術將每個圖書館所有數(shù)字資源存儲在“云”中,并由“云”來管理和調(diào)度這些海量數(shù)據(jù),利用分布式的數(shù)據(jù)存儲技術和與之相關的虛擬技術使得整合后的圖書館海量數(shù)據(jù)更加統(tǒng)一有序,實現(xiàn)圖書館數(shù)字資源的完全整合。
(2)為了滿足多用戶對數(shù)據(jù)的操作,云計算的數(shù)據(jù)存儲技術必然具有高吞吐率和高傳輸率的特點;同時云計算要求硬件資源與軟件資源能夠更好的被共享,且具有良好的伸縮性。這就要求云計算在圖書館海量數(shù)據(jù)存儲系統(tǒng)開發(fā)時必須具備多用戶技術。此技術主要表現(xiàn)在兩方面:其一是基于云計算的海量數(shù)據(jù)存儲系統(tǒng)能夠服務于大多數(shù)用戶,且具有非常容易的伸縮性;其二是該技術提供的附加業(yè)務邏輯可以使用戶對SAAS平臺進行擴展來滿足圖書館多用戶同時進行數(shù)據(jù)操作。
(3)云計算環(huán)境下對海量數(shù)字資源進行實時監(jiān)控和管理,解決圖書館中的資源種類多、規(guī)模大,對資源實時監(jiān)控和管理困難的問題。從云計算技術的資源調(diào)度的粒度來看,虛擬機內(nèi)部應用的調(diào)度是云計算技術中最受人們關注的技術。
2.2 基于云計算的圖書館海量數(shù)據(jù)存儲系統(tǒng)特點
(1)確保了海量數(shù)據(jù)存儲系統(tǒng)的可靠性和數(shù)據(jù)安全性,用戶不必再為數(shù)據(jù)丟失、系統(tǒng)癱瘓等問題感到困擾。在確保存儲系統(tǒng)可靠性的問題上,云計算技術最大限度地降低了服務器的出錯概率。云計算模式中海量數(shù)據(jù)不再是存儲于某個圖書館的服務器上,而是存儲在“云” 中的上百萬臺服務器,因此即使“云”中的某臺服務器出現(xiàn)故障,在云端會有其他服務器作為替補來代替崩潰的服務器進行工作。顯然云計算模式下不會造成數(shù)據(jù)的損壞和丟失和圖書館海量數(shù)據(jù)存儲系統(tǒng)的癱瘓。
(2)通過云計算,圖書館可以輕松的實現(xiàn)不同設備間的數(shù)據(jù)共享。圖書館作為信息資源具有向用戶傳播信息、使用戶以最大的限度獲取知識和信息。傳統(tǒng)模式下,用戶在特定的圖書館中只能獲得該圖書館提供的資源,即使該圖書館與其他館之間有共享工程建設,用戶獲得共享資源的程序也相當繁瑣,且非常有限。通過云計算模式,相關圖書館之間可以共同構筑圖書館的共享空間,來自于任何圖書館的數(shù)字資源統(tǒng)統(tǒng)存放在“云”中,用戶只需將其電子設備連接至互聯(lián)網(wǎng),就可以訪問和獲取所需的任何數(shù)據(jù)。
(3)基于云計算的圖書館海量數(shù)據(jù)存儲方式提高了信息資源的更新速度。只要是通過云計算技術來開發(fā)海量數(shù)據(jù)存儲的圖書館都會經(jīng)常修改和添加新的信息資源,這種圖書館間互相補充的信息存儲使用戶可以獲取到世界上最新的資料和信息。
(4)云計算的出現(xiàn)使圖書館存儲系統(tǒng)的擴展能力得到大大的提高。因為“云”提供無限的空間和計算能力,使得圖書館在社會變遷過程中不必再為海量數(shù)據(jù)存儲系統(tǒng)的擴展問題煩惱。同時也防止了圖書館海量數(shù)據(jù)存儲系統(tǒng)擴展時對原系統(tǒng)的摒棄和對存儲系統(tǒng)的重復建設。
(5)各圖書館無論規(guī)模大小都存在資金不足的現(xiàn)象,云計算模式的出現(xiàn)大大降低了海量數(shù)據(jù)存儲系統(tǒng)建設和維護成本,而云計算技術可以通過少量的費用讓圖書館獲得“云”中上百萬臺服務器提供的服務。云計算對用戶端的設備要求很低,圖書館管理員無需擔心相關硬件升級的問題,另外在“云”端有專業(yè)的工作人員維護硬件,無需圖書館管理員勞神。
3 云計算圖書館海量數(shù)據(jù)存儲的思考
云計算將圖書館海量數(shù)據(jù)存儲帶入了新的時代,是圖書館海量數(shù)據(jù)存儲的變革性突破。然而時代在變遷,圖書館及其用戶對海量存儲系統(tǒng)的要求也在不斷地提升,因此無論多么完善的技術都會遇到瓶頸問題,云計算技術當然也不例外。為了使圖書館海量數(shù)據(jù)存儲的云計算技術走的更遠,圖書館應該從各個方面找到云計算已經(jīng)遇到或可能遇到的瓶頸問題,對其進行改進,使其更好的為圖書館和用戶服務。首先,在云計算模式下,各個加入云計算模式的圖書館之間可以通過有關的協(xié)議共享彼此的信息資源。[7 ]雖然這樣豐富了信息資源的內(nèi)容,但同時也帶來了版權糾紛的問題。因此,為了解決版權問題盡快制定合理的解決方案乃當務之急。其次,云安全問題一直是人們心中的疑慮,云中上百萬臺服務器提供了數(shù)據(jù)快速備份和恢復機制,但云端的安全性是否也同樣值得我們信任呢?為了進一步保證設備和數(shù)據(jù)的安全,必須嚴格加強云端安全機制的建立和完善。
云計算為圖書館用戶提供了一個更為簡單、廉價的資源共享模式。然而任何事物都是機遇與挑戰(zhàn)并存,為了使云計算技術更加完善的應用,它就必須迎合了大部分用戶的需求,不斷解決云計算在應用過程中遇到的各種問題。只有這樣才能使云計算的圖書館海量數(shù)據(jù)存儲真正發(fā)揮其本身的價值。
參考文獻:
[1]黎春蘭,鄧仲華.論云計算的價值[J].圖書與情報,2009,(4):42-46.
[2][3]周敬治,修蔽蔽.數(shù)字資源存儲系統(tǒng)的構建模式及比較研究[J].情報雜志,2006,(11):106-108.
[4]劉姝.對高校圖書館建設數(shù)字資源存儲系統(tǒng)的思考[J].大學圖書館學報,2008,(6):75-78.
[5]嚴莊.圖書館數(shù)字資源存儲技術方案研究[J].四川文理學院學報,2007,(6):108-110.