緒論:寫作既是個人情感的抒發(fā),也是對學術真理的探索,歡迎閱讀由發(fā)表云整理的11篇云計算技術及其應用范文,希望它們能為您的寫作提供參考和啟發(fā)。
中圖分類號:TP393文獻標識碼:A文章編號:1009-3044(2012)18-4360-03
云計算是近年來出現(xiàn)的一個熱門概念,也是未來互聯(lián)網發(fā)展的方向。從狹義上看,云計算是一種動態(tài)的、易擴展的且通常是通過互聯(lián)網提供虛擬化資源的計算方式。從廣義上看,云計算是一種以互聯(lián)網為中心的面向應用的服務,用戶不需要了解云內部的細節(jié).也不必具有云內部的專業(yè)知識或直接控制基礎設施,便能使用的相關資源。云計算包括基礎設施即服務(Infrastructure as a Service,簡稱IaaS),平臺即服務(Platform as a Service,簡稱PaaS)和軟件即服務(Software as a Service,簡稱SaaS)以及其他依賴于互聯(lián)網滿足客戶計算需求的服務類型。云計算服務通常提供通用的通過瀏覽器訪問的在線商業(yè)應用,軟件和數(shù)據則存儲在服務器上。
圖1云計算的組成
2.1基礎設施
云基礎設施,即IaaS。是計算機基礎設施,通常是虛擬化的平臺環(huán)境。作為一項服務,具體應用例如:Sun公司的Sun網格、亞馬遜的彈性計算云。它通過將服務器端強大的計算能力單位化,來為個人用戶提供PC機無法實現(xiàn)的海量數(shù)據計算服務。
2.2存儲
云存儲涉及提供數(shù)據存儲作為一項服務,包括類似數(shù)據庫的服務,通常以使用的存儲量為結算基礎。它既可以交付作為云計算服務,又可以交付給單獨的數(shù)據存儲服務,具體應用包括亞馬遜簡單存儲服務和Google的BigTable服務。通過云存儲,由云端為用戶提供數(shù)據的備份和安全性保障,用戶可以在任何地點任何時刻進行數(shù)據的存儲和讀取操作。
2.3平臺
云平臺,即PaaS,直接提供計算平臺和解決方案作為服務.以方便應用程序部署和開發(fā),從而節(jié)省購買和管理底層硬件和軟件的成本。比如Google的應用程序引擎(Google AppEngine)可以讓開發(fā)人員編譯基于Python的應用程序,并免費使用谷歌的基礎設施來進行托管。這種在云端的開發(fā)平臺為編程人員提供了快速開發(fā)網絡應用程序的途徑,同時免去了繁瑣的服務器搭建、維護等工作。
圖3GFS架構
3.3分布式計算
由于云計算系統(tǒng)中的計算單元分布在不同的地理區(qū)域,為了有效的利用這巨大的運算能力,傳統(tǒng)的編程方式已不適用,而要采用分布式計算模型。當前Map/Reduce模型在云計算系統(tǒng)中的使用最為廣泛。
Map/Reduce是一種編程模型,用于大規(guī)模數(shù)據集(大于1TB)的并行運算。概念“Map(映射)”和“Reduce(化簡)”,以及它們的主要思想,都源自函數(shù)式編程語言和矢量編程語言。Map/Reduce為編程人員進行分布式并行編程提供了一個框架,使得自己的程序可以方便的運行在分布式系統(tǒng)上。
Map/Reduce編程的實現(xiàn)是指定一個Map(映射)函數(shù),用來把一組鍵值對映射成一組新的鍵值對,指定并發(fā)的Reduce(化簡)函數(shù),用來保證所有映射的鍵值對中的每一個共享相同的鍵組。
簡單說來,一個映射函數(shù)就是對一些獨立元素組成的概念上的列表(例如,一個測試成績的列表的每一個元素)進行指定的操作(例如,如果發(fā)現(xiàn)所有學生的成績都被高估了一分,就可以定義一個“減一”的映射函數(shù),用來修正這個錯誤)。事實上,每個元素都是被獨立操作的,而原始列表沒有被更改,因為這里創(chuàng)建了一個新的列表來保存新的答案。這就是說,Map操作是可以高度并行的,這對高性能要求的應用以及并行計算領域的需求非常有用。
中圖分類號:TP29 文獻標識碼:A文章編號:1007-9599 (2011) 06-0000-01
Enterprise Applications Analysis of Cloud Computing and Cloud Storage Technology
Cai Han
(China Shipping,Xiamen361006, China)
Abstract:Cloud computing use the Internet as computing platforms,
will be more widely involving mass data processing tasks.Mass data processing refers to the large-scale data analysed and calculated.In the Internet age,the Internet data statistics and analysis of many is mass data level for corporate data storage,provides an important service.This paper analyzes the application of cloud computing,introduces the types of cloud computing infrastructure,in-depth analysis of the cloud computing and the relationship between the enterprise applications.
Keywords:Cloud computing;Cloud storage;Enterprise application
云計算技術帶來了IT技術領域的重大變革。它極大地降低了企業(yè)的IT建設及運營維護成本,降低了能源消耗,大大加快了企業(yè)信息化建設進程。云計算與互聯(lián)網的結合也催生了IT商業(yè)模式的革命,使得越來越多的公司不再購買和維護軟硬件,而是從亞馬遜等公司租用計算、存儲、網絡資源以及IT服務,使得企業(yè)實現(xiàn)信息化變得像獲取自來水一樣方便、廉價。
一、云計算的應用類型
目前流行的幾種基于云計算的應用類型。這些應用分為三層或三類,分別是平臺或基礎設施方面的應用、業(yè)務應用和業(yè)務服務?;谄脚_的應用主要集中在為用戶提供存儲服務(云存儲)、計算能力(計算云)、數(shù)據庫服務(云數(shù)據庫)。云存儲是一種基于網絡的數(shù)據存儲模式,數(shù)據被存儲在多種虛擬服務器上,通常由第三方的組織來管理,而不是用專門的服務器來管理。數(shù)據托管公司運營大型的數(shù)據中心,用戶通過從公司購買或租用存儲空間來存儲自己需要托管的數(shù)據。數(shù)據中心的運營商在后臺根據用戶的需要虛擬化資源,對用戶來說就像在使用虛擬服務器,這樣用戶可以自己管理自己的數(shù)據。而實際上,這些資源或許橫跨了很多不同的物理服務器。
二、云計算中的基礎設施
云計算中的基礎設施可以建立在虛擬化、網格計算或二者結合的基礎上。網格計算(或者計算網格的使用)是指多個計算機同時處理一個問題的計算模式,處理的往往是需要大量計算資源、需要訪問大量數(shù)據的科學或者技術問題。它是一種分布式的計算模式,通過將網絡上的、松耦合的計算機聯(lián)合起來組成一個“超級虛擬計算機”來完成大型計算任務。這項技術已經應用在運算密集的科學、數(shù)學和理論問題的運算上,參與運算的計算機是以自愿的形式加入的。在商業(yè)機構中也有多種不同的應用,如藥物研發(fā)、經濟預測、地震分析、股票數(shù)據處理、電子商務和Web服務。在這種計算模式下,計算任務被拆分為許多小的部分,不同的部分在不同的計算機上同時、獨立、并行地進行。因此,對于需要在計算過程中交換中間結果的應用,這種計算模式是不適用的,因為不同的處理器和存儲系統(tǒng)很難保證高速的連接。網格可以實現(xiàn)本地、大學內部、區(qū)域性和國際性的應用、數(shù)據和存儲資源的分享及管理。Google的搜索引擎就是以網格計算的形式,通過上千臺服務器來處理搜索請求、尋找新的站點、存儲文件和管理廣告。
三、云計算對企業(yè)的影響
云計算模式能極大地降低企業(yè)或者學校的信息系統(tǒng)建設的成本。對于他們來講,通過投資建立計算中心成本較大,并且難以與他們的信息系統(tǒng)的快速成長和服務多元化要求相匹配。具體來講,云計算為企業(yè)帶來的便利歸納為以下幾個方面。
(一)商業(yè)模式和理念的轉變。IT公司的商業(yè)模式從實體的軟件或硬件產品銷售轉變?yōu)橄鄳能浻布盏奶峁Mㄟ^云計算,更多的應用能夠以互聯(lián)網服務的方式進行。云計算的先驅者之一谷歌甚至強調未來幾乎所有的軟件都可以搬上互聯(lián)網,以服務取代軟件。云計算將帶動整個商業(yè)模式的轉變,延伸出新的商業(yè)體系,特別是IT企業(yè)商業(yè)理念也需要轉變,當前的軟件銷售轉變?yōu)榉珍N售,將實體變?yōu)榫W絡中的相關服務提供給個人用戶或企業(yè)用戶。
(二)提高管理效率、服務水平。利用云計算的商業(yè)服務平臺提供用戶和提供商之問交互的平臺,用戶不用花精力去開發(fā)相應的軟件或提供相應平臺,只需要付少量的費用就能實現(xiàn)現(xiàn)代化的信息管理,將更多的精力用在企業(yè)的實質管理和服務客戶,增強了企業(yè)的自動化度,能提高企業(yè)的管理效率及相應的服務水平。
(三)降低運行維護成本。企業(yè)只需定制相應的服務,由云服務商或云端提供需要的基礎架構、服務、軟硬件資源等,可以節(jié)約成本,不用投資購買昂貴的硬件設備,負擔頻繁的維護與升級,企業(yè)不需要建立自己的數(shù)據中心、大型機房、服務器中心等并相應減少硬軟件的運行維護費用。
(四)提高了資源利用率。云計算模式中多企業(yè)共用相應的基礎架構,由云計算提供更強的管理機制、自動化部和高層次的虛擬化,將實現(xiàn)網絡虛擬環(huán)境上的最大化資源共享和協(xié)同工作。企業(yè)可以自己組建云計算基礎設施,也可以按需或按時租賃的方式來完成企業(yè)的計算任務、存儲、平臺服務等,多個企業(yè)共享云計算基礎設施,在節(jié)約成本的同時提高資源的利用率。
四、結束語
云計算是集成了大量資源的高效運行模式,在數(shù)據存儲與處理中具有極高的應用價值,因而在企業(yè)中廣泛應用,應用云計算和云存儲技術能夠改變企業(yè)運營模式、提高管理效率、降低系統(tǒng)成本、提高資源的利用效率,對現(xiàn)代企業(yè)的信息操作產生了劃時代的影響,在企業(yè)信息系統(tǒng)的發(fā)展中必將起到更重要的作用。
參考文獻:
計算機應用技術的不斷發(fā)展,在很大程度上帶來了企業(yè)信息化的建設,不管是在生產、業(yè)務拓展、管理等方面,都帶來了非常好的效果。計算機應用技術主要是指利用計算機軟件,進而滿足人們的需求,并且從企業(yè)發(fā)展的角度來說,為了提升企業(yè)在市場中的競爭力,開拓新的發(fā)展道路,向信息化的運作模式轉變已經是勢在必行了,合理地使用計算機應用技術,通過利用相應的計算軟件,可以對企業(yè)現(xiàn)有的發(fā)展情況,進行有效的整合,尋找一個新的發(fā)展方向,這樣不僅僅促進了我國企業(yè)發(fā)展的進程,也為企業(yè)帶來了良好的經濟效益。
1企業(yè)信息化發(fā)展概述
計算機應用技術主要是利用各種軟件,通過自身的性能、設置、性質和應用等方面,在不同的環(huán)境下熟練地進行操作,從而滿足客戶的需求,提供著不同的服務性能。同時,在企業(yè)信息化運作的過程中,主要是利用先進的技術手段,以及最新的管理理念和方式,將企業(yè)現(xiàn)有的資源進行有效的整合,形成企業(yè)運營框架,這樣主要是保證企業(yè)的任何一方面,都得到合理的配置。另外,企業(yè)信息化的不斷的建設,對企業(yè)在業(yè)務拓展、生產、管理等方面,都進行了進一步的規(guī)范,這樣不僅僅提升了企業(yè)自身的發(fā)展實力,也保證了良好的經濟效益。
2計算機應用技術在企業(yè)信息化的作用
計算機應用技術在企業(yè)信息化建設和發(fā)展的過程中,起到了非常重要的作用,主要表面在管理和生產效率的提升,以及經濟效益的提升,總結起來可以從以下幾個方面分析:
2.1數(shù)據獲取的準確性
企業(yè)在運作的過程中,會存在著大量的數(shù)據和信息,計算機應用技術可以企業(yè)在獲取數(shù)據和信息方面,變得更加的準確。一個企業(yè)經營和管理的過程中,所包括有很多,例如:企業(yè)內部信息、員工信息、財務信息等方面,傳統(tǒng)的管理模式主要是通過紙質文件的方式,將這些數(shù)據和信息進行詳細的記錄,并且加以保存,僅僅是在需要的時候調出查閱,這樣的管理方式是存在著很大的弊端,主要是表面在兩個方面:(1)主要是利用人工的方式,對各項數(shù)據和信息進行抄錄,這樣不僅僅工作負擔相對較大,很容易出現(xiàn)誤差;(2)信息和數(shù)據調用相對較為麻煩,并且及時性不夠,很容易發(fā)生延誤的現(xiàn)象。然而,計算機應用技術在企業(yè)信息化運用的過程中,主要是利用相應的軟件,構建相對完善的數(shù)據和信息庫,這樣不僅僅保證了各項數(shù)據的準確性,也實現(xiàn)了各項數(shù)據和信息自動化管理的模式。另外,計算機應用技術可以利用遠程方式,對各項數(shù)據和信息進行調用,這樣可以在很大程度上方便了對數(shù)據的使用,時效性和準確性也相對較高。
2.2管理效率提升
企業(yè)信息化包含著很多內容,管理就是其中的一個內容。企業(yè)在運營的過程中,各項信息和數(shù)據來源都相對較為復雜,數(shù)量也相對較大,這樣給管理也會一定的困難,其管理工作也相對較低。然而,計算機應用技術在企業(yè)信息化運用的過程中,企業(yè)管理逐漸轉向自動化管理模式,其優(yōu)點主要分為兩個方面:(1)利用計算技術對復雜的、大量的信息和數(shù)據,進行有效的整合、歸類,化繁為簡,這樣在信息和數(shù)據使用的過程中,相對較為清晰化,進而有效地提升了管理工作的2017.23效率。(2)管理靈活性相對較強,并且在業(yè)務拓展的過程中,不會受到傳統(tǒng)因素的限制。同時,計算機應用技術在企業(yè)信息化在運用的過程中,還會對辦公室的人員進行相應的簡化,人力、財力、物力等方面,進行了有效的節(jié)約,進而有效地提升了企業(yè)良好的經濟效益。
2.3提升企業(yè)的綜合實力
企業(yè)的綜合實力是保證企業(yè)可持續(xù)發(fā)展的基礎,然而計算機應用技術在企業(yè)信息化運用的過程中,主要是通過利用相應的軟件技術,以此提升企的綜合實力。企業(yè)綜合實力主要包括有:資產規(guī)模、營業(yè)收入、市場份額、企業(yè)文化等方面。同時,在管理的過程中,通過利用計算機應用技術可以加強各項數(shù)據和信息之間的交流,實現(xiàn)員工信息交流和共享的功能,從而提升了企業(yè)的工作效率。另外,信息和數(shù)據的共享,可以在最大程度上提升良好的經濟效益,進而提升企業(yè)在發(fā)展中的綜合實力,保證了企業(yè)良好的經濟效益。
3具體應用
企業(yè)信息化主要是以提升經濟效益、競爭力等方面為基礎,降低企業(yè)運營的成本,合理配置企業(yè)資源,為企業(yè)帶來新的發(fā)展方向。但是,在企業(yè)信息化構建的過程中,計算機應用技術是必不可少的一項內容,下面就對計算機應用技術在企業(yè)信息化中運用的相關內容,進行簡要的分析和闡述。
3.1企業(yè)生產
生產是企業(yè)產生經濟效益,以及長期生存和發(fā)展的重要環(huán)節(jié),并且對各項技術都有著相對較高的要求。那么,計算機應用技術在企業(yè)信息化應用的過程中,主要是對生產過程進行有效的控制,尤其是生產流水線和批量生產方面。另外,計算機應用技術在企業(yè)信息化運用的過程中,主要是利用仿真技術、微電子技術、自動控制技術、網絡技術等方面,對整個生產過程進行良好的控制和調控,避免生產過程中產生不必要的誤差,提升生產質量的同時,也保證了良好的效益和效率。另外,在應用的過程中,針對不同的生產環(huán)節(jié),所應用的技術也是不一樣,比如:應用計算機輔助設計技術、計算機輔助制造、復雜工程結構設計、輔助工藝設計等方面,這可以進一步地保證企業(yè)的經濟效益。
3.2內部管理
管理是任何一個企業(yè)發(fā)展的基礎,信息化管理的構建組要就是對企業(yè)的基礎工作,業(yè)務流程、管理流程等方面是,進行有效的規(guī)范,并且利用集成應用系統(tǒng)的形式,對其中所含有的數(shù)據和信息,進行全面的收集、整合、存儲等,根據這些信息和數(shù)據,指定企業(yè)下一步的發(fā)展方向,這樣不僅僅保證發(fā)展方向具有一定的針對性,還可以降低企業(yè)內部管理成本,并且為一些業(yè)務的拓展和決策,提供了重要的信息和數(shù)據支持。另外,傳統(tǒng)企業(yè)管理模式不僅工作量相對較大,操作也不是很便捷,然而計算機應用技術在企業(yè)信息化運用的過程中,通過利用一些相關的技術形式,可以對操作流程進行相應的簡化,降低了工作梁,所涉及的范圍相對交廣,例如:事務處理系統(tǒng)、決策支持系統(tǒng)、企業(yè)資源計劃、產品數(shù)據管理等方面。同時,計算機應用技術在企業(yè)管理運用的過程中,還會涉及到一些其他方面,像辦公室表格、文檔和郵件以及幻燈片等,進而提升辦公室工作效率。
3.3企業(yè)供應鏈
隨著市場經濟的不斷發(fā)展,經濟效益的不斷提升,企業(yè)整體運營過程已經從開始時候的孤立封閉狀態(tài)逐漸橫向和縱向發(fā)這就需要供應鏈信息化管理。其實,所謂供應鏈是指從原材、零部件的采購、倉儲、加工、營銷形成了一套由供應商、生產商和及售后的服務流程。同時,這個過程的好壞直接影響著企業(yè)的發(fā)展。因此,計算機應用技術在企業(yè)信息化應用的過程中,一定要構建相對完善的供應鏈,這也是企業(yè)發(fā)展中的重點。在應用的過程中,其重點主要是在于企業(yè)局域網、Internet互聯(lián)網、數(shù)據庫、電子商務等方面,并且應當對企業(yè)資源、供應商、銷售商、售后服務商等方面,進行有效的整合,根據企業(yè)自身發(fā)展的需求,進行相應調整,這樣可有效地提升企業(yè)在市場發(fā)展中的競爭力。
3.4企業(yè)與業(yè)內溝通
行業(yè)的發(fā)展不是依靠一個企業(yè)就可以的,企業(yè)信息化水平的提升也是一樣的。因此,在計算機應用技術在企業(yè)信息化的過程中,通過利用相應的技術形式,可以加強企業(yè)與業(yè)內之間的交流,并且定期可以和兄弟企業(yè)展開相應的交流活動,加強各項數(shù)據和信息之間的交流,進而實現(xiàn)共贏的局面。另外,計算機應用技術在企業(yè)信息化運用的過程中,可以通過網絡通道對市場發(fā)展的走向,以及市場最新信息,進行及時、全面的了解,這樣可以為企業(yè)各項決策的制定,提供重要的參考依據,避免發(fā)生決策上的失誤,導致經濟效益的損失。
3.5業(yè)務拓展
業(yè)務拓展是企業(yè)發(fā)展的一個重點。因此,計算機應用技術在企業(yè)信息化運用的過程中,業(yè)務拓展是運用的一個重點,其中主要包括有:事務的處理、現(xiàn)金的流動、客戶交易等方面。并且通過應用計算機技術在將這個各項信息和數(shù)據,進行有效的整合,一定要根據實際情況,指定合理的運作模式,這樣可以有效地增強企業(yè)的工作效率,進而提升良好的企業(yè)競爭力。另外,計算機應用技術在企業(yè)業(yè)務拓展的過程中,可以利用運程技術控制形式,對生產環(huán)節(jié)進行良好的控制,實現(xiàn)自動化控制模式,這樣可以進一步保證生產中的穩(wěn)定性,保證了生產效率的同時,也保證生產產品的質量,為企業(yè)業(yè)務的拓展提供了重要的支持。
4結語
對計算機應用技術在企業(yè)信息化運用的一些相關內容,進行了簡要的分析和闡述,通過在不同方面的運用,可以有效地提升企業(yè)的生產和管理效率,并且在原有的基礎之上,進行了有效的業(yè)務拓展,進而提升了企業(yè)的經濟效益,實現(xiàn)了企業(yè)可持續(xù)發(fā)展的理念。
參考文獻
[1]呂豐秀.計算機應用技術在企業(yè)信息化中的應用[J].電子技術與軟件工程,2016,(24):161.
[2]張新剛.計算機應用技術對企業(yè)信息化的影響分析[J].計算機光盤軟件與應用,2013,(13):134.
[3]趙婷.計算機應用技術對企業(yè)信息化的影響分析[J].山東工業(yè)技術,2015,(23):117.
[4]羅學.在企業(yè)信息化中的計算機應用技術分析[J].信息與電腦:理論版,2012,(6):124-125.
[5]張圓林.淺析計算機應用技術對企業(yè)信息化的影響[J].工程技術:全文版,2015,(18):00322-00322.
中圖分類號:TP311文獻標識碼:A文章編號:1009-3044(2010)22-6272-03
云計算技術的出現(xiàn)是并行計算技術、軟件技術、網絡技術發(fā)展的必然結果。云計算在商業(yè)和科研領域的應用價值得到了包括 IBM、Google 等公司的重視,其未來將像工業(yè)革命一樣引領著社會的發(fā)展。目前,云計算的研究與應用尚處于初級階段,云計算實現(xiàn)商業(yè)價值指日可待,云計算的特點是使數(shù)據存儲及應用商業(yè)化,Web數(shù)據挖掘是一個應用價值大理論性很強的研究領域,本文基于云計算框架下對Web數(shù)據挖掘算法進行了討論和研究。
1 云計算的定義
到目前為止,學者們對云計算的定義多種多樣,定義主要包括如下幾種。
1) 維基百科對云計算如此定義:云計算[1]是以服務方式提供給用戶IT相關的能力,而用戶不需要了解提供服務的技術、相關知識以及設備操作能力,用戶通過Internet接受請求的服務。
2) 中國云計算網的云計算定義是:云計算是分布式計算、并行計算和網格計算的發(fā)展,也可定義為分布式計算、并行計算和網格計算這些科學概念的商業(yè)實現(xiàn)。
3) 文獻[2]在概括了多個云計算的定義后,將云計算定義如下:云計算是一個具有大量可用的虛擬資源(例如開發(fā)平臺、硬件以及I/O服務)的資源池。根據不同的負載這些虛擬資源可以動態(tài)地重新配置,從而以提高資源利用率。
云計算技術具有以下特點:
1) 云計算系統(tǒng)的服務性。云計算服務的實現(xiàn)機制一般對用戶透明,用戶要獲得需要的服務,是不需要了解云計算的具體機制的,即服務對用戶透明。
2) 云計算采用冗余方式提高可靠性。云計算系統(tǒng)提供數(shù)據處理服務給用戶,大量商用計算機集群組成云計算系統(tǒng)。如果PC數(shù)量不斷地增加,系統(tǒng)出現(xiàn)錯誤甚至崩潰的概率就會會不斷增大。在沒有專用的可靠性硬件支持的情況下,采用軟件的方式保證數(shù)據的可靠性,就必須使用數(shù)據冗余和分布式存儲方式。
3) 可用性高。自動檢測技術是云計算系統(tǒng)的一大特點,可以檢測失效節(jié)點,也可以排除失效節(jié)點,系統(tǒng)的正常運行并不受此影響。云計算系統(tǒng)服務質量的提高,主要是通過集成海量存儲和高性能的計算能力來實現(xiàn)的。
4) 高層次的編程模型。通過簡單學習后,用戶就可以編寫自己的云計算程序,在“云”系統(tǒng)上執(zhí)行,使用戶的需求得到滿足?,F(xiàn)在云計算系統(tǒng)主要采用Map-Reduce模型。
5) 經濟性。高性能的超級計算機的價格是很昂貴的,而組建一個和超級計算機性能相同大量商業(yè)機集群所需要的花銷要比超級計算機少得多。
6) 服務多樣性。云系統(tǒng)能夠提供給用戶各式各樣的服務,只要支付很少的費用,用戶就可以獲得不同的服務。
2 云計算的關鍵技術
云計算是一種數(shù)據密集型的,以數(shù)據為中心的超級計算。在數(shù)據存儲、數(shù)據管理、編程模式等多方面具有自身獨特的技術特點。本章介紹云計算主要的技術,包括數(shù)據存儲技術,虛擬化技術,數(shù)據管理技術,編程模式等。
2.1 海量分布式存儲技術
云計算存儲數(shù)據是采用分布式存儲方式實現(xiàn)的,這就可以保證高可靠性、高可用性和經濟性,數(shù)據存儲的高可靠性是采用冗余存儲的方式來保證的,用可靠的軟件來彌補硬件的不足,從而提供廉價可靠的海量分布式存儲服務和計算服務。另外,數(shù)據存儲技術必須具有高吞吐率和高傳輸率的特點,這樣云計算系統(tǒng)就可同時滿足大量用戶的需求,才能為大量用戶并行地提供服務。
云計算的數(shù)據存儲系統(tǒng)最著名的是谷歌研發(fā)的非開源系統(tǒng)GFS(Google File System) 和Hadoop開發(fā)團隊開發(fā)的開源系統(tǒng)HDFS(Hadoop Distributed File System)。
以GFS為例。GFS是可擴展的分布式文件系統(tǒng),能夠管理大型分布式數(shù)據密集型計算。GFS向用戶提供大量的高性能服務,系統(tǒng)是使用廉價的商用硬件搭建起來的。
客戶端為避免大量讀操作使Master成為系統(tǒng)瓶頸,所以不通過Master讀取數(shù)據。客戶端直接和塊服務器交互進行讀操作。如圖1。
即客戶端獲取Master的寫授權之后,數(shù)據向所有的數(shù)據副本傳輸,在所有的數(shù)據副本收到修改的數(shù)據后,便發(fā)出寫請求控制信號。在所有的數(shù)據副本更新完數(shù)據后,客戶端從主副本發(fā)出寫操作完成控制信號。
2.2 數(shù)據管理技術
云計算系統(tǒng)經常處理、分析大數(shù)據集并提供用戶高效的服務。所以,云計算數(shù)據管理技術必須能夠高效地管理大數(shù)據集。另一個云計算數(shù)據管理技術所必須解決的問題是如何在規(guī)模巨大的數(shù)據集中找到特定的數(shù)據。
云計算數(shù)據管理技術中最著名的當屬BigTable數(shù)據管理技術,在文獻[6]提出的。
以BigTable為例。BigTable數(shù)據管理技術設計者Google給出了如下定義:“BigTable是一種分布式存儲系統(tǒng),能夠管理結構化數(shù)據,可擴展成大規(guī)模數(shù)據,例如在數(shù)已萬計的服務器上達到PB(Petabytes)規(guī)模的數(shù)據。”
BigTable技術優(yōu)化了數(shù)據讀操作,采用列存儲的方式,提高了數(shù)據讀取效率。BigTab1e數(shù)據的存儲管理結構為:->string。 BigTable的基本元素由行,列,記錄板和時間戳組成。其中,記錄板是行的集合體。
以行關鍵字的字典順序對BigTable的數(shù)據項進行排列,將每行劃分到記錄板中。時間戳是一個64位的整數(shù),表示數(shù)據的不同版本。每個節(jié)點管理大約100個記錄板。列族是若干列的集合,BigTable中的存取權限控制在列族的粒度進行。
2.3 虛擬化技術
現(xiàn)在,當整個IT界正處于逐漸步入云計算時代的過程中,單個虛擬化技術雖然都為企業(yè)在IT方面帶來了利益,但是人們更看重的是基于所面對的各自不同的獨特環(huán)境發(fā)展出一個適合自己的全面的虛擬化戰(zhàn)略。我們需要考慮的是將所有可用的虛擬化技術作為一個整體來考慮和組合,以使從中生產的效益最大化。也就是說在云計算環(huán)境下,所有虛擬化解決方案都是集服務器、存儲系統(tǒng)、網絡設備、軟件及服務于一體的系統(tǒng)整合方案。虛擬化打開了云計算的大門,而云計算帶給大家的從本質上講正是虛擬化服務。從虛擬化到云計算的計算,我們實現(xiàn)了跨系統(tǒng)的資源動態(tài)調度,將大量的計算資源組成IT資源池,用于動態(tài)創(chuàng)建虛擬化的資源供給用戶使用,從而最終實現(xiàn)應用、數(shù)據和IT資源以服務的方式通過網絡提供給用戶,并以前所未見的高速和富有彈性地方式完成任務。
2.4 并行編程模式
云計算的編程模型必須保證后臺復雜的并行執(zhí)行和任務調度向用戶和編程人員透明,才能有效地利用云計算資源,使用戶能更輕松的享受云計算帶來的服務。云計算采用MapReduce編程模式,任務被自動分成多個子任務,通過Map和Reduce兩步實現(xiàn)任務在大規(guī)模計算節(jié)點中的調度與分配。
MapReduce是由Google公司發(fā)明,近些年新興的并行編程系統(tǒng)。它將并行化、容錯、數(shù)據分布、負載均衡等放在一個庫里 ,而將系統(tǒng)對數(shù)據的所有操作都歸結兩個步驟:Map階段和Reduce階段。程序員向MapReduce提交的所有操作處理作業(yè)程序中只需要定義Map函數(shù)和Reduce函數(shù),MapReduce系統(tǒng)即可根據輸入數(shù)據的大小以及作業(yè)的配置等信息,自動將該作業(yè)初始化為多個相同的Map任務和Reduce任務、分別讀取不同的輸入數(shù)據塊并調用Map函數(shù)和Reduce函數(shù)進行處理。
MapReduce系統(tǒng)主要由三個模塊組成,客戶端(Client)用于將用戶撰寫的并行處理作業(yè)提交至Master節(jié)點;主節(jié)點(Master)自動將用戶作業(yè)分解為Map任務和Reduce任務,并將任務調度到工作節(jié)點(Worker);工作節(jié)點(Worker)用于向master請求執(zhí)行任務,同時多個Worker節(jié)點組成的分布式文件系統(tǒng)用于存儲MapReduce的輸入/輸出數(shù)據。MapReduce主要應用于海量數(shù)據處理,其任務策略的一大特色既是優(yōu)先將任務調度至數(shù)據所在的節(jié)點。這種基于數(shù)據位置的調度方案,使得當請求任務的Worker節(jié)點保存有任務處理的數(shù)據時,Map任務可以在本地讀取并處理數(shù)據,從而降低了網絡的開銷,提高了系統(tǒng)性能。
MapReduce的工作模式,map負責分解任務,reduce負責將分解的任務進行合并。MapReduce的工作流如圖2所示。
3 Web數(shù)據挖掘
3.1 Web數(shù)據挖掘概述
Web 數(shù)據挖掘涉及Web、數(shù)據挖掘、計算機語言學、信息學等領域,是數(shù)據挖掘技術與Web結合的產物, 是一項綜合技術。
Web 數(shù)據挖掘是指從大量Web文檔結構和使用的集合C中發(fā)現(xiàn)隱含的模式p。如果將C看作輸入,將p看作輸出,那么Web挖掘的過程就是從輸入到輸出的一個映射,ξ: Cp[3]
3.2 Web數(shù)據挖掘的分類
Web數(shù)據挖掘就是利用數(shù)據挖掘技術從網絡文檔和服務中發(fā)現(xiàn)和提取信息, Web上各種形式的文檔和Web的結構內容及用戶訪問信息構成了Web數(shù)據挖掘的對象。根據挖掘對象的不同, 將Web數(shù)據挖掘分為內容挖掘、結構挖掘和使用挖掘3類。所謂內容挖掘是指在人為組織的Web上, 從文件內容及其描述中獲取有用信息的過程; 結構挖掘則是從人為的鏈接結構、文檔的內部結構和文檔URL中的路徑結構中獲取有用知識的過程;使用挖掘是通過挖掘相應站點的日志文件和相關數(shù)據來發(fā)現(xiàn)該站點上的瀏覽者和顧客的行為模式。
4 基于云計算平臺的Apriori關聯(lián)規(guī)則算法設計
4.1 算法基本思想
基于對分布式數(shù)據庫劃分的思想,把數(shù)據庫D劃分為:D1,D2…Dm,其中D1∪D2∪…∪Dm=D,D1∩D2∩…∩Dm=φ,劃分后將各個數(shù)據分塊分別發(fā)送到對應的服務器節(jié)點,每一個數(shù)據節(jié)點分別處理一個分塊,多節(jié)點可實現(xiàn)并行工作。Apriori算法對每個節(jié)點求解頻繁K-項集,求取對應數(shù)據中包含的局部頻繁項集。Apriori使用逐層迭代方法,即用K-項集搜索(k+1)-項集。用LK-1與自己作連接產生候選K-項集的集合Ck,得到K-項集LK。這一步由各個任務獨立完成,而最后由全局端進行由Ck得到Lk所進行的閥值操作,最后由全局控制端使用公式:
計算關聯(lián)規(guī)則的置信度。其中support_count(A∪B)是包含項集A∪B的事物數(shù),其值即為全局控制器得到頻繁項集的支持度計數(shù)。support_count(A)是包含項集A的事物數(shù),其值應是各個服務器節(jié)點包含A的事物數(shù)的累加。
4.2 算法描述
整個數(shù)據挖掘程序分為全局控制器(位于提交任務的機器上)和各個服務器節(jié)點任務端(位于各個服務器節(jié)點上)兩個部分。算法描述如下:
輸入:數(shù)據挖掘任務
輸出:關聯(lián)規(guī)則
全局控制器:
(1)divide(D);allocate(Serv_1,D1); allocate(Serv_2,D2);…allocate(Serv_m,Dn); //D=D1∪D2∪…∪Dn
(2)start(Serv_i);//i=1…n
(3)Serv_Ck=merge{Serv_C1,Serv_C2,…Serv_Cn};
(4)count(support(Serv_Ck_global));while(support(Serv_Ck_global)
(5)send(Serv_Ck)toServ_i;//i=1…n
(6)repeat(3)~(5);
(7)sum(support_count(AR_local));//i+1…n,AR_local為局部關聯(lián)規(guī)則
(8)confidence(Serv_global);while(confidence(Serv_global))
Delete(AR_global);return(AR_global)//AR_global為全局關聯(lián)規(guī)則
各個服務器節(jié)點任務端:
(1)generate(C1);
(2)Ck=generate(Ck-1);
(3)count(support_Serv_Ci_local);
(4)send(Serv_Ck) to Serv_C_global;
(5)Serv_C_global={Serv_Ck|check(Serv_Ck)=true};
(6)repeat(2)~(5);
(7)count(support(Serv_i_local));
(8)send AR_local to AR_global;
4.3 算法結果
在云計算環(huán)境中Apriori算法結果與經典Apriori相同。算法中對數(shù)據庫的每一個分塊分別挖掘雖然增加了通信成本,但也避免了分布式數(shù)據挖掘中將數(shù)據集中到一個數(shù)據倉庫所需的通信成本,也不會產生網絡瓶頸,總體上提高了效率。
5 結束語
本文首先介紹了云計算的定義和關鍵技術,如數(shù)據存儲技術、數(shù)據管理技術、虛擬化技術和并行編程模式技術。又介紹了Web數(shù)據挖掘的概念及研究的實際意義,最后討論了Apriori算法在云計算環(huán)境下的運行。
參考文獻:
[1] 維基百科.Cloud computing[EB/OL].[2009-03-01]./wiki/Cloud_computing.
[2] VAQUERO L M, RODERO-MERINO L, CACERES J, et al.A break in the clouds:Towards a cloud definition[J].ACM SIGCOMM Computer Communication Review,2009,39(1):50-55.
[3] 霍麗峰.Web數(shù)據挖掘技術的研究[J].研究與探討,2007(5).
云計算技術當前互聯(lián)網技術之一,其定義在互聯(lián)網技術行業(yè)還沒有統(tǒng)一的標準定義,但是通過目前各個產業(yè)中存在的各類云技術使用范疇進行有序的統(tǒng)一,不難得到云技術的模糊定義,云計算技術是以資源虛擬化為基礎網絡載體,以提供基礎框架、平臺、應用等服務為形式,整合大規(guī)模的計算、存儲、數(shù)據、應用等分布式資源,按照服務等級協(xié)議向使用戶收費的資源平臺服務模式。云計算技術作為一項互聯(lián)網資源平臺化分享的技術,它更多的是將電子計算機的硬件和軟件為基礎,進行虛擬化的信息平臺建立,并且以用戶的需求實現(xiàn)不同資源信息的提供,當前形勢下,云計算技術發(fā)展迅速,形成了很多成熟的技術,例如網格計算、海量存儲、Web服務、瀏覽器和虛擬技術等等。
2 云計算對于國企未來發(fā)展的影響
云計算技術作為當前各行業(yè)主要流行的網絡技術之一,已經被現(xiàn)代的許多工業(yè)生產管理活動所應用,我國國有企業(yè)作為社會主義市場競爭中的主體構成,更多時候代表著社會生產力先進水平,代表著我國經濟的發(fā)展方向,對于我國經濟的發(fā)展和社會的進步有著其他私營企業(yè)和民營經濟沒有的優(yōu)勢,新的市場經濟條件下,伴隨著社會主義市場經濟體制中外來企業(yè)、混合型企業(yè)的參入、民營企業(yè)的不斷壯大,我國國企面臨著嚴峻的競爭局勢。新的形勢下提高生產效率,提高管理工作生產工作的效率,成為我國國企提高本身綜合競爭力新的工作重點。根據現(xiàn)代化管理經營理念的戰(zhàn)略發(fā)展指導思想,不難得到要實現(xiàn)我國國企生產管理工作效率的提高,首要的就是進行傳統(tǒng)舊有管理工具和管理方式的改良,在我國舊有的傳統(tǒng)管理生產工作中,生產管理工作的信息多是以語音紙質的形式進行傳遞,新形勢下伴隨著競爭機制的加劇,原有的傳統(tǒng)信息傳遞方式已經無法適應當前瞬息萬變的競爭市場,尤其是信息搜集和匯集速度的不及時,極大程度上給我國國企相關生產管理政策的制定造成了一定的延遲,從競爭的源頭,我國大多數(shù)國企的經濟活動的開展已經落后于廣大的私營或者外來企業(yè),因而改變信息傳遞模式成為當前國企生產管理工作效率提高的一大重點。
云計算技術作為當前適用性強、信息傳遞速度快的新式網絡技術悶雷,其對于企業(yè)信息傳遞和企業(yè)經濟策劃制定有著極大的幫助。云計算技術通過服務器提供商提供的信息平臺,對于企業(yè)本身的各種生產銷售業(yè)務信息進行匯總整理,從而在最短的時間內整理出對企業(yè)現(xiàn)階段或者將來階段有用的信息,并且能夠對企業(yè)往昔的生產活動信息進行有序科學的列表式對比,從而以遠超傳統(tǒng)數(shù)據信息整理人員的工作成績,向廣大的國企管理人員提供清晰完整科學的企業(yè)市場數(shù)據信息支持,為國企下一步的生產策略的制定奠定基礎。
與此之外,云計算技術作為當前主流的企業(yè)應用型互聯(lián)網技術,其更大的效能在于信息的綜合平臺化。企業(yè)通過自己私營的云服務器或者服務商提供的服務器,通過在虛擬的平臺上建立企業(yè)本身的生產管理制度表,從而以互聯(lián)網技術獨有的動態(tài)感官功能,實現(xiàn)對企業(yè)各個不同階段數(shù)據的記錄比較,進而保證對企業(yè)的二十四小時不間歇監(jiān)察監(jiān)督工作,極大程度的提高了企業(yè)本身各個部門的工作效率。云計算網絡信息技術的一大優(yōu)勢便是其部署迅速,對于未來企業(yè)各項目的發(fā)展具有巨大的彈性擴展能力。云計算的規(guī)模并不是一成不變的,其服務器的節(jié)點可以伴隨著國企本身經濟的發(fā)展和規(guī)模的擴大從而擴多,并且及時的將新的企業(yè)生產節(jié)點或者部門節(jié)點拉入到國企整體的規(guī)劃管理活動當中,極大程度的提高了國企在進行前瞻性戰(zhàn)略核心觀念方面的工作效率,更節(jié)省了不少的工作時間。而且云計算技術本身有著強大的計算能力、高可用性能夠更快的相應市場信息的發(fā)展變化,從而實現(xiàn)高度虛擬化資源統(tǒng)一組織、組成一個龐大的資源平臺,統(tǒng)一提供服務,在引導企業(yè)更低消耗的同時,提高國企的利潤從而實現(xiàn)企業(yè)的戰(zhàn)略經營,形成國企可持續(xù)發(fā)展的產業(yè)模式。
3 云計算在我國國企中的應用現(xiàn)狀
我國云計算技術相比較發(fā)達國家,其發(fā)展的速度和發(fā)展開始時間均較落后。Google作為我國第一個運行Goolge云計劃的廠商,在我國大范圍各大高校合作建立云服務器聯(lián)絡站,從而建造起了自己的云計算服務網絡。而IBM\HP等大型公司緊隨其后,2008年我國無錫市政府率先與IBM合作開展了一系列的云計算項目合作,這標志著我國國企第一個應用云計算系統(tǒng)的特例出現(xiàn),隨后伴隨后我國南京政府開始建設國內首個“電子商務云計算中心”并且與廣大服務器廠商合作,實施布局全國范圍的云計算推廣方案。與此同時北京、山東、廣東等省市也開始加快了對云計算技術的相關服務的建設和云營,通過云計算搭建了政府辦公信息平臺,逐步完成了對電子政務、公共醫(yī)療、數(shù)字化城市等方面的應用部署,而此段時間我國多數(shù)國企業(yè)在政府的引領下開始大范圍的引用云計算數(shù)據信息技術,縱觀我國國企當前的云計算技術應用,不難發(fā)現(xiàn)我國多數(shù)國企云計算技術的應用范圍和應用深度相比較國外先進大型企業(yè),仍存在較大差距。
當前階段伴隨著我國經濟市場的發(fā)展,國內經濟市場中參與元素的多元化,國企所占的市場地位已經從原來一家獨大的局勢變成了多強競爭的局面,新的形勢下廣大國企管理者要從自己的工作角度出發(fā),從而著眼于當前市場的發(fā)展狀況,采用新的云計算網絡技術來提高國企的管理工作效率,提高生產消耗、提高生產效率、擴大銷售渠道、提高企業(yè)管理策略的制定實施,從而根本上提高國企的綜合競爭力,在新的條件下不斷的開發(fā)新技術,吸收新的人才理論,提高企業(yè)本身的品牌文化內涵,實現(xiàn)國企的可持續(xù)高速發(fā)展。
參考文獻:
云計算的特點
云計算提供了最可靠、最安全的數(shù)據存儲中心,用戶不用再擔心數(shù)據丟失、病毒入侵等麻煩。很多人覺得數(shù)據只有保存在自己看得見、摸得著的電腦里才最安全。其實不然,你的電腦可能會因為自己不小心而被損壞,或者被病毒攻擊,導致硬盤上的數(shù)據無法恢復,而有機會接觸你的電腦的不法之徒則可能利用各種機會竊取你的數(shù)據。反之,當你的數(shù)據保存在“云”端,你就再也不用擔心數(shù)據的丟失或損壞。因為在“云”的另一端,有全世界最專業(yè)的團隊來幫你管理信息,有全世界最先進的數(shù)據中心來幫你保存數(shù)據。同時,嚴格的權限管理策略可以幫助你放心地與你指定的人共享數(shù)據。這樣,你不用花錢就可以享受到最好、最安全的服務,甚至比在銀行里存錢還方便。
云計算對用戶端的設備要求較低,使用起來也較方便。你只要有一臺可以上網的電腦,有一個喜歡的瀏覽器,你要做的就是在瀏覽器中鍵入URL,然后盡情享受云計算帶給你的無限樂趣。你可以在瀏覽器中直接編輯存儲在“云”的另一端的文檔,不用擔心你的軟件是否是最新版本。對于廣電數(shù)字機頂盒來說,這個功能具有決定性的重要意義。在我國數(shù)字電視整體轉換過程中,采取的都是免費發(fā)放機頂盒的方式,這對于機頂盒的價格和成本的限制很大,低成本策略大大制約了機頂盒的硬件性能和中間件的性能,而云計算對于客戶端的硬件需求最低,能大大緩解整轉后的互動電視發(fā)展過渡期由于機頂盒性能和中間件性能不高,而影響增值業(yè)務的開展。
云計算可以輕松實現(xiàn)不同設備間的數(shù)據與應用共享。在云計算的網絡應用模式中,數(shù)據只有一份,保存在“云”的另一端,你的所有電子設備只需要連接互聯(lián)網,就可以同時訪問和使用同一份數(shù)據。以聯(lián)系人信息的管理為例,當你使用網絡服務來管理所有聯(lián)系人的信息后,你可以在任何地方用任何一臺電腦找到某個朋友的郵件地址,可以在任何一部手機上直接撥通朋友的電話號碼,也可以把某個聯(lián)系人的電子名片快速分享給好幾個朋友。當然,這一切都是在嚴格的安全管理機制下進行的,只有對數(shù)據擁有訪問權限的人,才可以使用或和他人分享這份數(shù)據。
云計算為我們使用網絡提供了無限多的可能。云計算為存儲和管理數(shù)據提供了無限多的空間,也為我們完成各類應用提供了幾乎無限強大的計算能力。云計算的業(yè)務應用,最后顯現(xiàn)為三網融合業(yè)務上的巨大優(yōu)勢。例如我們在PC上通過互聯(lián)網上傳的自拍旅游等視頻,先上傳到我們的數(shù)字家庭共享服務中的“云”服務器群,你可以選擇通過發(fā)P2P信息的方式,最后通過電視機頂盒和手機來播放,讓朋友和家人分享你的快樂和經歷。而云計算的資料存儲是指在“云”的服務器群中,你不必攜帶專用的設備,在任何一個連接云計算服務的客戶端設備(機頂盒、PC、智能手機等),你都可以通過瀏覽器進行登錄,來延續(xù)你還沒有完成的事情。
云計算在數(shù)字互動電視中的應用
云計算幫助運營商減少終端投資。云計算所需要的兩大基本條件,一是需要有瀏覽器;二是需要聯(lián)網。在廣電運營商現(xiàn)在所發(fā)出去的雙向機頂盒中,絕大部分都有瀏覽器的功能,并且需要連上廣電的網絡才能實現(xiàn)互動。云計算不需要安裝客戶端的軟件,直接通過“云”的高性能服務器群的運算,把結果直接傳輸?shù)綑C頂盒終端,以減少用戶在終端上的正版軟件授權投入。
云計算的分布式運算,可以大大緩解單個機頂盒性能不足而引起的業(yè)務承載問題。在云計算服務中,用戶不必擔心低價機頂盒的運算能力,機頂盒只承擔信息輸入和結果顯示的功能,而所有的運算過程,都在“云”的服務器群中去完成。云計算可以幫助運營商極大地減少雙向機頂盒的硬件投資,從而為雙向機頂盒的快速推廣打下基礎。
云計算幫助運營商減少服務器投資?,F(xiàn)在很多新推出的軟件或者PC游戲,都需要最新配置的高性能電腦才能開得動,更不要說數(shù)字機頂盒了,而云計算恰恰彌補了這個缺陷。云計算的絕大部分運算都在“云”的服務器群上,而終端只有信息錄入和顯示結果的功能,終端的性能提高跟“云”服務器的運算沒太大連鎖關系。
2計算機應用技術的實施階段
計算機應用技術在企業(yè)信息化的運用就是將企業(yè)傳統(tǒng)的工作流程等操作轉變成數(shù)字化,主要包括事物的處理、現(xiàn)金的流動和客戶交易等業(yè)務信息這幾個方面。企業(yè)利用計算機應用技術對企業(yè)工作中的各類信息進行合理的有效的整合,然后根據具體的實際情況制定對應的運作模式,以達到高效、快捷的工作模式,提高工作效率。企業(yè)對計算機應用技術的實施其實就是在實現(xiàn)管理自動化的過程,同時將企業(yè)的管理提升到遠程控制的階段。在企業(yè)一系列的工作流程中,生產過程相對來說更為重要,如果在這個環(huán)節(jié)運用計算機技術實現(xiàn)信息化自動化的控制,不僅能夠保證生產產品的質量,同時還能提高生產的效率。在企業(yè)的經營管理中,應該著重于抓重點,有效地利用這個點實現(xiàn)對整個企業(yè)管理上的優(yōu)化,保證企業(yè)各個環(huán)節(jié)的正常運作,提高工作效率,使得企業(yè)在激烈的市場競爭環(huán)境中占有一席之地。另外,企業(yè)在進行經營管理時可能還會出現(xiàn)一些非正?;男畔?,又被稱作是非結構化的信息。非結構化信息和結構化信息是互為對立的關系,非結構化信息主要包括電子文檔、電子郵件、視頻文件和多媒體。為了順應社會發(fā)展的趨勢,需要把計算機的一些網絡功能和實際的辦公工作進行有機的結合,才能讓計算機應用技術在企業(yè)信息化中充分地發(fā)揮其作用。企業(yè)從零件采購到產品的銷售這一系列的流程,使用計算機應用技術可以很好對其進行管理,提高工作的效率,這也是企業(yè)生產發(fā)展過程的必然趨勢。信息化管理利用的是企業(yè)內部的局域網、互聯(lián)網、數(shù)據庫等技術資源,對這些信息資源進行有效的管理和調控,可以將企業(yè)的外部供應和內部管理進行有機的結合統(tǒng)一,方便了企業(yè)的管理,同時還能提高企業(yè)在處理事情時的隨機應變的能力。
3企業(yè)采用計算機應用技術的優(yōu)勢
企業(yè)在經營生產過程中把計算機應用技術進行結合能夠載入更多基礎數(shù)據信息,可以逐漸加強企業(yè)經營基礎信息的精確程度和時效性,可以為企業(yè)領導做出企業(yè)的戰(zhàn)略規(guī)劃時提供引導。計算機應用技術實現(xiàn)了企業(yè)的自動化辦公,改變了傳統(tǒng)的工作形式,實現(xiàn)了無紙化辦公,有利于企業(yè)內部節(jié)約生產成本,提高管理的效率,簡化了很多工作流程,真正意義上達到了工作的高效便捷。對企業(yè)的工作流程進行合理的整理優(yōu)化,能夠在工作過程中不斷的消除一些存在的不合理的環(huán)節(jié),進而提高產品質量和工作的效率。計算機應用技術的使用能夠將所有的企業(yè)員工優(yōu)秀的工作經驗進行整理結合,能夠讓員工之間的優(yōu)勢資源互相流通學習,通過彼此之間的經驗的交流能夠很好的培養(yǎng)員工的學習能力和創(chuàng)新能力??茖W合理地調控企業(yè)各部門的配置是企業(yè)在信息化建設中表現(xiàn)出來的優(yōu)勢,可以充分地利用企業(yè)人力、物力、財力等各項資源,在有限的條件下達到資源的最大程度的優(yōu)化配置,大大提高企業(yè)生產和管理的效率,從而提高企業(yè)的核心競爭力。
云計算是物聯(lián)網發(fā)展的基礎。互聯(lián)網主要解決人與人的互聯(lián),連接了虛擬與真實的空間;而物聯(lián)網主要解決的是物與物之間的互聯(lián),連接了現(xiàn)實與物理世界。物聯(lián)網是以互聯(lián)網的發(fā)展為前提的。隨著物聯(lián)網應用的發(fā)展、終端數(shù)量的增長,會產生非常龐大的數(shù)據流,這時就需要一個非常強大的信息處理中心。傳統(tǒng)的信息處理中心是難以滿足這種計算需求的,在應用層就需要引入云計算中心處理海量信息,進行輔助決策。云計算作為一種虛擬化、分布式和并行計算的解決方案,可以為物聯(lián)網提供高效的計算能力、海量的存儲能力,為泛在鏈接的物聯(lián)網提供網絡引擎和支撐。
1 分布式緩存的發(fā)展
在互聯(lián)網應用剛起步時,各種平臺大多采用的是關系型數(shù)據庫。那時PC機昂貴、性能低下并且網絡不普及,而關系型數(shù)據庫因為處理能力強、數(shù)據安全可靠、一致性好等優(yōu)勢,一直處于主導地位,并發(fā)揮了重要的作用。隨著互聯(lián)網的發(fā)展,特別是WEB 2.0等交互式、個性化應用的出現(xiàn),數(shù)據量急劇增加,傳統(tǒng)的關系型數(shù)據庫已經無法滿足這種快速增長的存儲需求。為此不少IT服務提供商都設計開發(fā)了自己的存儲系統(tǒng),如亞馬遜在2007年10月份開發(fā)出的Dynamo就是其中非常典型的一種存儲系統(tǒng)(如圖1所示),作為狀態(tài)管理組件和存儲服務的基礎被用于眾多的亞馬遜的系統(tǒng)中。
對于Google,Amazon,淘寶這樣的互聯(lián)網企業(yè),每時每刻都有無數(shù)的用戶在使用它們提供的互聯(lián)網服務,這些服務帶來的是大量的數(shù)據吞吐量,在同一時間,并發(fā)的會有成千上萬的連接對數(shù)據庫進行操作。在這種情況下,單臺服務器或者幾臺服務器遠遠不能滿足這些數(shù)據的處理需求,單靠提升服務器性也已經改變不了該情況,所以唯一可以采用的辦法就是擴展服務器的規(guī)模。服務器規(guī)模擴展通常有兩種方法:一種是仍然采用關系型數(shù)據庫,然后通過對數(shù)據庫的垂直和水平切割將整個數(shù)據庫部署到一個集群上,這種方法的優(yōu)點在于可以采用基于關系型數(shù)據庫(RDBMS)的技術,但缺點在于它是針對特定應用,實施非常困難;另外一種方法就是Google和Amazon所采用的方法,拋棄關系型數(shù)據庫,采用Key-Value形式的存儲,這樣可以極大地增強系統(tǒng)的可擴展性。事實上,基于Key-Value的分布式緩存就是由于Google的BigTable,Amazon的Dynamo以及Facebook的Cassandra等相關論文的發(fā)表而慢慢進入人們的視野,這些互聯(lián)網巨頭在分布式緩存上的成功實踐也使之成為了云計算的核心技術。
2 分布式緩存技術
2.1 分布式緩存的部署方式
緩存服務器集群采用無主架構,所有服務器節(jié)點地位完全一致,互相之間采用網狀的全連接方式。應用通過調用分布式緩存提供的API對數(shù)據進行透明訪問,無需關心數(shù)據在后端服務節(jié)點的分布情況。數(shù)據在集群各節(jié)點均勻分布,集群數(shù)據處理能力隨集群中節(jié)點數(shù)量的擴充呈線性增長。集群通過數(shù)據的多副本機制能夠提高系統(tǒng)的可用性,某幾臺服務節(jié)點的宕機對應用的數(shù)據訪問沒有任何影響。服務器節(jié)點能夠根據應用的需求靈活配置數(shù)據是否持久化存儲。
分布式緩存同時提供操作控制臺,能夠登錄到任何一個服務節(jié)點并對集群的成員關系、訪問負荷、數(shù)據分布進行監(jiān)控和配置,同時通過操作維護臺可以完成分布式緩存集群軟件版本的安裝、升級和配置。目前分布式緩存提供基于命令行(telnet登錄)和基于B/S的圖形化運維方式。分布式緩存系統(tǒng)的具體部署如圖2所示。
2.2 分布式緩存功能架構
分布式緩存為應用程序提供了客戶端程序庫以及若干數(shù)據服務節(jié)點組成的服務集群,客戶端通過和數(shù)據服務節(jié)點通信形成可用服務器列表,并將應用程序提交的存取請求通過路由算法映射到一個確定的數(shù)據服務節(jié)點上,具體的功能架構如圖3中所示。
數(shù)據服務節(jié)點主要分成3個層次:通信支撐層、數(shù)據處理層和數(shù)據存取層。
通信支撐層主要負責通信協(xié)議適配,根據數(shù)據處理層中路由鏈路管理模塊的指示進行端口的偵聽和主動建鏈,同時完成底層通信數(shù)據包的發(fā)送和接收。
數(shù)據處理層包括路由鏈路管理模塊、訪問控制處理模塊以及數(shù)據遷移控制模塊。
數(shù)據存儲層提供內存/SSD/硬盤介質的三級存儲管理,具體可以根據應用的要求進行不同的配置。內存管理關注內存分配的效率以及如何避免內存碎片的形成,并根據數(shù)據訪問頻度進行最近最少使用算法(LRU)控制。SSD和硬盤存儲模式在保證訪問性能的同時提供數(shù)據的持久化存儲,在這兩種存儲模式下數(shù)據不會隨著服務節(jié)點重新啟動而丟失。數(shù)據存儲層提供數(shù)據生存期管理機制,能夠自動清理過期數(shù)據。
2.3 分布式緩存關鍵技術
分布式緩存在保證數(shù)據訪問可靠性、最終一致性的同時對應用提供高吞吐、低時延的訪問服務,通過增加數(shù)據服務節(jié)點即能實現(xiàn)處理能力的性能擴充,擴容過程對應用訪問完全透明。下面對分布式緩存涉及的關鍵技術進行介紹。
2.3.1 NRW多副本機制
分布式緩存通過多副本機制實現(xiàn)數(shù)據訪問的可靠性,同時多個副本之間的數(shù)據同步又會帶來性能和一致性的問題。我們采用NRW多副本技術來保證數(shù)據在可靠性、高性能訪問以及最終一致性之間取得平衡。圖4是NRW機制的示意圖,其中N是一個數(shù)據的副本數(shù),R代表一次成功的讀取操作中最小參與節(jié)點數(shù)量,W代表一次成功的寫操作中最小參與節(jié)點數(shù)量。當分布式緩存的訪問模型滿足R+W >N時就能保證數(shù)據訪問的可靠性和一致性。
R和W直接影響性能、可用性和一致性。如果W設置 為 1,則分布式緩存集群中只要有一個節(jié)點可用,就不會影響寫操作;如果R 設置為1,則分布式緩存集群中只要有一個節(jié)點可用,就不會影響讀請求。但顯而易見R 和W值過小都會對影響數(shù)據訪問的性能和可用性,為兼顧性能、可用性和一致性,這兩個值一定要合理設置。
2.3.2 一致性Hash和虛節(jié)點
一致性Hash需要首先求出分布式緩存數(shù)據服務器(節(jié)點)的哈希值,并將其配置到0~232的圓上,用同樣的方法求出存儲數(shù)據的鍵的哈希值,并映射到圓上。然后從數(shù)據映射到的位置開始順時針查找,將數(shù)據保存到找到的第一個服務器上。如果超過232仍然找不到服務器,就會保存到第一臺緩存數(shù)據服務器上。因為數(shù)據節(jié)點服務器的機型并不統(tǒng)一,其性能和容量是不同的,可以使一個物理節(jié)點負責多個Hash區(qū)間的處理,使高端機器能夠被充分利用。在出現(xiàn)熱區(qū)時,可以將過熱的Hash區(qū)間以虛擬節(jié)點的方式放在負荷較低的物理節(jié)點上。
分布式緩存平臺結合了一致性Hash和虛擬節(jié)點的特點并加以改進,形成了如圖5的方案:將232的Hash空間等分為若干分片,每個分片即是一個虛節(jié)點,根據各物理節(jié)點性能差異配置處理不同數(shù)量的虛節(jié)點,這些虛節(jié)點在物理節(jié)點上的部署關系即形成虛節(jié)點的路由。
通過一致性Hash和虛節(jié)點相結合的方式,實現(xiàn)了數(shù)據在集群的均勻分布,同時也實現(xiàn)了數(shù)據服務器節(jié)點熱點的消除。
2.3.3 智能路由交換
路由是指分布式緩存集群中虛節(jié)點在數(shù)據服務節(jié)點上的分布情況。分布式緩存平臺構建了一個分布式鎖同步系統(tǒng)來存放全局路由表,這張路由表是分布緩存集群路由管理的基準表,路由變更時必須要首先修改這張路由表中對應的路由記錄。
為避免每次路由查找都需要查詢分布式鎖服務,各數(shù)據服務節(jié)點在本地同時存儲全局路由表,路由查找時可直接在本地進行。這樣帶來的一個問題是本地路由記錄可能已經過期,因此在路由記錄中增加修改時間戳來進行路由記錄版本的控制,舉例說明:
(1)第10號虛節(jié)點的路由信息是:存在3個副本,依次存放在服務節(jié)點A、B、C上,該條路由信息在集群中所有節(jié)點本地都有存儲。
(2)A節(jié)點發(fā)生故障宕機,在A宕機期間,操作員對10號虛節(jié)點的路由記錄進行了手工調整:仍然是3個副本,依次存放在服務器節(jié)點A 、D、C上,集群中除A節(jié)點外都完成了本地路由記錄的更新。
(3)此后A恢復了服務,A節(jié)點本地10號虛節(jié)點的路由記錄成為一個過期的記錄,當A節(jié)點收到落在10號虛節(jié)點上的數(shù)據讀寫請求時,就會對B、C節(jié)點的副本進行訪問,訪問時會帶上本地10號路由記錄的時間戳,B、C節(jié)點收到訪問請求后會立即通知A路由信息已經過期,通過這樣的路由交換機制,A快速地完成了本地路由記錄更新。
上述例子中路由交換是通過數(shù)據訪問請求被動觸發(fā),同時集群中每個節(jié)點的路由管理模塊也會定時啟動路由交換,通過這種類似病毒傳染式的智能路由交換,路由變更能在集群所有節(jié)點中快速生效??蛻舳薃PI的路由記錄也采用同樣的方式:客戶端API本地緩存路由信息表,在數(shù)據訪問的同時完成和服務節(jié)點的路由交換,大大提高了路由查找的效率,降低了數(shù)據訪問的時延。
2.3.4 成員關系維護和故障檢測
分布式緩存將節(jié)點分成兩類:種子節(jié)點和普通節(jié)點。
種子節(jié)點是系統(tǒng)配置時,需要預先從所有節(jié)點中選出若干個節(jié)點,它們的職責是指揮系統(tǒng)的鏈路建立和拆除等。
普通節(jié)點啟動后,根據配置向種子節(jié)點主動建鏈,種子節(jié)點對連接上的普通節(jié)點進行統(tǒng)一管理,根據一定的原則比如按照IP數(shù)值的大小,通知普通節(jié)點完成互相之間的建鏈,種子節(jié)點互相之間也根據這個原則完成兩兩之間的連接。圖6描述集群成員關系建立的過程。
(1)分布式緩存當前有節(jié)點1、2、3、5共4個節(jié)點,相互之間兩兩存在鏈路,節(jié)點1、2是種子節(jié)點,節(jié)點0、3、5是普通節(jié)點。
(2)普通節(jié)點4新加入緩存集群,它首先根據配置主動連接種子節(jié)點1和節(jié)點2。
(3)種子節(jié)點1發(fā)現(xiàn)當前有普通節(jié)點0、3、5和它建立了鏈路,當普通節(jié)點4連接成功后,它根據節(jié)點大小原則指揮節(jié)點4連接普通節(jié)點 0 和3,同時指揮原有普通節(jié)點5連接節(jié)點4。
分布式緩存通過上述機制維護集群中節(jié)點的成員關系,最終在各節(jié)點間形成網狀的全連接模型,兩兩之間具備通信鏈路,任何節(jié)點故障和恢復都能夠快速被集群中其他節(jié)點檢測到。
3 分布式緩存助力物聯(lián)網平臺云化
3.1 分布式緩存的優(yōu)勢和解決的問題
分布式緩存具有明顯的技術優(yōu)勢。分布式的架構從架構上保證了良好的擴展性,當性能不夠時,可以輕松地通過添加新節(jié)點的方法擴展性能;因為良好的擴展性,所以分布式緩存的容量可以隨著節(jié)點規(guī)模的增大而呈線性增加,容量不會成為系統(tǒng)的瓶頸;分布式緩存采用的是基于Key-Value的簡單存儲方式,緩存的架構和以內存為基礎的訪問方式使得分布式緩存性能非常高,單節(jié)點每秒可以達到24萬多次的讀寫操作;分布式緩存所使用的多份副本復制的方法,避免單點故障;同時無中心化的架構和一致性Hash的數(shù)據分布算法,使得局部節(jié)點的損壞不會影響整體集群的可用性,把故障的影響降到最低。
目前的應用在部署運行過程中常會遇到一些問題:第一,單節(jié)點不能滿足性能要求時,需要擴展到多個節(jié)點,通常采用按號段的方式進行擴展,此種擴展方式不具有通用性,與各個應用密切相關,開發(fā)和維護的成本也較高;第二,在不同的物理節(jié)點的應用上共享數(shù)據,通常通過文件的方式或同步的方式進行共享,但是這在性能和一致性的處理上存在較大的風險和困難;第三,因為多個節(jié)點同時訪問數(shù)據庫,使得數(shù)據庫和磁盤I/O成為系統(tǒng)的瓶頸,通常使用單節(jié)點的緩存方式來解決,這樣一方面會造成系統(tǒng)資源的浪費,另一方面也使各個節(jié)點中緩存一致性的處理也非常復雜;第四,應用節(jié)點的應用程序意外退出重啟動后,如何保證已有的會話不掉線,往往通過寫文件的方法實現(xiàn),這時磁盤I/O以及系統(tǒng)初次的加載都存在性能瓶頸。把分布式緩存引進應用后,可以方便地幫助應用解決這些問題。應用通過調用分布式緩存提供的API接口,把關鍵的數(shù)據放到分布式緩存中,而自身重點關注應用邏輯的處理,這樣可以輕松打造出高性能的、可擴展的、高可靠的分布式應用系統(tǒng),通過標準接口的封裝,對外提供云服務。
3.2 分布式緩存在物聯(lián)網中的應用
物聯(lián)網的出現(xiàn)是信息通信技術(ICT)的新挑戰(zhàn)。物聯(lián)網無所不在,它可以使所有的物體,從洗衣機到冰箱、從房屋到汽車通過物聯(lián)網進行信息交換。物聯(lián)網技術融入了射頻識別(RFID)技術、傳感器技術、納米技術、智能技術與嵌入技術。物聯(lián)網技術將是改變人們生活和工作方式的重要技術。物聯(lián)網主要包括3個層次,如圖7中所示。第1個層次是傳感器網絡,也就是目前所說的包括RFID、條形碼、傳感器等設備在內的傳感網,主要用于信息的識別和采集;第2個層次是信息傳輸網絡,主要用于遠距離無縫傳輸來自傳感網所采集的巨量數(shù)據信息;第3個層次是信息應用網絡,該網絡主要通過數(shù)據處理及解決方案來提供人們所需要的信息服務。
物聯(lián)網業(yè)務網關屬于第3個層次,如圖8所示。它是實現(xiàn)物聯(lián)網應用和物聯(lián)網終端智能連接的橋梁,能夠提供接入認證、智能路由、業(yè)務計費、能力接入、服務質量(QoS)服務保障等核心功能。支持通用分組無線業(yè)務(GPRS)、短信、有線接入等多種網絡接入方式。物聯(lián)網業(yè)務網關匯聚所有的機器到機器(M2M)終端消息,除了支持標準協(xié)議終端的消息處理外,對非標準協(xié)議終端也提供IP層路由轉發(fā)和業(yè)務鑒權功能。因此對業(yè)務網關相關的性能提出了極高的要求。
中興通訊物聯(lián)網業(yè)務網關采用多模塊架構,通過引入云計算分布式緩存平臺,使其具有極高的吞吐率,保證了網關的高并發(fā)處理能力,系統(tǒng)在兩個刀片機框滿配置的情況下,可達到18萬條/秒的報文轉發(fā)速率。分布式緩存的應用,使系統(tǒng)支持數(shù)據動態(tài)遷移,在個別節(jié)點故障不會造成事務的中斷。
4 結束語
物聯(lián)網與云計算存在著密不可分的關系。一方面,物聯(lián)網的發(fā)展離不開云計算的支撐。從量上看,物聯(lián)網將使用數(shù)量驚人的傳感器(如數(shù)以億萬計的RFID、智能塵埃和視頻監(jiān)控等),采集到的數(shù)據量驚人。這些數(shù)據需要通過無線傳感網、寬帶互聯(lián)網向某些存儲和處理設施匯聚,而使用云計算分布式緩存等系列技術來承載這些任務具有非常顯著的性價比優(yōu)勢;從質上看,使用云計算系列技術對這些數(shù)據進行處理、分析、挖掘,可以更加迅速、準確、智能地對物理世界進行管理和控制,使人類可以更加及時、精細地管理物質世界,從而達到“智慧”的狀態(tài),大幅提高資源利用率和社會生產力水平。可以看出,云計算憑借其強大的處理能力、存儲能力和極高的性能價格比,很自然就會成為物聯(lián)網的后臺支撐平臺。另一方面,隨著物聯(lián)網針對智能交通、智能醫(yī)療、智能電網等領域解決方案的落地,物聯(lián)網將成為云計算最大的用戶,為云計算系列技術取得更大商業(yè)成功奠定基石。
城市現(xiàn)代化的標準之一就是燃氣管道化,我國日益增長的燃氣與現(xiàn)有管道設施之間不成比例,燃氣市場還有較大的市場份額,由于燃氣基礎設施因素尚未被有效開發(fā)。與此同時燃氣行業(yè)具有一定的壟斷性質,沒有有效的市場競爭,這一模式也給行業(yè)帶來了不利影響。在管理及運營方面沒缺乏技術創(chuàng)新,一定程度上對燃氣行業(yè)發(fā)展形成了阻礙。市場情況是不斷在變化的,燃氣產品在沒有完全的占有市場前,相關替代產品就已經出現(xiàn),如電力,太陽能,集中供熱對燃氣行業(yè)形成了一定的挑戰(zhàn)。對燃氣行業(yè)而言,要加速推進改革的步伐,創(chuàng)新管理同時加大新技術在運營中應用。
一、信息技術的運用對燃氣運維的重要性
社會經濟的發(fā)展,環(huán)境狀況日益變的惡劣,頻繁發(fā)生的污染事件已經讓人們意識到了清潔能源及保護環(huán)境的重要性。作為一種能源和原料,燃氣在不同領域不同用途可以發(fā)揮不同的社會、環(huán)境及經濟效益。如何快速有效定位需求群體,為客戶提供優(yōu)質、高效能源,城市管網建設工作如何開展,已有的管網如何運營都是管理者要考慮的問題。
計算機技術應用主要體現(xiàn)在公司生產運營及銷售。信息技術在燃氣行業(yè)的運用主要是通過相關軟件及某些具有代表性的技術,比如數(shù)字技術,ERP軟件,地理信息系統(tǒng)。通過相關軟件運用可以對現(xiàn)有的市場現(xiàn)狀進行預測,建立不同情況下的需求模型,對于影響燃氣需求的影響因素進行分析,尋找供求之間的平衡點,通過對已有數(shù)據進行整理和分析利用大數(shù)據技術挖掘數(shù)據背后有用信息。并對市場情況進行實時的監(jiān)測與預測,并對市場中的風險進行一定的預測[1]。
二、信息技術的應用
2.1安全及收益
信息技術的應用一方面是把現(xiàn)實問題轉化為數(shù)學模型,可以將復雜問題簡單化模型化,簡單是相對于計算機而言的。第二則是對于已經建立的數(shù)學模型進行求解。對于模型建立要求既能夠體現(xiàn)出現(xiàn)實問題的特征,同時又要便于用數(shù)學的方法解決。實際上對于二者而言很難找到真正意義上的平衡點,在生活實H中只能從實際情況出發(fā),盡可能的滿足某一方面或者是某些方面。
計算機信息技術在燃氣管網中的運維主要是對相關的模型進行優(yōu)化、求解,計算。信息技術的運用有助于對相關量進行分析,如管道的流量。對于燃氣管優(yōu)化,其基本特點在于模型之中等式約束與不等式約束二者是并存的,線性與非線性約束同樣也是并存的。
應用在管網安全及收益方面。現(xiàn)有的管道運行時間長短不一,管道性能狀況各異。某些因素在短時期內是無法改變的,這一類因素將其稱之為不可變因素。信息技術運用主要與剩下部分可變因素有關。比如,對于某一條管道的用戶流量與價格,適用運行方案,管道周邊環(huán)境及管內氣體運行環(huán)境等。通過對運行過程相關情況了解可以從相應方面進行改進,從而降低運行成本,提升收益。對于可變因素的影響可以從以下方面來考慮。建立模型并對不同用戶劃分不同等級,以此達到結構優(yōu)化的目的。以用等級模型為基礎進一步對用戶燃氣使用量模型進行優(yōu)化,從而達到社會與經濟效益提升的目的。用戶模型建立的內容可以從以下方面來考慮,用戶類型,燃氣使用量大小,用戶在區(qū)域上的分布,燃氣價格,燃氣質量及穩(wěn)定性,合同履行情況。在綜合考慮的基礎上對用戶進行劃分,并以此作為供氣的相關依據,并對用戶的用氣量模型進行優(yōu)化,達到社會效益與經濟效益的平衡點。
2.2數(shù)字化管網的建設
數(shù)字化管網是自然管道一種虛擬表現(xiàn)的方式,將人文與自然的信息融合其中。數(shù)字化管網應該是一個集成的系統(tǒng),其特點在于空間性,數(shù)字性與集成性相互融合。數(shù)字化管網包含的信息有管網自身的布局情況,管網運行及建設情況,管網維護情況,管道沿線社會人文情況,每個方面都可以作為單獨的系統(tǒng),數(shù)字化則是將不同的系統(tǒng)集中在一起,并通過便捷作用的界面為管理人員的工作提供相應服務和支持。
數(shù)字化管道建設首先要完善各個子系統(tǒng)的資料,這些數(shù)據資料作為基礎為整體系統(tǒng)的運行提相應的支撐。資料在完善過程中會汲到不同技術的運用。如GIS,該項技術的作用主要體現(xiàn)在其數(shù)據及圖象管理為系統(tǒng)提供的是最原始的信息資料,管線在地圖上的位置及相關的屬性都能在此方面體現(xiàn),如管長,管徑,規(guī)格,材質等。在后期查詢時能夠一目了然。對于存在一定風險的管道線路,可以在實時監(jiān)測的基礎上進行分析,對風險提前做好相應準備工作,并對事故及危險的應急預案形象化表述,為運營安全及管理科學、規(guī)范化提供保障。最后一點也是關鍵的一點,如果某一處線路出現(xiàn)了故障,計算機能夠對該區(qū)域進行分析計算,給出影響最小的施工方案。其中涉及到的數(shù)據包括了該區(qū)域的用戶不同等級,用戶數(shù)量,可以關閉的閥門,故障管道情況,搶修應該做好哪些方面的準備,管道的有效使用期限及使用情況,周邊的工作人員的分布情況,維修的相關的記錄等,做到有備無患。由于是電子資料,應用較方便,常用的功能如平移,縮放,圖層管理等一應俱全。
數(shù)字化建設工作的第二步是結合現(xiàn)有的可用資料如設計,施工相關數(shù)據并對數(shù)據進行校對,對于新投入使用的管道,工作人員要對不完整的信息進行補充,如材料,連接,設備選型,管件等方面。為后期工作奠定基礎,避免由于信息不完整造成的工作失誤[2]。
最的一步同是對管道沿線環(huán)境情況的相關數(shù)據錄入,此方面數(shù)據要考慮到風險相關方面問題,為風險評價及處理工作奠定基礎[3]。
2.3數(shù)據挖掘
對于數(shù)據挖掘定義為從大量完備隨機的數(shù)據提取隱含于其中的,事先不為人知潛在有用知識的過程。從定義可以看出,顯著的特點就是一定量的數(shù)據,對于燃氣行業(yè)而言,市場的規(guī)模越大,數(shù)據整體的量就越大,數(shù)據挖掘不僅僅需要用戶的信息,還需要與用戶相關的信息。不同信息疊加在一起就形成龐大的數(shù)據流。將這些數(shù)據集中在一起并運用某種分析方法,就可得出隱藏于其中的潛在有價值信息??梢允菙?shù)學方法可以是非數(shù)學的方法,對于被挖掘的信息而言,可以用在管理,決策,系統(tǒng)優(yōu)化等方面。
數(shù)據的功能主要體現(xiàn)在以下幾個方面,首先是關聯(lián)分析,包括了簡單,時序,因果關聯(lián),指的是不同數(shù)據之間存在的某種聯(lián)系,并且這種聯(lián)系能為生產帶來一定好處。其次是概念描述。再者是聚類,將數(shù)據以不同的標準分為不同類型,并提取其中的有用信息。最后是分類及預測、偏差檢測。數(shù)據挖掘在燃氣行業(yè)的應用主要體現(xiàn)在客戶細分,燃氣銷售及預測,管網維修等部分。管理工作的逐漸成熟,工作重點開始向用戶細分方向發(fā)展,其目的在于確定被服務群體中的優(yōu)質客戶資源及如何有效維護好這部分資源,對于有潛力的資源要做好后期開發(fā)工作。用戶細分在營銷整個過程中一直都受到極高重視,早期細分的標準較為寬泛,得到的數(shù)據也只是一些基本的有直接關系的數(shù)據,無論從內容還是數(shù)據量上來看,都難以滿足更深層次發(fā)展的需要。而計算信息技術的應用可以有效的處理大量數(shù)據,在細分程度上可以進入到更深層次。獲取的信息也更有價值。
2.4智能巡檢系統(tǒng)
對于燃氣行業(yè)維修工作是不可避免的,同是也是整體工作中重要的組成部分,一但發(fā)生事故,將對人民的生活與安全造成嚴重影響。傳統(tǒng)的巡檢工作主要是人工巡檢并做相應記錄,存在信息傳遞過程失真,管理人員自身技能及素質,工作效率不高的情況。計算機及信息運用,可以將不同技術結合在一起,在維修過程中將現(xiàn)場資料實時上傳,系統(tǒng)存儲并進行相應的分析,為后期隱患的排除,風險預測,技術及施工方案的改進奠定基礎。
三、結束語
管網運維是一項系統(tǒng)、復雜的工作,信息技術的運用為行業(yè)發(fā)展提供了技術上的支撐。技術的運用離不開人,管理者在技術運用的同時要優(yōu)做好管理工作。確保為廣大用戶提供優(yōu)質高效的服務,才能在市場發(fā)展及競爭中立于不敗之地。
參 考 文 獻
一、 引言
隨著海量數(shù)據信息時代的到來,云計算已經成為新一代的主流計算模式,受到企業(yè)信息化管理人員的關注[1]。與傳統(tǒng)計算機技術相比,云計算具有很多優(yōu)點,分別是高耦合性、適用于處理數(shù)據密集型業(yè)務、實施高效率云端數(shù)據管理[2]。云環(huán)境包含了成千上萬臺計算機,并通過矩陣方式連接,計算能力成數(shù)量級上升,遠比大型的服務器計算能力更強,性能也更加穩(wěn)定[3]。
企業(yè)信息系統(tǒng)部署于云計算平臺,可以虛擬化硬件資源,按需為用戶提供服務,開展個性化定制服務,進一步提升企業(yè)資源利用率[4]。
三、云計算技術及其在企業(yè)信息化中的應用
云計算最為關鍵的技術是虛擬化,利用虛擬化將所有的硬件設備資源集成在一起,為企業(yè)信息化系統(tǒng)提供一個集成的、統(tǒng)一的、并發(fā)的、虛擬的運行平臺,這些平臺根據虛擬化程度可以劃分為三個層次,分別是基礎設施即服務(IaaS)、平臺即服務(PaaS)和軟件即服務(SaaS)?;A設施即服務(IaaS)為企業(yè)信息系統(tǒng)直接分配硬件資源,比如CPU、網絡帶寬、存儲區(qū)域等,無法節(jié)約資源和提高使用效率[5]。平臺即服務(PaaS)按照用戶的訪問調度系統(tǒng),共享硬件資源,提高了系統(tǒng)并發(fā)性、資源利用率[6]。軟件即服務(SaaS)為用戶提供最高的并發(fā)服務,多個用戶能夠同時共享CPU、帶寬資源和云平臺[7]。
企業(yè)信息化系統(tǒng)在構建云計算平臺時,可以根據企業(yè)的具體需求,按需購買服務,比如可以僅僅購買應用軟件,這樣就不需要支出基礎設施和平臺費用;如果企業(yè)的安全需求、數(shù)據機密性較高,也可以購買獨立的應用服務器或存儲器,獨享硬件資源。
二、企業(yè)信息化發(fā)展應用
云計算為企業(yè)信息化發(fā)展提供了強大的支撐,可以有效提升企業(yè)辦公虛擬化和共享化。目前,針對企業(yè)信息化發(fā)展進行調研和分析,許多企業(yè)在引入云計算技術時,這些企業(yè)多傾向于購買應用軟件服務,與其他企業(yè)共享平臺和基礎設施,常用的應用軟件包括公文管理系統(tǒng)、人力資源管理系統(tǒng)和OA系統(tǒng)。
OA系統(tǒng)引入云計算技術之后,可以為用戶分配一個云端賬號,用戶可以通過PC機、智能手機、平板電腦等設備登錄云端賬號,進入云計算服務系統(tǒng),實現(xiàn)企業(yè)辦公協(xié)作配合、郵件傳輸、信息共享、個性化設置、工作管理、代辦事項管理等功能。云計算服務系統(tǒng)在公文管理系統(tǒng)中應用時,可以將政企單位發(fā)送的公文、接收的公文進行有效的歸檔,提高公文管理系統(tǒng)的訪問、存儲效率,節(jié)約政企單位的信息化建設資金。
企業(yè)信息化系統(tǒng)越來越多,并且分類也逐漸引入了許多先進的數(shù)據挖掘、工作流、智能存儲等技術,在為企業(yè)提供便利的同時,也需要企業(yè)采購專門的計算機設備,建設專業(yè)化機房,支撐信息化軟件運行。
四、結束語
云計算集成了并發(fā)計算、網格計算、虛擬化、負載均衡、大數(shù)據存儲等多種先進的技術,其可以虛擬化企業(yè)信息系統(tǒng)硬件資源,將企業(yè)常用的OA系統(tǒng)、公文系統(tǒng)、人力資源系統(tǒng)等集成到云平臺上,共享硬件存儲資源和網絡資源,實現(xiàn)并發(fā)處理和服務,在普及信息化系統(tǒng)的同時節(jié)約了企業(yè)資金,具有重要的作用。
參 考 文 獻
[1] 黃云峰. 虛擬化、云計算在地稅信息化系統(tǒng)中的應用探討[J]. 中小企業(yè)管理與科技旬刊, 2015, 37(30):160-160.
[2] 羅愛玲, 徐宇亮, 耿應春. VMware服務器虛擬化在企業(yè)管理中的應用[J]. 科技創(chuàng)新與應用, 2014, 31(2):33-34.
[3] 楊華生. 虛擬化技術在財政信息化建設中的應用研究[J]. 企業(yè)科技與發(fā)展, 2014, 42(9):65-66.
[4]劉川意,林杰, 唐博. 面向云計算模式運行環(huán)境可信性動態(tài)驗證機制[J]. 軟件學報, 2014, 25(3):662-674.
隨著信息數(shù)據不斷的發(fā)展,信息及數(shù)據的密度逐漸提高,云計算也成為一大熱點逐漸進入人們視線,已經是目前最受關注的話題及新技術?,F(xiàn)階段,云計算被廣泛的應用于互聯(lián)網及計算機行業(yè),包括微軟、谷歌、IBM等大企業(yè)都逐步退出了自己的云搜索引擎、云計算平臺、云網絡信箱等。云計算核心技術有其獨特的優(yōu)勢,在廣電系統(tǒng)中也有較好的發(fā)展前景。
一、概論云計算理念及起源
在傳統(tǒng)的信息技術模式中,如果企業(yè)要建立起一套IT系統(tǒng),不光要購買相應的硬件設施,還要具備購買軟件的許可證,然后請專業(yè)的服務人員進行維護,保證系統(tǒng)的正常運行。假如有一種服務,可以專門的為多數(shù)企業(yè)提供其所需的相應硬件及軟件設施所帶來的服務,那么企業(yè)就能夠用少量的租金租賃到相應的服務,從而促使企業(yè)不用花費大量資金購買相應的設備提供服務的費用,有效降低了企業(yè)成本。通過科研人員的不斷探索,云計算誕生了。谷歌是最早提出云計算概念的企業(yè),因為谷歌早期的創(chuàng)業(yè)者并沒有大量資金購買那些比較昂貴的商用服務器進行搜索引擎的設計,僅能選擇比較廉價的Pc作為業(yè)務需求支撐,利用自己的才智最終成功的利用軟件優(yōu)化技術將相應的PC集群的穩(wěn)定性做到了高于商用服務器,更好的支撐業(yè)務,在成本上卻大大低于商用服務器標準配置的費用。
二、云計算核心技術的優(yōu)勢
1.擁有科學簡便的編程模型
MapReduce為谷歌所開發(fā)的Python、java、c++變成模型,為一種簡化了的分布式的編程模型及高效任務調度模型,可以對大規(guī)模的數(shù)據及進行并行運算,非常方便。
2.具有海量數(shù)據分布存儲的技術
云計算系統(tǒng)主要是大量服務器組成的,能夠為大量用戶進行服務,因而云計算系統(tǒng)進行數(shù)據存儲的時候主要采用的是分布式存儲方式,利用冗余存儲這種方法能夠使相應數(shù)據可靠性得到充分的保證。目前,云計算系統(tǒng)當中使用比較廣泛的數(shù)據存儲系統(tǒng)為谷歌公司的GFS及Haddoop團隊所開發(fā)的GFS開源實現(xiàn)HDFS。
3.擁有海量數(shù)據的管理技術
云計算要分析并處理海量的、分布的數(shù)據,因而,數(shù)據管理技術一定要可以對大量數(shù)據進行高效管理。云計算系統(tǒng)當紅總的數(shù)據管理技術通常采用的都是谷歌工期開發(fā)的BigTable數(shù)據管理技術以及Hadoop團隊所開發(fā)的開源數(shù)據管理模塊,也就是HBzse模塊。
4.高效的虛擬化技術
通過虛擬化技術可以將軟件應用同底層硬件的隔離,虛擬化技術一方面包括將單個資源劃分成若干個虛擬資源分裂模式,另一方面也包括將多個資源整合成一個虛擬資源聚合模式。按照虛擬對象能夠把虛擬化技術分成計算虛擬化、存儲虛擬化、網絡虛擬化等幾種。
5.擁有較強的云計算平臺管理技術
云計算系統(tǒng)平臺管理技術能夠使大量服務器進行協(xié)同工作,對相應業(yè)務進行方便快捷的開通和部署,及時發(fā)現(xiàn)并恢復系統(tǒng)故障,通過自動化、智能化方法使大規(guī)模系統(tǒng)運營真正實現(xiàn)。
三、云計算在廣電系統(tǒng)中的應用
云計算這項新技術的優(yōu)勢通過在互聯(lián)網中的應用已經得到了充分的展示,可是廣電云平臺建設絕不可以照搬照抄互聯(lián)網模式,一定要采取因地制宜的方式植入廣電行業(yè)資深特色,還必須對諸多問題進行持續(xù)的探討及完善。
(1)云計算契合了廣電需求
在我國三網融合工作得到不斷推進的背景下,現(xiàn)階段全國第一批的12個三網融合試點的名單已經公布了,三網融合工作也真正進入到了實施的階段。在這種情況下,電視臺、有限網絡公司、電臺不僅應儲存并管理海量的信息內容資源,還要整合視頻、數(shù)據等多種多樣的信息資源,提供一種綜合性的信息服務,從而提高了對存儲容量、計算效率等方面的要求。云計算能夠有效實現(xiàn)共享硬件資源,架構扁平化的網絡,不僅能夠有效降低成本,還可以充分實現(xiàn)存儲海量內容資源及分布式計算。廣電行業(yè)對資源整合的需求同云計算獨有的優(yōu)勢實現(xiàn)了高度契合,因而在未來,廣電行業(yè)中一定會廣泛的應用前景。
2.在廣電系統(tǒng)中應用云計算的安全性
廣電行業(yè)是一個有著較高的知識產權行業(yè),在目前所使用的安全技術的前提下,能夠利用云計算技術,加強數(shù)字電視播出的安全性。云計算技術當中具有最安全、最可靠的數(shù)據存儲中心,所以用戶就不用在擔心丟失數(shù)據、病毒入侵等問題。利用云計算的強大計算功能,可以對不同用戶設置不同體系密碼,從而強化對云端客戶授權及認證。此外,還能夠利用云平臺實時防護的措施,保證廣電行業(yè)相應增值業(yè)務的安全性。三網融合以后,相應的數(shù)字電視增值業(yè)務會拓展到各個領域當中,多種雙向互動業(yè)務,更需喲啊具有較強的金融安全保護。云計算通過其強悍的計算能力,能夠方便的對數(shù)字電視從前端一直到終端、終端存儲、雙向鏈路等實行全局的監(jiān)控,從而達到立體式的安全防護。
3.三網融合下的云計算商業(yè)模式
隨著云計算技術的不斷發(fā)展,廣電行業(yè)中對其的應用日益廣泛,為人們的生活帶來了巨大的變化,并將產生更加深遠的影響。在三網融合的不斷推動下,各種業(yè)務都能通過機頂盒、移動終端、PC等實現(xiàn)互動,從而使云計算在廣電增值業(yè)務當中發(fā)揮更大的作用。
四、云計算核心技術在廣電系統(tǒng)中的關鍵性因素
1.政策導向問題
在我國,廣電系統(tǒng)有著商業(yè)性及宣傳性兩重屬性,業(yè)務的開展會受到有關政策的影響及制約,例如廣電系統(tǒng)怎樣建立起云計算系統(tǒng)、可以開展什么業(yè)務、系統(tǒng)的規(guī)模應多大等等。目前我國還沒有比較明朗的政策導向,所以在廣電系統(tǒng)內進行大規(guī)模云計算系統(tǒng)的部署還不太恰當。
2.行業(yè)趨同問題
因為我國的廣電行政管理體系比較松散,缺乏規(guī)范的技術標準,所以在行業(yè)內部署公有云系統(tǒng),還需要很長時間統(tǒng)一相應的標準并獲得國內行業(yè)單位的支持及認同,所以在一定程度上阻礙了云計算在廣電行業(yè)內的應用。
3.資金配套問題