大數據Hadoop究竟能做什么
2020-02-12 20:24 作者：艾銻無限 瀏覽量：
迎戰疫情,艾銻無限用愛與您同行
為中國中小企業提供免費IT外包服務
為中國中小企業提供免費IT外包服務
這次的肺炎疫情對中國的中小企業將會是沉重的打擊，據釘釘和微信兩個辦公平臺數據統計現有2億左右的人在家遠程辦公，那么對于中小企業的員工來說不懂IT技術將會讓他們面臨的最大挑戰和困難。
電腦不亮了怎么辦？系統藍屏如何處理？辦公室的電腦在家如何連接？網絡應該如何設置？VPN如何搭建？數據如何對接？服務器如何登錄？數據安全如何保證？數據如何存儲？視頻會議如何搭建？業務系統如何開啟等等一系列的問題，都會困擾著并非技術出身的您。
好消息是當您看到這篇文章的時候，就不用再為上述的問題而苦惱，您只需撥打艾銻無限的全國免費熱線電話:400 650 7820，就會有我們的遠程工程師為您解決遇到的問題，他們可以遠程幫您處理遇到的一些IT技術難題。
如遇到免費熱線占線，您還可以撥打我們的24小時值班經理電話:15601064618或技術經理的電話:13041036957，我們會在第一時間接聽您的來電，為您提供適合的解決方案，讓您無論在家還是在企業都能無憂辦公。
那艾銻無限具體能為您的企業提供哪些服務呢？
第一版塊是保障性IT外包服務:如電腦設備運維，辦公設備運維，網絡設備運維，服務器運維等綜合性企業IT設備運維服務。
第二版塊是功能性互聯網外包服務:如網站開發外包，小程序開發外包，APP開發外包，電商平臺開發外包，業務系統的開發外包和后期的運維外包服務。
第三版塊是增值性云服務外包:如企業郵箱上云，企業網站上云，企業存儲上云，企業APP小程序上云，企業業務系統上云，阿里云產品等后續的云運維外包服務。
您要了解更多服務也可以登錄艾銻無限的官網:www.bjitwx.com查看詳細說明，在疫情期間，您企業遇到的任何困境只要找到艾銻無限，能免費為您提供服務的我們絕不收一分錢，我們全體艾銻人承諾此活動直到中國疫情結束,我們將這次活動稱為——春雷行動。
以下還有我們為您提供的一些技術資訊，以便可以幫助您更好的了解相關的IT知識，幫您渡過疫情中辦公遇到的困難和挑戰，艾銻無限愿和中國中小企業一起共進退，因為我們相信萬物同體，能量合一，只要我們一起齊心協力，一定會成功。再一次祝福您和您的企業，戰勝疫情，您和您的企業一定行。
北京艾銻無限告訴您：大數據Hadoop究竟能做什么
一、Hadoop是什么
1.1、通俗的解釋
小明接到一個任務：計算一個100M的文本文件中的單詞的個數，這個文本文件有若干行，每行有若干個單詞，每行的單詞與單詞之間都是以空格鍵分開的。對于處理這種100M量級數據的計算任務，小明感覺很輕松。他首先把這個100M的文件拷貝到自己的電腦上，然后寫了個計算程序在他的計算機上執行后順利輸出了結果。
后來，小明接到了另外一個任務，計算一個1T（1024G）的文本文件中的單詞的個數。再后來，小明又接到一個任務，計算一個1P(1024T)的文本文件中的單詞的個數……
面對這樣大規模的數據，小明的那一臺計算機已經存儲不下了，也計算不了這樣大的數據文件中到底有多少個單詞了。機智的小明上網百度了一下，他在百度的輸入框中寫下了：大數據存儲和計算怎么辦？按下回車鍵之后，出現了有關Hadoop的網頁。
看了很多網頁之后，小明總結一句話：Hadoop就是存儲海量數據和分析海量數據的工具。
1.2、專業的解釋
Hadoop是由java語言編寫的，在分布式服務器集群上存儲海量數據并運行分布式分析應用的開源框架，其核心部件是HDFS與MapReduce。
HDFS是一個分布式文件系統：引入存放文件元數據信息的服務器Namenode和實際存放數據的服務器Datanode，對數據進行分布式儲存和讀取。
MapReduce是一個分布式計算框架：MapReduce的核心思想是把計算任務分配給集群內的服務器里執行。通過對計算任務的拆分（Map計算/Reduce計算）再根據任務調度器（JobTracker）對任務進行分布式計算。
1.3、記住下面的話：
Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數據提供了存儲，則MapReduce為海量的數據提供了計算。
把HDFS理解為一個分布式的，有冗余備份的，可以動態擴展的用來存儲大規模數據的大硬盤。
把MapReduce理解成為一個計算引擎，按照MapReduce的規則編寫Map計算/Reduce計算的程序，可以完成計算任務。
二、Hadoop能干什么
大數據存儲：分布式存儲
日志處理：擅長日志分析
ETL:數據抽取到oracle、mysql、DB2、mongdb及主流數據庫
機器學習: 比如Apache Mahout項目
搜索引擎:Hadoop + lucene實現
數據挖掘：目前比較流行的廣告推薦，個性化廣告推薦
Hadoop是專為離線和大規模數據分析而設計的，并不適合那種對幾個記錄隨機讀寫的在線事務處理模式。
實際應用：
（1）Flume+Logstash+Kafka+Spark Streaming進行實時日志處理分析
3.1、Hadoop集群的搭建
無論是在windows上裝幾臺虛擬機玩Hadoop，還是真實的服務器來玩，說簡單點就是把Hadoop的安裝包放在每一臺服務器上，改改配置，啟動就完成了Hadoop集群的搭建。
3.2、上傳文件到Hadoop集群，實現文件存儲
Hadoop集群搭建好以后，可以通過web頁面查看集群的情況，還可以通過Hadoop命令來上傳文件到hdfs集群，通過Hadoop命令在hdfs集群上建立目錄，通過Hadoop命令刪除集群上的文件等等。
3.3、編寫map/reduce程序，完成計算任務
通過集成開發工具（例如eclipse）導入Hadoop相關的jar包，編寫map/reduce程序，將程序打成jar包扔在集群上執行，運行后出計算結果。
相關文章
IT電腦維護外包
關閉