旗下產(chǎn)業(yè): A產(chǎn)業(yè)/?A實習/?A計劃
全國統(tǒng)一咨詢熱線:010-5367 2995
首頁 > 熱門文章 > 大數(shù)據(jù)分析 > 淺析大數(shù)據(jù)分析技術

淺析大數(shù)據(jù)分析技術

時間:2019-07-10來源:m.lb577.com點擊量:作者:Sissi
時間:2019-07-10點擊量:作者:Sissi



  隨著大數(shù)據(jù)時代的到來,在大數(shù)據(jù)觀念不斷提出的今天,加強數(shù)據(jù)大數(shù)據(jù)挖掘及時的應用已成為大勢所趨。大數(shù)據(jù)分析處理是對紛繁復雜的海量數(shù)據(jù)價值的提煉,而其中最有價值的地方在于預測性分析,即可以通過數(shù)據(jù)可視化、統(tǒng)計模式識別、數(shù)據(jù)描述等數(shù)據(jù)挖掘形式幫助數(shù)據(jù)科學家更好的理解數(shù)據(jù),根據(jù)數(shù)據(jù)挖掘的結果得出預測性決策。其中主要工作環(huán)節(jié)參見《大數(shù)據(jù)分析流程是什么》。這些工作環(huán)節(jié)都需要什么技術?今天AAA教育小編姐姐簡單分析一下大數(shù)據(jù)分析技術
 

一、大數(shù)據(jù)流程圖

大數(shù)據(jù)流程圖

二、大數(shù)據(jù)各個環(huán)節(jié)主要技術

 

  2.1、數(shù)據(jù)處理主要技術

大數(shù)據(jù)分析

  Sqoop:(發(fā)音:skup)作為一款開源的離線數(shù)據(jù)傳輸工具,主要用于Hadoop(Hive) 與傳統(tǒng)數(shù)據(jù)庫(MySql,PostgreSQL)間的數(shù)據(jù)傳遞。它可以將一個關系數(shù)據(jù)庫中數(shù)據(jù)導入Hadoop的HDFS中,也可以將HDFS中的數(shù)據(jù)導入關系型數(shù)據(jù)庫中。
 

  Flume:實時數(shù)據(jù)采集的一個開源框架,它是Cloudera提供的一個高可用用的、高可靠、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。目前已經(jīng)是Apache的頂級子項目。使用Flume可以收集諸如日志、時間等數(shù)據(jù)并將這些數(shù)據(jù)集中存儲起來供下游使用(尤其是數(shù)據(jù)流框架,例如Storm)。和Flume類似的另一個框架是Scribe(FaceBook開源的日志收集系統(tǒng),它為日志的分布式收集、統(tǒng)一處理提供一個可擴展的、高容錯的簡單方案)
 

  Kafka:通常來說Flume采集數(shù)據(jù)的速度和下游處理的速度通常不同步,因此實時平臺架構都會用一個消息中間件來緩沖,而這方面最為流行和應用最為廣泛的無疑是Kafka。它是由LinkedIn開發(fā)的一個分布式消息系統(tǒng),以其可以水平擴展和高吞吐率而被廣泛使用。目前主流的開源分布式處理系統(tǒng)(如Storm和Spark等)都支持與Kafka 集成。
 

  Kafka是一個基于分布式的消息發(fā)布-訂閱系統(tǒng),特點是速度快、可擴展且持久。與其他消息發(fā)布-訂閱系統(tǒng)類似,Kafka可在主題中保存消息的信息。生產(chǎn)者向主題寫入數(shù)據(jù),消費者從主題中讀取數(shù)據(jù)。
 

  作為一個分布式的、分區(qū)的、低延遲的、冗余的日志提交服務。和Kafka類似消息中間件開源產(chǎn)品還包括RabbiMQ、ActiveMQ、ZeroMQ等。
 

  MapReduce:MapReduce是Google公司的核心計算模型,它將運行于大規(guī)模集群上的復雜并行計算過程高度抽象為兩個函數(shù):map和reduce。MapReduce最偉大之處在于其將處理大數(shù)據(jù)的能力賦予了普通開發(fā)人員,以至于普通開發(fā)人員即使不會任何的分布式編程知識,也能將自己的程序運行在分布式系統(tǒng)上處理海量數(shù)據(jù)。
 

  Hive:MapReduce將處理大數(shù)據(jù)的能力賦予了普通開發(fā)人員,而Hive進一步將處理和分析大數(shù)據(jù)的能力賦予了實際的數(shù)據(jù)使用人員(數(shù)據(jù)開發(fā)工程師、數(shù)據(jù)分析師、算法工程師、和業(yè)務分析人員)。
 

  Hive是由Facebook開發(fā)并貢獻給Hadoop開源社區(qū)的,是一個建立在Hadoop體系結構上的一層SQL抽象。Hive提供了一些對Hadoop文件中數(shù)據(jù)集進行處理、查詢、分析的工具。它支持類似于傳統(tǒng)RDBMS的SQL語言的查詢語言,一幫助那些熟悉SQL的用戶處理和查詢Hodoop在的數(shù)據(jù),該查詢語言稱為Hive SQL。Hive SQL實際上先被SQL解析器解析,然后被Hive框架解析成一個MapReduce可執(zhí)行計劃,并按照該計劃生產(chǎn)MapReduce任務后交給Hadoop集群處理。
 

  Spark:盡管MapReduce和Hive能完成海量數(shù)據(jù)的大多數(shù)批處理工作,并且在打數(shù)據(jù)時代稱為企業(yè)大數(shù)據(jù)處理的首選技術,但是其數(shù)據(jù)查詢的延遲一直被詬病,而且也非常不適合迭代計算和DAG(有限無環(huán)圖)計算。由于Spark具有可伸縮、基于內存計算能特點,且可以直接讀寫Hadoop上任何格式的數(shù)據(jù),較好地滿足了數(shù)據(jù)即時查詢和迭代分析的需求,因此變得越來越流行。
 

  Spark是UC Berkeley AMP Lab(加州大學伯克利分校的 AMP實驗室)所開源的類Hadoop MapReduce的通用并行框架,它擁有Hadoop MapReduce所具有的優(yōu)點,但不同MapReduce的是,Job中間輸出結果可以保存在內存中,從而不需要再讀寫HDFS ,因此能更好適用于數(shù)據(jù)挖掘和機器學習等需要迭代的MapReduce算法。
 

  Spark也提供類Live的SQL接口,即Spark SQL,來方便數(shù)據(jù)人員處理和分析數(shù)據(jù)。
 

  Spark還有用于處理實時數(shù)據(jù)的流計算框架Spark Streaming,其基本原理是將實時流數(shù)據(jù)分成小的時間片段(秒或幾百毫秒),以類似Spark離線批處理的方式來處理這小部分數(shù)據(jù)。
 

  Storm:MapReduce、Hive和Spark是離線和準實時數(shù)據(jù)處理的主要工具,而Storm是實時處理數(shù)據(jù)的。
 

  Storm是Twitter開源的一個類似于Hadoop的實時數(shù)據(jù)處理框架。Storm對于實時計算的意義相當于Hadoop對于批處理的意義。Hadoop提供了Map和Reduce原語,使對數(shù)據(jù)進行批處理變得非常簡單和優(yōu)美。同樣,Storm也對數(shù)據(jù)的實時計算提供了簡單的Spout和Bolt原語。Storm集群表面上和Hadoop集群非常像,但是在Hadoop上面運行的是MapReduce的Job,而在Storm上面運行的是Topology(拓撲)。
 

  Storm拓撲任務和Hadoop MapReduce任務一個非常關鍵的區(qū)別在于:1個MapReduce Job最終會結束,而一個Topology永遠運行(除非顯示的殺掉它),所以實際上Storm等實時任務的資源使用相比離線MapReduce任務等要大很多,因為離線任務運行完就釋放掉所使用的計算、內存等資源,而Storm等實時任務必須一直占有直到被顯式的殺掉。Storm具有低延遲、分布式、可擴展、高容錯等特性,可以保證消息不丟失,目前Storm, 類Storm或基于Storm抽象的框架技術是實時處理、流處理領域主要采用的技術。
 

  Flink:在數(shù)據(jù)處理領域,批處理任務和實時流計算任務一般被認為是兩種不同的任務,一個數(shù)據(jù)項目一般會被設計為只能處理其中一種任務,例如Storm只支持流處理任務,而MapReduce, Hive只支持批處理任務。
 

  Apache Flink是一個同時面向分布式實時流處理和批量數(shù)據(jù)處理的開源數(shù)據(jù)平臺,它能基于同一個Flink運行時(Flink Runtime),提供支持流處理和批處理兩種類型應用的功能。Flink在實現(xiàn)流處理和批處理時,與傳統(tǒng)的一些方案完全不同,它從另一個視角看待流處理和批處理,將二者統(tǒng)一起來。Flink完全支持流處理,批處理被作為一種特殊的流處理,只是它的數(shù)據(jù)流被定義為有界的而已?;谕粋€Flink運行時,F(xiàn)link分別提供了流處理和批處理API,而這兩種API也是實現(xiàn)上層面向流處理、批處理類型應用框架的基礎。
 

  Beam:Google開源的Beam在Flink基礎上更進了一步,不但希望統(tǒng)一批處理和流處理,而且希望統(tǒng)一大數(shù)據(jù)處理范式和標準。Apache Beam項目重點在于數(shù)據(jù)處理的的編程范式和接口定義,并不涉及具體執(zhí)行引擎的實現(xiàn)。Apache Beam希望基于Beam開發(fā)的數(shù)據(jù)處理程序可以執(zhí)行在任意的分布式計算引擎上。
 

  Apache Beam主要由Beam SDK和Beam Runner組成,Beam SDK定義了開發(fā)分布式數(shù)據(jù)處理任務業(yè)務邏輯的API接口,生成的分布式數(shù)據(jù)處理任務Pipeline交給具體的Beam Runner執(zhí)行引擎。Apache Flink目前支持的API是由Java語言實現(xiàn)的,它支持的底層執(zhí)行引擎包括Apache Flink、Apache Spark和Google Cloud Flatform。
 

  2.2、數(shù)據(jù)存儲主要技術
 

  HDFS:Hadoop Distributed File System,簡稱FDFS,是一個分布式文件系統(tǒng)。它有一定高度的容錯性和高吞吐量的數(shù)據(jù)訪問,非常適合大規(guī)模數(shù)據(jù)集上的應用。HDFS提供了一個高容錯性和高吞吐量的海量數(shù)據(jù)存儲解決方案。
 

  在Hadoop的整個架構中,HDFS在MapReduce任務處理過程在中提供了對文件操作的和存儲的的支持,MapReduce在HDFS基礎上實現(xiàn)了任務的分發(fā)、跟蹤和執(zhí)行等工作,并收集結果,兩者相互作用,共同完成了Hadoop分布式集群的主要任務。
 

  HBase:HBase是一種構建在HDFS之上的分布式、面向列族的存儲系統(tǒng)。在需要實時讀寫并隨機訪問超大規(guī)模數(shù)據(jù)集等場景下,HBase目前是市場上主流的技術選擇。
 

  HBase技術來源于Google論文《Bigtable :一個結構化數(shù)據(jù)的分布式存儲系統(tǒng)》。如同Bigtable利用了Google File System提供的分布式數(shù)據(jù)存儲方式一樣,HBase在HDFS之上提供了類似于Bigtable的能力。
 

  HBase解決了傳遞數(shù)據(jù)庫的單點性能極限。實際上,傳統(tǒng)的數(shù)據(jù)庫解決方案,尤其是關系型數(shù)據(jù)庫也可以通過復制和分區(qū)的方法來提高單點性能極限,但這些都是后知后覺的,安裝和維護都非常復雜。而HBase從另一個角度處理伸縮性的問題,即通過線性方式從下到上增加節(jié)點來進行擴展。HBase 不是關系型數(shù)據(jù)庫,也不支持SQL,它的特性如下:
 

  1、大:一個表可以有上億上,上百萬列。
 

  2、面向列:面向列表(簇)的存儲和權限控制,列(簇)獨立檢索。
 

  3、稀疏:為空(null)的列不占用存儲空間,因此表可以設計的非常稀疏。
 

  4、無模式::每一行都有一個可以排序的主鍵和任意多的列。列可以根據(jù)需求動態(tài)增加,同一張表中不同的行可以有截然不同的列。
 

  5、數(shù)據(jù)多版本:每個單元的數(shù)據(jù)可以有多個版本,默認情況下,版本號字段分開,它是單元格插入時的時間戳。
 

  6、數(shù)據(jù)類型單一:HBase中數(shù)據(jù)都是字符串,沒有類型。
 

  2.3、數(shù)據(jù)應用主要技術
 

  數(shù)據(jù)有很多應用方式,如固定報表、即時分析、數(shù)據(jù)服務、數(shù)據(jù)分析、數(shù)據(jù)挖掘和機器學習等。下面說下即時分析Drill框架、數(shù)據(jù)分析R語言、機器學習TensorFlow框架。
 

  Drill:Apache Drill是一個開源實時大數(shù)據(jù)分布式查詢引擎,目前已成為Apache的頂級項目。Drill開源版本的Google Dremel。Dremel是Google的“交互式”數(shù)據(jù)分析系統(tǒng),可以組建成規(guī)模上千的集群,處理PB級別的數(shù)據(jù)。
 

  MapReduce處理數(shù)據(jù)一般在分鐘甚至小時級別,而Dremel將處理時間縮短至秒級,即Drill是對MapReduce的有力補充。Drill兼容ANSI SQL語法作為接口,支持本地文件、HDFS、Hive、HBase、MongoDb作為存儲的數(shù)據(jù)查詢。文件格式支持Parquet、CSV、TSV以及Json這種無模式(schema-free)數(shù)據(jù)。所有這些數(shù)據(jù)都像傳統(tǒng)數(shù)據(jù)庫的表查詢一樣進行快速實時查詢。
 

  R語言:R是一種開源的數(shù)據(jù)分析解決方案。R流行原因如下:
 

  1、R是自由軟件:完全免費、開源??稍诠俜骄W(wǎng)站及其鏡像中下載任何有關的安裝程序、源代碼、程序包及其源代碼、文檔資料,標準的安裝文件自身就帶有許多模塊和內嵌統(tǒng)計函數(shù),安裝好后可以直接實現(xiàn)許多常用的統(tǒng)計功能。
 

  2、R是一種可編程的語言:作為一個開放的統(tǒng)計編程環(huán)境,R語言的語法通俗易懂,而且目前大多數(shù)新的統(tǒng)計方法和技術都可以在R中找到。
 

  3、R具有很強的互動性:除了圖形輸出在另外的窗口,它的熟入輸出都是在一個窗口進行的,輸入語法中如果有錯馬上會在窗口中給出提示,對以前輸入過的命令有記憶功能,可以隨時再現(xiàn)、編輯、修改以滿足用戶的需要,輸出的圖形可以直接保存為JPG、BMP、PNG等圖片格式,還可以直接保存為PDF文件。此外,R語言和其它編程語言和數(shù)據(jù)庫直接有很好的接口。
 

  TensorFlow:TensorFlow是一個非常靈活的框架,它能夠運行在個人電腦或服務器的單個/多個cpu和GPU上,甚至是移動設備上,它最早是為了研究機器學習和深度神經(jīng)網(wǎng)絡而開發(fā)的,后來因為通用而開源。
 

  TensorFlow是基于數(shù)據(jù)流圖的處理框架,TensorFlow節(jié)點表示數(shù)學運算,邊表示運算節(jié)點之間的數(shù)據(jù)交互。TensorFlow從字母意義上來講有兩層含義:一是Tensor代表的是節(jié)點之間傳遞的數(shù)據(jù),通常這個數(shù)據(jù)是一個多維度矩陣(multidimensional data arrays)或一維向量;二是Flow指的數(shù)據(jù)流,形象理解就是數(shù)據(jù)按照流的形式進入數(shù)據(jù)運算圖的各個節(jié)點。
 

  3、數(shù)據(jù)相關從業(yè)者和角色

大數(shù)據(jù)分析
大數(shù)據(jù)分析
大數(shù)據(jù)分析

  4、數(shù)據(jù)埋點
 

  后臺數(shù)據(jù)庫和日志文件一般只能滿足常規(guī)的統(tǒng)計分析,對于具體的產(chǎn)品和項目來說,一般還要根據(jù)項目的目標和分析需求進行針對性的“數(shù)據(jù)埋點”工作,所謂埋點:就是在額外的正常功能邏輯上添加針對性的邏輯統(tǒng)計,即期望的事件是否發(fā)生,發(fā)生后應該記錄那些信息,比如用戶在當前頁面是否用鼠標滾動頁面、有關的頁面區(qū)域是否曝光了、當前的用戶操作的的時間是多少、停留時長多少、這些都需要前端工程師進行針對性的埋點才能滿足有關的分析需求。
 

  數(shù)據(jù)埋點工作一般由產(chǎn)品經(jīng)理和分析師預先確定分析需求,然后由數(shù)據(jù)開發(fā)團隊對接前端和后端開發(fā)完成具體的埋點工作。
 

  通過以上的學習,對大數(shù)據(jù)分析技術有初步的認識,這些技術涉及到的工具《大數(shù)據(jù)分析十八般工具》,大家可以參考。



 

預約申請免費試聽課

填寫下面表單即可預約申請免費試聽!怕錢不夠?可先就業(yè)掙錢后再付學費! 怕學不會?助教全程陪讀,隨時解惑!擔心就業(yè)?一地學習,可推薦就業(yè)!

?2007-2021/北京漫動者教育科技有限公司版權所有
備案號:京ICP備12034770號

?2007-2022/ m.lb577.com 北京漫動者數(shù)字科技有限公司 備案號: 京ICP備12034770號 監(jiān)督電話:010-53672995 郵箱:bjaaa@aaaedu.cc

京公網(wǎng)安備 11010802035704號

網(wǎng)站地圖