大數據分析用什么軟件

　　以前之所以沒有大數據分析近兩年才有，有一個很關鍵卻很容易被忽視的原因：現在是互聯網時代，以前不是，20年前網絡到底是什么很多人都不知道，哪怕有大量數據、如超過10tb的數據集放在你的手中，但也無法簡單通過人力、紙筆做分析，甚至連一本500kb的書籍看完都要好幾個月，更何況是10tb的數據，等人力看完了早就過了對應的時效性了。而隨著互聯網的高速發(fā)展，各種軟件、系統(tǒng)層出不窮，大數據分析也隨之而生。
 

　　那么，到底大數據分析用什么軟件?下面就由我來具體分析和介紹一下，希望對大家有所幫助。

　　1、hadoop，在談及hadoop的時候不少人會將它直接等同于數據分析，可見它有多重要。Hadoop乃是一個軟件框架，它能對大量數據進行分布式處理，它可靠高效又可伸縮。具體來說，它在設定時就已經融入了一個想法“假設計算元素和存儲會失敗”，因為它可維護多個工作數據副本，就失敗的節(jié)點再次進行二次分布。它同時還是可并行的方式，因為可并行所以處理起來的速度更快。還有，hadoop也是可伸縮的，它能處理達到pb級數據。更重要的是，hadoop還有高的擴展性，它能利用計算機的分配數據完成計算任務。

　　2、Hpcc，在1993年的時候美國提交了重大挑戰(zhàn)項目，它就被稱呼hpcc計劃，也叫做美國總統(tǒng)科學戰(zhàn)略項目，該項目包含了hpcs、asta、nren、brhr、iita等諸多部分，翻譯成中文分別是高性能計算機系統(tǒng)、先進軟件技術與算法、國家科研與網絡教育、基本研究與人類資源、信息基礎結構技術和應用，而現在hpcc已經不再單純代表著以上這些了，它還是一個可被用于大數據分析的軟件工具。

　　3、Storm，它乃是開源軟件，系分布式的、容錯性強的計算系統(tǒng)，它的主要特色體現在：能用來快速處理十分龐大的數據量，而且它還支持不同編程語言，用起來感覺不錯。Storm乃是由twitter開源來的，它的應用領域極廣，包含實時分析、在線機器學習、rpc、etl等等。

　　4、Apache drill，它乃是一種查詢軟件，主要的價值體現在：能用來尋找更有效快速查詢數據的方法。

　　關于大數據分析一些人會錯誤的認為，只要將以上軟件系統(tǒng)都get起來即可，其實不然大數據分析是一個跨學科崗位，除了要懂軟件外還得了解算法、統(tǒng)計學、概率學等等學科，學會軟件只是具備了基礎哦。