轉(zhuǎn)行大數(shù)據(jù)分析師后悔了

　　轉(zhuǎn)行這個(gè)詞匯，一直是職場(chǎng)上此起彼伏的一個(gè)熱門話題，相信很多朋友都想過(guò)或已經(jīng)經(jīng)歷過(guò)轉(zhuǎn)行。工作可謂是我們生存乃至生活的主要收入來(lái)源，誰(shuí)都希望擁有一份高薪又穩(wěn)定的工作，以此來(lái)改善自己的生活和實(shí)現(xiàn)自己的大大小小的夢(mèng)想!但又擔(dān)心轉(zhuǎn)行后的工作待遇達(dá)不到自己的預(yù)期，顧慮重重……

　　不少想進(jìn)入大數(shù)據(jù)分析行業(yè)的零基礎(chǔ)學(xué)員經(jīng)常會(huì)有這樣一些疑問(wèn)：大數(shù)據(jù)分析零基礎(chǔ)應(yīng)該怎么學(xué)習(xí)?自己適合學(xué)習(xí)大數(shù)據(jù)分析嗎?人生，就是在不斷地做選擇，然后在這個(gè)選擇過(guò)程中成長(zhǎng)，讓自己從一棵小樹苗變成參天大樹。就是我們每個(gè)對(duì)大數(shù)據(jù)充滿幻想終于下定決心行動(dòng)的學(xué)員的選擇，我們給自己3個(gè)月的時(shí)間，想要在大數(shù)據(jù)分析這個(gè)領(lǐng)域汲取養(yǎng)分，讓自己壯大成長(zhǎng)。

　　【明確方向】
 

　　通過(guò)國(guó)家的戰(zhàn)略規(guī)劃，看到BAT的大牛們都在大數(shù)據(jù)行業(yè)布局，新聞媒體追捧這大數(shù)據(jù)分析行業(yè)的項(xiàng)目和熱點(diǎn)，我想如果我還沒(méi)有能力獨(dú)立判斷的時(shí)候，跟著國(guó)家政策和互聯(lián)網(wǎng)大佬們的步調(diào)走，這應(yīng)該是錯(cuò)不了的。
 

　　【付諸行動(dòng)】
 

　　明確了方向之后，我就整裝待發(fā)，剛開始是在網(wǎng)絡(luò)上購(gòu)買了很多的視頻教程，也買了很多書籍，但是最大的問(wèn)題就在于，我不知道怎么入手，沒(méi)關(guān)系，有信心有耐心肯定能戰(zhàn)勝困難，我堅(jiān)持了一個(gè)月，學(xué)習(xí)的節(jié)奏越來(lái)越亂，陸陸續(xù)續(xù)出現(xiàn)了很多的問(wèn)題，沒(méi)人指導(dǎo)，請(qǐng)教了幾個(gè)業(yè)內(nèi)的朋友，但對(duì)方工作繁忙，問(wèn)了幾次之后就不好意思了，自學(xué)陷入了死循環(huán)。
 

　　意識(shí)到我學(xué)習(xí)效率的低下，以及無(wú)人指導(dǎo)的問(wèn)題想想未來(lái)的康莊大道，咬咬牙告訴自己，一定好好好學(xué)，不然就浪費(fèi)太多時(shí)間最后還會(huì)是一無(wú)所獲。最后找到組織(AAA教育)一起學(xué)習(xí)進(jìn)步!
 

　　大數(shù)據(jù)分析零基礎(chǔ)學(xué)習(xí)路線，有信心能堅(jiān)持學(xué)習(xí)的話，那就當(dāng)下開始行動(dòng)吧!

一、大數(shù)據(jù)技術(shù)基礎(chǔ)
 

　　1、linux操作基礎(chǔ)

　　linux系統(tǒng)簡(jiǎn)介與安裝

　　linux常用命令–文件操作

　　linux常用命令–用戶管理與權(quán)限

　　linux常用命令–系統(tǒng)管理

　　linux常用命令–免密登陸配置與網(wǎng)絡(luò)管理

　　linux上常用軟件安裝

　　linux本地yum源配置及yum軟件安裝

　　linux防火墻配置

　　linux高級(jí)文本處理命令cut、sed、awk

　　linux定時(shí)任務(wù)crontab
 

　　2、shell編程

　　shell編程–基本語(yǔ)法

　　shell編程–流程控制

　　shell編程–函數(shù)

　　shell編程–綜合案例–自動(dòng)化部署腳本
 

　　3、內(nèi)存數(shù)據(jù)庫(kù)redis

　　redis和nosql簡(jiǎn)介

　　redis客戶端連接

　　redis的string類型數(shù)據(jù)結(jié)構(gòu)操作及應(yīng)用-對(duì)象緩存

　　redis的list類型數(shù)據(jù)結(jié)構(gòu)操作及應(yīng)用案例-任務(wù)調(diào)度隊(duì)列

　　redis的hash及set數(shù)據(jù)結(jié)構(gòu)操作及應(yīng)用案例-購(gòu)物車

　　redis的sortedset數(shù)據(jù)結(jié)構(gòu)操作及應(yīng)用案例-排行榜
 

　　4、布式協(xié)調(diào)服務(wù)zookeeper

　　zookeeper簡(jiǎn)介及應(yīng)用場(chǎng)景

　　zookeeper集群安裝部署

　　zookeeper的數(shù)據(jù)節(jié)點(diǎn)與命令行操作

　　zookeeper的java客戶端基本操作及事件監(jiān)聽

　　zookeeper核心機(jī)制及數(shù)據(jù)節(jié)點(diǎn)

　　zookeeper應(yīng)用案例–分布式共享資源鎖

　　zookeeper應(yīng)用案例–服務(wù)器上下線動(dòng)態(tài)感知

　　zookeeper的數(shù)據(jù)一致性原理及l(fā)eader選舉機(jī)制
 

　　5、java高級(jí)特性增強(qiáng)

　　Java多線程基本知識(shí)

　　Java同步關(guān)鍵詞詳解

　　java并發(fā)包線程池及在開源軟件中的應(yīng)用

　　Java并發(fā)包消息隊(duì)里及在開源軟件中的應(yīng)用

　　Java JMS技術(shù)

　　Java動(dòng)態(tài)代理反射
 

　　6、輕量級(jí)RPC框架開發(fā)

　　RPC原理學(xué)習(xí)

　　Nio原理學(xué)習(xí)

　　Netty常用API學(xué)習(xí)

　　輕量級(jí)RPC框架需求分析及原理分析

　　輕量級(jí)RPC框架開發(fā)
 

二、離線計(jì)算系統(tǒng)
 

　　1、hadoop快速入門

　　hadoop背景介紹

　　分布式系統(tǒng)概述

　　離線數(shù)據(jù)分析流程介紹

　　集群搭建

　　集群使用初步
 

　　2、HDFS增強(qiáng)

　　HDFS的概念和特性

　　HDFS的shell(命令行客戶端)操作

　　HDFS的工作機(jī)制

　　NAMENODE的工作機(jī)制

　　java的api操作

　　案例1：開發(fā)shell采集腳本
 

　　3、MAPREDUCE詳解

　　自定義hadoop的RPC框架

　　Mapreduce編程規(guī)范及示例編寫

　　Mapreduce程序運(yùn)行模式及debug方法

　　mapreduce程序運(yùn)行模式的內(nèi)在機(jī)理

　　mapreduce運(yùn)算框架的主體工作流程

　　自定義對(duì)象的序列化方法

　　MapReduce編程案例
 

　　4、MAPREDUCE增強(qiáng)

　　Mapreduce排序

　　自定義partitioner

　　Mapreduce的combiner

　　mapreduce工作機(jī)制詳解
 

　　5、MAPREDUCE實(shí)戰(zhàn)

　　maptask并行度機(jī)制-文件切片

　　maptask并行度設(shè)置

　　倒排索引

　　共同好友
 

　　6、federation介紹和hive使用

　　Hadoop的HA機(jī)制

　　HA集群的安裝部署

　　集群運(yùn)維測(cè)試之Datanode動(dòng)態(tài)上下線

　　集群運(yùn)維測(cè)試之Namenode狀態(tài)切換管理

　　集群運(yùn)維測(cè)試之?dāng)?shù)據(jù)塊的balance

　　HA下HDFS-API變化

　　hive簡(jiǎn)介

　　hive架構(gòu)

　　hive安裝部署

　　hvie初使用
 

　　7、hive增強(qiáng)和flume介紹

　　HQL-DDL基本語(yǔ)法

　　HQL-DML基本語(yǔ)法

　　HIVE的join

　　HIVE 參數(shù)配置

　　HIVE 自定義函數(shù)和Transform

　　HIVE 執(zhí)行HQL的實(shí)例分析

　　HIVE最佳實(shí)踐注意點(diǎn)

　　HIVE優(yōu)化策略

　　HIVE實(shí)戰(zhàn)案例

　　Flume介紹

　　Flume的安裝部署

　　案例：采集目錄到HDFS

　　案例：采集文件到HDFS
 

三、流式計(jì)算
 

　　1、Storm從入門到精通

　　Storm是什么

　　Storm架構(gòu)分析

　　Storm架構(gòu)分析

　　Storm編程模型、Tuple源碼、并發(fā)度分析

　　Storm WordCount案例及常用Api分析

　　Storm集群部署實(shí)戰(zhàn)

　　Storm+Kafka+Redis業(yè)務(wù)指標(biāo)計(jì)算

　　Storm源碼下載編譯

　　Strom集群?jiǎn)?dòng)及源碼分析

　　Storm任務(wù)提交及源碼分析

　　Storm數(shù)據(jù)發(fā)送流程分析

　　Storm通信機(jī)制分析

　　Storm消息容錯(cuò)機(jī)制及源碼分析

　　Storm多stream項(xiàng)目分析

　　編寫自己的流式任務(wù)執(zhí)行框架
 

　　2、Storm上下游及架構(gòu)集成

　　消息隊(duì)列是什么

　　Kakfa核心組件

　　Kafka集群部署實(shí)戰(zhàn)及常用命令

　　Kafka配置文件梳理

　　Kakfa JavaApi學(xué)習(xí)

　　Kafka文件存儲(chǔ)機(jī)制分析

　　Redis基礎(chǔ)及單機(jī)環(huán)境部署

　　Redis數(shù)據(jù)結(jié)構(gòu)及典型案例

　　Flume快速入門

　　Flume+Kafka+Storm+Redis整合
 

四、內(nèi)存計(jì)算體系Spark
 

　　1、scala編程

　　scala編程介紹

　　scala相關(guān)軟件安裝

　　scala基礎(chǔ)語(yǔ)法

　　scala方法和函數(shù)

　　scala函數(shù)式編程特點(diǎn)

　　scala數(shù)組和集合

　　scala編程練習(xí)(單機(jī)版WordCount)

　　scala面向?qū)ο?/p>

　　scala模式匹配

　　actor編程介紹

　　option和偏函數(shù)

　　實(shí)戰(zhàn)：actor的并發(fā)WordCount

　　柯里化

　　隱式轉(zhuǎn)換
 

　　2、AKKA與RPC

　　Akka并發(fā)編程框架

　　實(shí)戰(zhàn)：RPC編程實(shí)戰(zhàn)
 

　　3、Spark快速入門

　　spark介紹

　　spark環(huán)境搭建

　　RDD簡(jiǎn)介

　　RDD的轉(zhuǎn)換和動(dòng)作

　　實(shí)戰(zhàn)：RDD綜合練習(xí)

　　RDD高級(jí)算子

　　自定義Partitioner

　　實(shí)戰(zhàn)：網(wǎng)站訪問(wèn)次數(shù)

　　廣播變量

　　實(shí)戰(zhàn)：根據(jù)IP計(jì)算歸屬地

　　自定義排序

　　利用JDBC RDD實(shí)現(xiàn)數(shù)據(jù)導(dǎo)入導(dǎo)出

　　WorldCount執(zhí)行流程詳解
 

　　4、RDD詳解

　　RDD依賴關(guān)系

　　RDD緩存機(jī)制

　　RDD的Checkpoint檢查點(diǎn)機(jī)制

　　Spark任務(wù)執(zhí)行過(guò)程分析

　　RDD的Stage劃分
 

　　5、Spark-Sql應(yīng)用

　　Spark-SQL

　　Spark結(jié)合Hive

　　DataFrame

　　實(shí)戰(zhàn)：Spark-SQL和DataFrame案例
 

　　6、SparkStreaming應(yīng)用實(shí)戰(zhàn)

　　Spark-Streaming簡(jiǎn)介

　　Spark-Streaming編程

　　實(shí)戰(zhàn)：StageFulWordCount

　　Flume結(jié)合Spark Streaming

　　Kafka結(jié)合Spark Streaming

　　窗口函數(shù)

　　ELK技術(shù)棧介紹

　　ElasticSearch安裝和使用

　　Storm架構(gòu)分析

　　Storm編程模型、Tuple源碼、并發(fā)度分析

　　Storm WordCount案例及常用Api分析
 

　　7、Spark核心源碼解析

　　Spark源碼編譯

　　Spark遠(yuǎn)程debug

　　Spark任務(wù)提交行流程源碼分析

　　Spark通信流程源碼分析

　　SparkContext創(chuàng)建過(guò)程源碼分析

　　DriverActor和ClientActor通信過(guò)程源碼分析

　　Worker啟動(dòng)Executor過(guò)程源碼分析

　　Executor向DriverActor注冊(cè)過(guò)程源碼分析

　　Executor向Driver注冊(cè)過(guò)程源碼分析

　　DAGScheduler和TaskScheduler源碼分析

　　Shuffle過(guò)程源碼分析

　　Task執(zhí)行過(guò)程源碼分析
 

五、機(jī)器學(xué)習(xí)算法
 

　　1、python及numpy庫(kù)

　　機(jī)器學(xué)習(xí)簡(jiǎn)介

　　機(jī)器學(xué)習(xí)與python

　　python語(yǔ)言–快速入門

　　python語(yǔ)言–數(shù)據(jù)類型詳解

　　python語(yǔ)言–流程控制語(yǔ)句

　　python語(yǔ)言–函數(shù)使用

　　python語(yǔ)言–模塊和包

　　phthon語(yǔ)言–面向?qū)ο?/p>

　　python機(jī)器學(xué)習(xí)算法庫(kù)–numpy

　　機(jī)器學(xué)習(xí)必備數(shù)學(xué)知識(shí)–概率論
 

　　2、常用算法實(shí)現(xiàn)

　　knn分類算法–算法原理

　　knn分類算法–代碼實(shí)現(xiàn)

　　knn分類算法–手寫字識(shí)別案例

　　lineage回歸分類算法–算法原理

　　lineage回歸分類算法–算法實(shí)現(xiàn)及demo

　　樸素貝葉斯分類算法–算法原理

　　樸素貝葉斯分類算法–算法實(shí)現(xiàn)

　　樸素貝葉斯分類算法–垃圾郵件識(shí)別應(yīng)用案例

　　kmeans聚類算法–算法原理

　　kmeans聚類算法–算法實(shí)現(xiàn)

　　kmeans聚類算法–地理位置聚類應(yīng)用

　　決策樹分類算法–算法原理

　　決策樹分類算法–算法實(shí)現(xiàn)

　　時(shí)下的大數(shù)據(jù)分析時(shí)代與人工智能熱潮，相信有許多對(duì)大數(shù)據(jù)分析師非常感興趣、躍躍欲試想著轉(zhuǎn)行的朋友，但面向整個(gè)社會(huì)，最不缺的其實(shí)就是人才，對(duì)于是否轉(zhuǎn)行大數(shù)據(jù)分析行列，對(duì)于能否勇敢一次跳出自己的舒適圈，不少人還是躊躇滿志啊!畢竟好多決定，一旦做出了就很難再回頭了。不過(guò)如果你已經(jīng)轉(zhuǎn)行到大數(shù)據(jù)分析領(lǐng)域，就不要后悔，做到如何脫穎而出才是關(guān)鍵。因此本文給出一些建議，針對(duì)想要轉(zhuǎn)行大數(shù)據(jù)分析行列且是零基礎(chǔ)轉(zhuǎn)行的小伙伴們，希望對(duì)你們有所裨益，也希望你們將來(lái)學(xué)有所成，不后悔，更不灰心!