大數(shù)據(jù)分析的工作內(nèi)容

　　大數(shù)據(jù)分析崗有些神秘，主要是因?yàn)樵谄胀ㄈ丝磥?lái)，超過(guò)500kb的數(shù)據(jù)都把自己給難到不行，但是大數(shù)據(jù)分析師卻能處理超過(guò)10tb的數(shù)據(jù)集，這在她們看來(lái)很難理解。而對(duì)于在大數(shù)據(jù)分析崗上正在從業(yè)的人士而言，大數(shù)據(jù)分析的工作早就被流程化了，只要按照數(shù)據(jù)獲得、數(shù)據(jù)清洗、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)建模、數(shù)據(jù)分析、可視化結(jié)論等幾個(gè)模塊去執(zhí)行，在每個(gè)環(huán)節(jié)用到不同的系統(tǒng)和軟件，用鼠標(biāo)點(diǎn)一點(diǎn)就能完成操作，不算難。
 

　　具體來(lái)說(shuō)，大數(shù)據(jù)分析師的工作包含以下這些：

　　第一，數(shù)據(jù)獲得，通過(guò)多渠道方式獲得大量數(shù)據(jù)，有什么方式可以得到數(shù)據(jù)呢?

　　1、爬蟲(chóng)，就是在網(wǎng)上獲取。

　　2、問(wèn)卷調(diào)查，這項(xiàng)工作可以交給專(zhuān)業(yè)的收集公司，他們會(huì)安排專(zhuān)人在大型商場(chǎng)或者是車(chē)站等地進(jìn)行數(shù)據(jù)收集，為了保證數(shù)據(jù)收集的高效性一般會(huì)發(fā)一些小禮物給大家。

　　第二，數(shù)據(jù)清洗，即便有小禮物可拿，但趕著回去煮飯的家庭主婦、趕著去上班的白領(lǐng)們未必會(huì)很認(rèn)真的填寫(xiě)，所以初期收集到的數(shù)據(jù)未必是真實(shí)的，可能會(huì)參雜著一定水分，所以需要做無(wú)效數(shù)據(jù)的剔除，確保留下來(lái)的都有分析的可能性。

　　第三，數(shù)據(jù)建模，建模乃是大數(shù)據(jù)分析的最難點(diǎn)，因?yàn)閿?shù)據(jù)量大，看著A數(shù)據(jù)和B數(shù)據(jù)有關(guān)聯(lián)，B數(shù)據(jù)和C數(shù)據(jù)也有關(guān)聯(lián)，所以這時(shí)候就需要選擇不同的切入點(diǎn)做建模，甚至根據(jù)過(guò)去調(diào)查結(jié)果顯示，大多數(shù)剛走上大數(shù)據(jù)分析崗的新人都需要嘗試n次之后才能找到正確的切入點(diǎn)。

　　第四，數(shù)據(jù)分析，為了保證最后結(jié)果的準(zhǔn)確性，在建模環(huán)節(jié)不少人會(huì)多角度切入同時(shí)操作，這樣在一個(gè)模型不契合之后可以直接進(jìn)入到另外一個(gè)模型的反向評(píng)估，而所謂的數(shù)據(jù)分析其實(shí)就是反向評(píng)估的過(guò)程，隨意拿數(shù)據(jù)套入到模型中看看是否滿(mǎn)足，如果不滿(mǎn)足就需要重新開(kāi)始。

　　第五，可視化結(jié)論的獲得，按照以上所說(shuō)去反向評(píng)估之后應(yīng)該就能得到一個(gè)跟真實(shí)情況維持一致的模型，這還不夠，還需要以大眾懂得的語(yǔ)言來(lái)得到結(jié)論，對(duì)非專(zhuān)業(yè)人士而言，他們并不知道到底這個(gè)模型圖片代表著什么，你需要用文字組織語(yǔ)言、告訴大家這次分析之后的結(jié)果：不同參數(shù)數(shù)據(jù)之間的大概關(guān)系。

　　以上流程的執(zhí)行雖然不難，但是要在每個(gè)環(huán)節(jié)上都做到需要學(xué)會(huì)各種不同的工具軟件，如R，Tableau，Python，Matlab，Hive，Impala，PySpark，Excel，Hadoop，SQL和SAS，這些一個(gè)都不能少。懂流程，懂軟件就可以開(kāi)始嘗試著分析了，也許初次接觸的分析結(jié)果跟實(shí)際情況不統(tǒng)一，但總是能走完整個(gè)流程的。