最近,有一些将毕业的朋友来问我,关于数据岗位是怎么区分的。同时我也发现很多刚刚入门的朋友,对于数据这个行业的众多岗位不甚了解。所以这次,笔者来对数据处理流程所涉及到的岗位进行一次简单的梳理。
数据从产生到形成资产,再到可视化,是一个漫长且有众多坑的过程。从数据预处理->数据存储->数据治理->数据模型构建->数据分析->数据挖掘->数据可视化,需要经过一系列的过程,从而也催生了众多与数据相关的岗位。
下面,我就根据日常数据处理的流程,来梳理一次数据处理步骤与对应岗位的关系。(以下标题为专业术语,如果看不明白,也可以百度再查查,深度理解)
数据预处理
内容:主要是对数据进行一个预处理,即清洗的过程。这个也就是大家平常所熟知的ETL工程师,专门来做数据的抽取工作的。
[图源网络,侵删]
数据治理
内容:主要是对数据进行一个整理的过程,让数据价值化。整个数据治理下来,将会形成众多数据资源目录与文件,随之也会有:内容也颇为复杂,只有身处其中的工程师们才能感受到这工作多么磨练人的耐性啊hhhhh
数据模型构建
在上一步进行数据清洗/数据治理之后,数据就变得清晰起来了。这个时候呢,dengdengdeng,数据仓库工程师的主场来了。岗位:数据仓库工程师(有的时候,数据产品经理也肩负这个职责)比如说建设数据中心或者数据中台,这种数据建模的话,那可不是一时半会能完成的事,需要众多工程师与业务同胞们的共同努力,才能形成良好的、且可持续发展应用的数据仓库。
为特定场景的数据分析作服务,这个阶段有时候也由数据产品经理来兼做,比如说构建一个评价指标RFM客户分群模型,把模型构建出来的同时,原型也就出来了。
数据分析
万众瞩目的数据分析,终于轮到你上场啦~\(≧▽≦)/~数据分析,可以是简单的图表统计,也可以是令人头秃的数据挖掘。在数据治理及数据建模的基础上,进行分析,可是会省力不少哦。
内容:对数据进行多维度分析,找出数据的规律,并用数据支撑业务的发展。
[图源网络,侵删]
数据挖掘
内容:数据分析的升级版,通过聚类、回归、随机森林、决策树等等一系列的算法模型,挖掘出数据的价值。
[图源网络,侵删]
数据可视化
将数据效果进行美化,可视化的最高级应用,当然是数据大屏的展示啦~由UI设计师精心打造的,数据大屏效果,这个时候会交由BI工程师进行实现。
[图源网络,侵删]
又是一段时间没更新了,最近在学习数据产品与数据分析/数据挖掘方面的知识,志同道合的朋友们可以一起交流鸭~