数据计算及应用四年,说说我从”处理数据”到”数据工程师”的转变

先说背景:某211高校数据计算及应用本科,现在在一家互联网公司做数据工程师。

说实话,当初选数据计算及应用是被”大数据”和”应用”吸引的——听起来就是处理数据的。进来之后才发现,这专业比我想象的有技术含量。

数据计算及应用是融合计算机科学、统计学、数学的新工科专业。简单来说,就是”玩转数据”的专业。


大一:数学+编程双重基础

大一上学期,高等数学、线性代数、C++/Python高级程序设计、计算机科学导论。

这几门课是基础中的基础。编程和数学是数据科学的底层逻辑。

我还开始刷LeetCode了——算法能力是程序员的必备技能。

大一下学期,数据结构与算法、概率论与数理统计、数据库原理、离散数学。

数据结构与算法是计算机的核心——编程能力的底层逻辑。

概率论与数理统计是统计的基础——数据分析的理论基础。


大二:核心专业课+技能培养

大二上学期,大数据技术概论、Hadoop与Spark、数据仓库与数据挖掘、算法设计与分析。

大数据技术概论让我系统了解了大数据技术体系——分布式存储、分布式计算……

Hadoop与Spark是大数据处理的核心框架——必须掌握。

我还开始用Spark处理数据了——第一次处理TB级数据,那种感觉很震撼。

大二下学期,机器学习基础、深度学习入门、云计算技术、时间序列分析。

机器学习基础是核心课——监督学习、无监督学习、模型评估……

深度学习入门让我接触到了AI的核心——神经网络、卷积、循环……


大三:深入学习+项目实践

大三上学期,大数据系统架构、数据治理与质量管理、自然语言处理、推荐系统。

大数据系统架构是核心技术——设计大规模数据系统。

数据治理与质量管理让我学会了保证数据质量——数据清洗、数据校验……

我还参加了一个大数据竞赛项目——用真实数据做推荐系统,那种感觉很锻炼人。

大三下学期,准备毕设+思考未来。


大四:最后的冲刺+就业

大四上学期,参加招聘会+找工作。

最后我选择了一家互联网公司做数据工程师。工作内容是构建数据管道、开发数据报表、保证数据质量。


考研还是就业?

本科就业:互联网公司、金融科技公司——做数据工程师、数据开发。

读研之后:高级数据工程师、数据架构师——做核心技术。


数据计算及应用人必须知道的技能

  1. 编程语言:Python、SQL——数据处理必备。

  2. 大数据框架:Hadoop、Spark——大数据处理必备。

  3. 数据库:MySQL、PostgreSQL、Hive——数据存储必备。

  4. 云平台:AWS、阿里云——云上数据处理必备。


数据计算及应用毕业都能去哪?

互联网公司:这是我现在的方向。数据工程、数据平台、数据仓库。

金融科技公司:做金融数据工程、风控数据。

电商公司:做用户数据、商品数据。

数据服务公司:做数据产品、数据服务。

政府/企业信息化部门:做数据治理、数据分析。

科研院所:继续深造,做数据科学研究。


该考什么证书?

  1. 大数据工程师证书:行业内的技能认证。

  2. 数据治理工程师证书:数据治理方向有用。

  3. 云计算证书:AWS、阿里云认证。

  4. Kaggle比赛获奖:数据科学能力证明。

最后说一句:数据计算及应用是一个”热门且有前景”的专业。数据正在成为新的生产要素,数据工程师需求量大、薪资可观。如果你喜欢数据和编程,这是一个值得选择的方向。