数据计算及应用四年,说说我从”处理数据”到”数据工程师”的转变
先说背景:某211高校数据计算及应用本科,现在在一家互联网公司做数据工程师。
说实话,当初选数据计算及应用是被”大数据”和”应用”吸引的——听起来就是处理数据的。进来之后才发现,这专业比我想象的有技术含量。
数据计算及应用是融合计算机科学、统计学、数学的新工科专业。简单来说,就是”玩转数据”的专业。
大一:数学+编程双重基础
大一上学期,高等数学、线性代数、C++/Python高级程序设计、计算机科学导论。
这几门课是基础中的基础。编程和数学是数据科学的底层逻辑。
我还开始刷LeetCode了——算法能力是程序员的必备技能。
大一下学期,数据结构与算法、概率论与数理统计、数据库原理、离散数学。
数据结构与算法是计算机的核心——编程能力的底层逻辑。
概率论与数理统计是统计的基础——数据分析的理论基础。
大二:核心专业课+技能培养
大二上学期,大数据技术概论、Hadoop与Spark、数据仓库与数据挖掘、算法设计与分析。
大数据技术概论让我系统了解了大数据技术体系——分布式存储、分布式计算……
Hadoop与Spark是大数据处理的核心框架——必须掌握。
我还开始用Spark处理数据了——第一次处理TB级数据,那种感觉很震撼。
大二下学期,机器学习基础、深度学习入门、云计算技术、时间序列分析。
机器学习基础是核心课——监督学习、无监督学习、模型评估……
深度学习入门让我接触到了AI的核心——神经网络、卷积、循环……
大三:深入学习+项目实践
大三上学期,大数据系统架构、数据治理与质量管理、自然语言处理、推荐系统。
大数据系统架构是核心技术——设计大规模数据系统。
数据治理与质量管理让我学会了保证数据质量——数据清洗、数据校验……
我还参加了一个大数据竞赛项目——用真实数据做推荐系统,那种感觉很锻炼人。
大三下学期,准备毕设+思考未来。
大四:最后的冲刺+就业
大四上学期,参加招聘会+找工作。
最后我选择了一家互联网公司做数据工程师。工作内容是构建数据管道、开发数据报表、保证数据质量。
考研还是就业?
本科就业:互联网公司、金融科技公司——做数据工程师、数据开发。
读研之后:高级数据工程师、数据架构师——做核心技术。
数据计算及应用人必须知道的技能
-
编程语言:Python、SQL——数据处理必备。
-
大数据框架:Hadoop、Spark——大数据处理必备。
-
数据库:MySQL、PostgreSQL、Hive——数据存储必备。
-
云平台:AWS、阿里云——云上数据处理必备。
数据计算及应用毕业都能去哪?
互联网公司:这是我现在的方向。数据工程、数据平台、数据仓库。
金融科技公司:做金融数据工程、风控数据。
电商公司:做用户数据、商品数据。
数据服务公司:做数据产品、数据服务。
政府/企业信息化部门:做数据治理、数据分析。
科研院所:继续深造,做数据科学研究。
该考什么证书?
-
大数据工程师证书:行业内的技能认证。
-
数据治理工程师证书:数据治理方向有用。
-
云计算证书:AWS、阿里云认证。
-
Kaggle比赛获奖:数据科学能力证明。
最后说一句:数据计算及应用是一个”热门且有前景”的专业。数据正在成为新的生产要素,数据工程师需求量大、薪资可观。如果你喜欢数据和编程,这是一个值得选择的方向。