好的,让我们开始吧。大家好!我的名字是托尼。我目前在一家咨询公司担任数据工程师。在此之前,我在一家金融科技公司担任数据分析师。今天我想讨论一下数据工程师的角色与数据科学和数据分析的不同之处、市场上的基本技能要求、未来的职业道路,以及哪些人应该考虑申请数据工程相关的职位。数据工程师需要从各种上游来源获取原始数据,并将其转换为高质量、一致的数据以供下游使用。这个过程包括几个阶段:生成、存储、注入、转换和提供服务。数据工程师的角色会根据公司和团队的不同而有很大的差异。
例如,在一家创业公司中,数据工程师就像是一个多面手,需要为数据工程周期构建数据架构和最佳实践。在有正规数据操作流程的成熟公司中,数据工程师更像是一个专家。一些数据工程师与上游(如软件工程师和应用工程师)密切合作来维护架构,而其他数据工程师则专注于下游,根据业务需求维护数据仓库中的数据管道。对于这些类型的数据工程师来说,他们与数据科学家、数据分析师和业务分析师密切合作。