数据工程师、数据分析师和数据科学家的角色不同但相互关联。数据工程师负责建立数据基础，确保数据质量标准和高效流程得到满足。没有这一点，数据分析师和数据科学家无法得出有用的见解，因为“输入的是垃圾，输出的也是垃圾”。

数据分析师定义和监测关键业务投资回报率，分析模式、趋势，识别召回情况，并根据这些历史发现为业务提出明确的建议。

另一方面，数据科学家做着类似的工作，但他们更侧重于探索未知领域和改进未来策略。这其中存在工作重叠的情况。例如，在我之前的工作中，作为一名数据分析师，我曾为我的团队管理内部数据管道，这通常是与数据工程师相关的任务。

在过去五年中，数据工程师的需求增长了30%。是的，绝对高于平均水平。随着人工智能的兴起，这种趋势预计将持续下去，因为人工智能需要大量高质量的数据。例如，我的团队目前正在与一家数字营销公司合作一个数据迁移项目，从批量ETL（抽取、转换、加载）过渡到实时ELT，以增强他们的数据基础，用于未来的人工智能应用和决策。

同时，根据2024年3月格拉斯哥的数据，美国数据工程师的平均基本工资为119,985美元，数据分析师为76,293美元，数据科学家为122,969美元。所以数据工程师的收入与数据科学家相当，比数据分析师高。