我要报名
适用人群
主要针对留学或求职想申请软件工程、分布式系统开发、大数据平台后端架构方向开发的学员,由浅入深了解常用的分布式系统架构与大数据平台。项目通过实战型极强的动手项目,学员会完成自己的后端大数据架构,可以用于留学申请或求职项目经历
你将收获
大数据平台架构与分布式系统实战项目证明
根据自己的idea设计出基本的后端大数据架构,并利用所学工具实现开发
硅谷导师推荐信
你将学习的技能
分布式系统开发
大数据平台后端架构
Hadoop
Spark
DataLake
Lambda
AWS
课题介绍
随着5G时代和云时代的到来,数据的爆炸性增长迫切需要区别于以往的强大的数据后台处理平台。本课程将带你认识大数据平台的理念,学习各种工具的基本结构, 领略企业级平台构建的案例。通过对分布式系统和平台架构的学习,利用AWS,做一套完整的大数据处理的pipeline
课程大纲
项目要求学生有基本的编程概念, 操作系统知识,总时长为16课时,基于每周一次的理论学习与实践编程。学员会在导师的指导下利用AWS的服务,完成一个大数据平台的架构设计和开发
1
Intro to Big Data Platform, Distributed System and Micro Services
考察:Q&A
授课2小时; 学习2小时
2
Intro to Hadoop Architecture
考察:Q&A
授课2小时; 学习2小时
3
Serverless Function: AWS Lambda + Setup AWS account
考察:AWS Lambda实战,开始从开源API抓取数据
授课2小时; 学习4小时
4
Distributed Storage: DataLake, Database, Datawarehouse
考察:AWS RDS, S3实战,Lambda将抓取的数据存储在这些地方
授课2小时; 学习4小时
5
Message Queue: Kafka, Kinesis, Kafka Streams
考察:AWS Kinesis 实战,利用Kinesis作为连接各个部件的message queue
授课2小时; 学习2小时
6
Distributed Computing: MapReduce + Spark Session I
考察:Spark 实战,从S3读取数据,build batch processing app
授课2小时; 学习4小时
7
Distributed Computing: Spark Session II
考察:Spark 实战,build app,将结果存回S3,deploy到AWS EMR
授课2小时; 学习4小时
8
Big Data Architecture case study: ETL/ELT pipeline, Micro Services, Saas.
考察:Q&A 学员有能力根据自己的idea设计出基本的后端架构
授课2小时; 学习4小时
课程导师
Eric

经历

Nutanix大数据后端工程师(美国)
参与过Nutanix校园招聘(美国)
曾在中科大/佐治亚理工等多校交流
AWS Certified Solutions Architect - Associate

教育

西安交大数学本科
宾夕法尼亚大学系统工程/计算机双硕士