适用人群
主要针对有计算机背景，对大数据，分布式系统
感兴趣学习的学员，对于CS类申请留学的学员可以极大提升相关背景和应用能力
你将收获
LLM应用入门项目结业证明
美国微软软件工程师提供推荐信
你将学习的技能
从零开始搭建一个基于AWS和LLaMA的股票信息分析系统
在线数据库的搭建和使用
简单的web API的实现以及简单的UI界面
课题介绍
随着自然语言处理（NLP）技术的进步，大型语言模型（LLM）在文本分析、摘要生成、情感分析等领域展现出了强大的能力。新闻媒体行业每天都会产生海量信息，如何高效地分析新闻内容、提取关键信息、进行舆情分析，成为了亟待解决的问题。LLaMA 作为一款高性能的开源 LLM，提供了低成本、高效的文本处理能力，为构建智能新闻分析平台提供了技术基础。
课程大纲
该项目内容主要包括LLM概念学习，LLM在线推理系统的搭建，基于云平台应用的开发。
1
LLM knowledge and inference engine；Transformers 101；Decoding Models (LLaMA 3) Architecture； Inference Engine (vLLM) Introduction & Setup；Prompt Engineering
考察：Set up an online decoding inference engine
授课4小时; 学习6小时
2
Backend & online inference service；Docker 101；Amazon SageMaker Introduction；Serverless LLM Alternatives；AWS Lambda for Inference；Message Delivery
考察：Implement a service that can automatically parse and summary online stock news
授课4小时; 学习5小时
3
Control plane & API design ；Dynamic Configuration Management；Web API Design
考察：Implement a control plane based on web API. Set up database
授课2小时; 学习4小时
4
UI & Frontend；Simple UI Setup
考察：Implement the UI of the service & visualize the result
授课2小时; 学习4小时
课程导师
