数据分析工作流程
将数据架构组织为“层”概念的形式，可帮助大家根据实际需求选择最适用的访问控制，管道，提取、转换与加载（简称ETL）乃至特定用例集成。在构建分析类工作负载时，我们主要考虑以下六方面因素：
- 数据摄取层
- 数据访问与安全层
- 目录与搜索层
- 集中存储层
- 处理与分析层
- 用户访问与界面层
AWS 数据分析完善架构白皮书详细的介绍了以上各层级的关键点和最佳实践，您可以阅读我们的辅助课件Analytics Lens: AWS Well-Architected Framework了解细节。
在本次训练营中，我们对数据分析的工作流程4个环节进行细化的学习和实验。
数据摄取
从业务数据库，日志和物联网设备中收集原始数据是一个挑战。良好的数据分析解决方案允许开发人员以任何速度从批处理到流式传输各种数据（结构化，半结构化和非结构化）。
数据存储
一个好的数据分析解决方案应该提供安全，可扩展和持久的存储。此存储应包括可以存储结构化、半结构化和非结构化数据的数据存储。 例如，数据仓库可以有效地存储结构化分析数据，数据库可以存储结构化和半结构化数据，数据湖可以存储所有三种形式的数据。
数据处理
首先，必须对数据进行处理，然后对其进行转换以使数据更易于使用。作为处理的一部分，还将分析数据。这通常意味着对业务逻辑进行排序，聚合，联接和应用，以产生有意义的分析数据集。最后一步是将分析数据集加载到新的存储位置，例如数据湖，数据库或数据仓库。
数据分析和可视化
您有两种使用数据的方式：通过查询或使用商业智能（BI）工具。查询产生的结果非常适合数据分析师进行快速分析。BI工具可生成可视化效果，这些可视化效果可分为报告和仪表板，以帮助用户浏览数据并确定采取最佳措施。通过数据挖掘和模型训练的（AI）工具。