大数据|大数据开发与管理架构完整剖析( 二 )

任务调度：根据计算资源、实时性等因素对计算任务进行合理调度分配。

3. 数据管理目的：对原始数据、经过处理的数据等资源进行分层管理，合理配置存储资源。
要做什么：

分层管理：对于不同阶段产生的数据需要分别进行管理，以便每一步处理留痕方便后续历史追溯。主要分为5部分：ODS（Operation Data Store 数据源头层）、DWD（Data Warehouse Details 数据细节层）、DWS（Data Warehouse Service 数据服务层）、ADS（ApplicationData Service 应用数据服务）、DIM（Dimension 维表层）。
存储成本管理：由于数据产生量巨大，同时还伴随需保留中间处理结果，所以存储成本需要进行相应控制，控制方式有4种：数据治理、数据压缩、数据生命周期管理、模型优化。

4. 数据应用目的：将处理好的数据对外提供展开应用。
要做什么：

应用支撑：对于需要数据支撑的系统与模块提供服务。首先，需要对各维度进行模型构建，例如：商品、用户、会员等。建立描述完整的宽表；其次，需要梳理数据域、业务流程、各项原子指标与派生指标，定义各项指标口径，选择合适的模型构建方法（例如：雪花模型、星型模型）进行关联构建，构建好的专题库（也可称之为业务块）向上提供服务。
开放接口：组织数据资产中的部分字段为接口，定义请求与相应参数并将其开放至数据市场中，用户可根据需求进行订阅申请。

5. 数据安全目的：保证数据安全可追溯。
要做什么：

本文由@丸子不爱吃丸子原创发布于人人都是产品经理，未经许可，禁止转载。
【大数据|大数据开发与管理架构完整剖析】题图来自Unsplash，基于CC0协议