中国邮政邮科院|中国邮政邮科院 X DorisDB：统一OLAP平台，大幅降低运维成本( 二 )

四、DorisDB应用实践DorisDB已经投入生产环境，主要作为离线/实时数据的OLAP数据库使用。离线数据主要存储于HDFS中，通过DataX任务批量同步数据到DorisDB；另一部分实时数据主要存储于Kafka中，使用DorisDB的routine load功能实时将数据从kafka写入到DorisDB。
在没有引入DorisDB之前，我们使用的底层引擎是MySQL、Presto on HDFS和ClickHouse等系统，对明细表/聚合表进行查询。这几种方式都存在着不少问题：
·MySQL处理上亿规模的数据，无论使用分库分表、分区表、集群化部署的PolarDB方案，都会存在慢查询、数据库扛不住、运维困难的窘境；
·Presto on HDFS的方案更偏向于分析型数据业务，虽然能存储海量的数据，计算能力不错，唯一致命的在于无法满足在线业务的高吞吐QPS，查询比较难做到毫秒级。
·ClickHouse对Join支持较弱，通常使用大宽表建模，不够灵活，另外运维也比较复杂。
·在引入DorisDB替换MySQL、Presto和ClickHouse后，DorisDB带来的业务效果如下：
·支撑了在线报表查询+数据分析业务，服务于对内运营+对外行业分析的数据产品，报表业务查询大部分耗时在毫秒级别，分析型业务查询大部分耗时在秒级别；
·支持10亿规模的明细表查询，月、季、年等维度统计数据现场算聚合统计、精准去重等，查询耗时都能控制在500ms以内；
·千万级别的多表的Join和union查询，经过Colocate Join特性优化，查询响应在秒级。
另外，我们还将DorisDB应用到实时数据分析场景，DorisDB在实时数据分析主要有如下优势：
·实时写入性能：目前DorisDB支持HTTP方式的Stream Load，可以自定义的分钟级别微批写入，以及Routine Load功能，可以将Kafka的数据实时同步到DorisDB中，满足当前实时数据分析业务；
·统一离线和实时分析：实时数据和离线数据更好的在DorisDB中进行融合，灵活支撑应用，数据存储策略通过DorisDB动态分区的功能进行自动管理；
·SQL Online Serving：高效的SQL即席查询能力，能够兼容业界标准的SQL规范，支撑业务灵活复杂的访问，提高取数开发的效率。
五、总结和规划【中国邮政邮科院|中国邮政邮科院 X DorisDB：统一OLAP平台，大幅降低运维成本】邮科院数据组引入DorisDB生产集群，解决了数据服务层单表亿级别规模、高QPS数据场景下引擎的空白，直接开放明细表准实时查询的能力，给各项目组上层数据业务和BI系统提供了更多的选择和自由度，同时将大大减少数仓中大量ETL任务、聚合表、报表，降低了数仓ETL的运维压力和维护成本，DorisDB综合性价比较原有的MySQL、Presto、ClickHouse等同类产品提升数倍以上。
未来，邮科院在DorisDB的应用和实践上还有不少规划：
·除了unique和duplicate数据模型，未来会将符合的数据场景迁移至aggregation模型，并使用物化视图，进一步降低数仓开发维护成本，降低查询延迟；
·DorisDB on ES的功能也值得我们深挖和探索，解决原生ES集群无法支持跨索引Join的能力；
·更多数据应用层的场景接入DorisDB，例如网点画像服务、邮路路径分析等，将进一步拓展DorisDB在实时数据写入、批量数据更新场景中的应用；
·与科研数据分析平台、数仓平台深度打通，完善数据整体架构，作为数据团队的基础设施去保障稳定性和服务；
·考虑使用多云架构，自主可控的数仓架构可以灵活的在多云间切换迁移，降低单一云厂商的依赖，控制成本提高可用性。
·......
最后的最后，感谢DorisDB技术团队给予的热情、靠谱的答疑解惑和技术支持！！！