作业帮基于 StarRocks 画像系统的设计及优化实践( 三 )
结论4:测试4分析fragment1/2实际并行度计算公式如下 。 适当增加tablet个数【partition、bucket】和execinstancenum可以加快查询速度 。 此加速过程会作用于结论1中全部耗时点 。
当tablet个数【不含副本】小于parallel_fragment_exec_instance_num*BE个数时取tablet个数
当tablet个数【不含副本】大于parallel_fragment_exec_instance_num*BE个数时取exec_instance_num*BE个数
(3)kv+Agg测试
此部分主要用于存储标签枚举值较少的用户集合 , 所以数据量并不多 , 基本1s内返回 。
根据查询模板猜测当数据量较大时可能的性能瓶颈点主要:
Scan过程[OLAP_SCAN_NODE]:bitmap对象反序列化和SegmentRead过程 。 可考虑用enable_bitmap_union_disk_format_with_set优化 。
bitmap_union算子 , 如果按照上边优化方案调整bitmap元素分布就需要在表中增加更多行的数据性能未必会好 。 需要测试看数据后选择平衡 。
(4)补充说明
遇到的坑:
【作业帮基于 StarRocks 画像系统的设计及优化实践】查询bitmap_or(to_bitmap(字段A) , to_bitmap(字段B)) , 字段A/B有空值时计算错误 。 通过ifnull(to_bitmap(字段名),bitmap_empty())解决 。
- One|基于Android 13打造:三星Galaxy S22抢先用上One UI 5.0
- |如何快速帮助中小企业开展网络营销!
- 360创始人周鸿祎:科技企业要帮助中小微企业实现数字化脱贫
- 移动互联网|易上手的交互型软件,帮助设计更轻松
- 英伟达|NVIDIA Triton 推理引擎公开课上新:基于多实例 GPU 和 K8s 的大规模 CV 模型部署实践
- 打造理性消费新观念,电商价格监测APP帮助全网用户慢慢买
- 在互联网高速发展的时代|专帮全新产品上线——微火休闲娱乐系统
- |一年帮华为赚百亿,辞职后屡次创业失败,有些人离开平台就不行
- 小红书|一年帮华为赚百亿,辞职后屡次创业失败,有些人离开平台就不行
- 苹果|澳大利亚成功制造了可控光流组件,基于光的通信设施将迎来革新
