京东|京东:Flink SQL 优化实战( 四 )
table.exec.shuffle-mode , 该参数有多个参数 , 默认是 ALL_EDGES_BLOCKING , 表示所有的边都会用 blocking shuffle , 不过大家可以试一下 POINTWISE_EDGES_PIPELINED , 表示 forward 和 rescale edges 会自动开始 pipeline 模式 。
taskmanager.network.sort-shuffle.min-parallelism, 将这个参数设置为小于你的并行度 , 就可以开启 sort-merge shuffle;这个参数的设置需要考虑一些其他的情况 , 具体的可以按照官网设置 。
三、总结 本文着重从 shuffle、join 方式的选择、对象重用、UDF 重用等方面介绍了京东在 Flink SQL 任务方面做的优化措施 。 另外 , 感谢京东实时计算研发部付海涛等全部同事的支持与帮助 。
本文为阿里云原创内容 , 未经允许不得转载 。
- 京东|裁员不忘膈应人,这家互联网大厂送的离职礼物恶心到我了!
- 华为|华为新款86英寸电视曝光:京东方代工 120Hz高刷4K屏
- 京东e卡批量绑定软件
- 今天|华为nova 10开启预售
- 操作系统|618战报揭晓!淘宝拼多多失声,京东重回C位
- 微软|死心塌地的送快递12年:京东001号快递员金宜财,刘强东给了他什么
- MySQL|华为不再孤单?国产巨头杀入5G领域,市值暴涨4千亿超越腾讯!
- bilibili|外卖不赚钱?美团外卖一个季度赚15.8亿,抖音、京东都眼红了
- 海尔|唯品会京东的618数据中,一个“反常”现象被忽视了
- MySQL|它可能是300元内最值得购入的耳机
