京东|京东:Flink SQL 优化实战( 四 )


table.exec.shuffle-mode , 该参数有多个参数 , 默认是 ALL_EDGES_BLOCKING , 表示所有的边都会用 blocking shuffle , 不过大家可以试一下 POINTWISE_EDGES_PIPELINED , 表示 forward 和 rescale edges 会自动开始 pipeline 模式 。
taskmanager.network.sort-shuffle.min-parallelism, 将这个参数设置为小于你的并行度 , 就可以开启 sort-merge shuffle;这个参数的设置需要考虑一些其他的情况 , 具体的可以按照官网设置 。
三、总结 本文着重从 shuffle、join 方式的选择、对象重用、UDF 重用等方面介绍了京东在 Flink SQL 任务方面做的优化措施 。 另外 , 感谢京东实时计算研发部付海涛等全部同事的支持与帮助 。
本文为阿里云原创内容 , 未经允许不得转载 。