博客

在Flink中，taskmanager中划分不同slot，计算过程中算子在多个Slot中进行，因此不同算子的计算数据之间不能像Java数组之间一样互相访问，Broadcast可以解决这个问题。 在 flink 中, 针对某一个算子需要使用公共变量的情况下, 就可以把对应的数据给广播出去, 这样在所有的节点中都可以使用了。

在一个算子中使用广播变量主要有两个步骤:

1. 
   广播变量
   

   使用 withBroadcastSet(data, “name”) 这个方法即可, name变量代表了获取该广播变量的名称

2. 
   使用广播变量
   

   使用方法主要是通过 RichFunction, 在 对应的 open( )方法中, 可以根据名称来获取对应的广播变量, 只需要一次获取, 就可以一直使用了, 具体方法如下:

代码如下

package com.test;

import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.operators.DataSource;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.configuration.Configuration;

import java.util.HashMap;
import java.util.List;


public class Broadcast {

    public static void main(String[]