Question
一直很迷，
在给Dataloader设置worker数量（
num_worker
）时，到底设置多少合适？这个worker到底怎么工作的？
如果将
num_worker
设为0（也是默认值），就没有worker了吗？
worker的使用场景：
rom torch.utils.data import DataLoader
train_loader = DataLoader(dataset=train_data, batch_size=train_bs, shuffle=True, num_worker=4)
valid_loader = DataLoader(dataset=valid_data, batch_size=valid_bs, num_worker=4)
Answer
-
每每轮到dataloader加载数据时：
for epoch in range(start_epoch, end_epoch): for i, data in enumerate(trainloader):dataloader一次性创建
num_worker
个worker，（也可以说dataloader一次性创建
num_worker
个工作进程，worker也是普通的工作进程），并用
batch_sampler
将指定batch分配给指定worker，worker将它负责的batch加载进RAM。然后，dataloader从RAM中找本轮迭代要用的batch，如果找到了，就使用。如果没找到，就要
num_worker
个worker继续加载batch到内存，直到dataloader在RAM中找到目标batch。一般情况下都是能找到的，因为
batch_sampler
指定batch时当然优先指定本轮要用的batch。 -
num_worker
设置得大，好处是寻batch速度快，因为下一轮迭代的batch很可能在上一轮/上上一轮…迭代时已经加载好了。坏处是内存开销大，也加重了CPU负担（worker加载数据到RAM的进程是CPU复制的嘛）。
num_workers
的经验设置值是自己电脑/服务器的CPU核心数，如果CPU很强、RAM也很充足，就可以设置得更大些。 -
如果
num_worker
设为0，意味着每一轮迭代时，dataloader不再有自主加载数据到RAM这一步骤（因为没有worker了），而是在RAM中找batch，找不到时再加载相应的batch。缺点当然是速度更慢。
参考资料