博客

 #设置数据增强方法
 transform = transforms.Compose(
        [transforms.ToTensor(),
         transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])
 
 #加载数据集的数据，返回所有样本的img和label
 trainset = torchvision.datasets.CIFAR10(root='./data', train=True,
                               download=True, transform=transform)
 #对数据进行batch采样
 trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,
  shuffle=True, num_workers=2)

1.加载数据集的是数据，返回所有样本的img和label

通过数据加载类完成这一操作

数据加载类包括三个函数：__init__()、__getitem__()、__len()__()

（1）__init__()

__init__(
        self,
        root: str,
        train: bool = True,
        transform: Optional[Callable] = None,
        target_transform: Optional[Callable] = None,
        download: bool = False,
)

返回所有样本的img和label

(2)__getitem__()

这个函数在进行epoch训练时才会运行，根据给出的index确定样本，并进行数据增强操作。

返回数据增强后的样本。

    def __getitem__(self, index: int) -> Tuple[Any, Any]:
        
        img, target = self.data[index], self.targets[index]

        img = Image.fromarray(img)

        if self.transform is not None:
            img = self.transform(img)

        if self.target_transform is not None:
            target = self.target_transform(target)

        return img, target

(3)__len()__()

返回数据的数量

def __len__(self) -> int:
      return len(self.data)

2.确定训练时的数据加载方式

torch.utils.data.DataLoader，结合了数据集和取样器，并且可以提供多个线程处理数据集。用来把训练数据分成多个小组，此函数每次抛出一组数据。直至把所有的数据都抛出。就是做一个数据的初始化。

参数：

dataset：包含所有数据的数据集

batch_size :每一小组所包含数据的数量

Shuffle : 是否打乱数据位置，当为Ture时打乱数据，全部抛出数据后再次dataloader时重新打乱。

sampler : 自定义从数据集中采样的策略，如果制定了采样策略，shuffle则必须为False.

Batch_sampler:和sampler一样，但是每次返回一组的索引，和batch_size, shuffle, sampler, drop_last 互斥。

num_workers : 使用线程的数量，当为0时数据直接加载到主程序，默认为0。

collate_fn:不太了解

pin_memory:s 是一个布尔类型，为T时将会把数据在返回前先复制到CUDA的固定内存中

drop_last:布尔类型，为T时将会把最后不足batch_size的数据丢掉，为F将会把剩余的数据作为最后一小组。

timeout：默认为0。当为正数的时候，这个数值为时间上限，每次取一个batch超过这个值的时候会报错。此参数必须为正数。

worker_init_fn:和进程有关系，暂时用不到

torch.utils.data.DataLoader中有采样器、迭代器、__len__()。