博客

翻译自：


http://www.cs.toronto.edu/~kriz/cifar.html

CIFAR-10和CIFAR-100是带有标签的数据集，它们是8000万个微小图像数据集的子集，他们由Alex Krizhevsky，Vinod Nair和Geoffrey Hinton收集。

CIFAR-10数据集

CIFAR-10数据集由10个类的60000个32×32彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像。

数据集分为五个训练批次和一个测试批次，每个批次有10000个图像。测试批次包含来自每个类别的恰好1000个随机选择的图像。训练批次以随机顺序包含剩余图像，但一些训练批次可能包含来自一个类别的图像比另一个更多。总体来说，所有训练批组成的训练集，每一类都有5000张图。

以下是数据集中的类，以及来自每个类的10个随机图像：



这些类完全相互排斥。汽车和卡车之间没有重叠。“汽车”包括轿车，SUV，这类东西。“卡车”只包括大卡车。都不包括皮卡车。

CIFAR-10下载

共有三个版本

CIFAR-10 python版本  (http://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz)
CIFAR-10 Matlab版本  (http://www.cs.toronto.edu/~kriz/cifar-10-matlab.tar.gz
CIFAR-10二进制版本（适用于C程序）(http://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz)

Baseline results (基线结果？还不是很懂)

你可以在cuda-convert的项目页面上找到此数据集上的一些基线可复制的结果。这个结果是由CNN卷积神经网络得到的。简要的说，在没有数据扩充的情况下，测试误差为18%，反之为11%。

（emmm这段感觉关系不大。。。）

数据集布局

Python/Matlab 版本

该数据集文件包含data_batch1……data_batch5，和test_batch。他们都是由cPickle库产生的序列化后的对象（关于pickle,移步https://docs.python.org/3/library/pickle.html）。这里给出python2和python3的例程，他可以打开这样的pkl文件，返回一个字典结构的数据：

python2:

def unpickle(file):
    import cPickle
    with open(file, 'rb') as fo:
        dict = cPickle.load(fo)
    return dict

python3:

def unpickle(file):
    import pickle
    with open(file, 'rb') as fo:
        dict = pickle.load(fo, encoding='bytes')
    return dict

这样的话，每个batch文件包含一个字典，每个字典包含有：

• Data
  
  一个10000
  
  3072的numpy数组（numpy:
  
  https://docs.scipy.org/doc/numpy-dev/user/quickstart.html
  
  ） ， 数据类型是无符号整形uint8。这个数组的每一行存储了32
  
  32大小的彩色图像（32
  
  32
  
  3通道=3072）。前1024个数是red通道，然后分别是green,blue。另外，图像是以行的顺序存储的，也就是说前32个数就是这幅图的像素矩阵的第一行。

• labels
  
  一个范围在0-9的含有10000个数的列表（一维的数组）。第i个数就是第i个图像的类标。

数据集除了6个batch之外，还有一个文件batches.meta。它包含一个python字典对象，内容（entries）有：

• label_names
  
  一个包含10个元素的列表，每一个描述了labels array中每个数字对应类标的名字。比如：label_names[0] == “airplane”, label_names[1] == “automobile”

二进制版本

该版本包含5个训练批data_batch_1.bin, data_batch_2.bin, …, data_batch_5.bin，1个测试批test_batch.bin。他们的格式都是：

<1 x label><3072 x pixel>
...
<1 x label><3072 x pixel> 

换句话说，第一个字节是第一个图像的标签，它是一个0-9范围内的数字。接下来的3072个字节是图像像素的值。前1024个字节是红色通道值，下1024个绿色，最后1024个蓝色。值以行优先顺序存储，因此前32个字节是图像第一行的红色通道值。

每个文件都包含10000个这样的3073字节的“行”图像，但没有任何分隔行的限制。因此每个文件应该完全是30730000字节长。

还有另一个文件，称为batches.meta.txt。这是一个ASCII文件，它将0-9范围内的数字标签映射到有意义的类名称。它仅仅是10个类名的列表，每行一个。第i行的类名称对应于数字标签i。

CIFAR-100数据集

这个数据集就像CIFAR-10，除了它有100个类，每个类包含600个图像。，每类各有500个训练图像和100个测试图像。CIFAR-100中的100个类被分成20个超类。每个图像都带有一个“精细”标签（它所属的类）和一个“粗糙”标签（它所属的超类）

以下是CIFAR-100中的类别列表：

CIFAR-100下载

CIFAR-100 python版本 
CIFAR-100 Matlab版本 
CIFAR-100二进制版本（适用于C程序）

数据集布局

Python/matlab版本

python和Matlab版本的布局与CIFAR-10相同.

二进制版本

CIFAR-100的二进制版本与CIFAR-10的二进制版本相似，只是每个图像都有两个标签字节（粗略和细小）和3072像素字节，所以二进制文件如下所示：

<1 x粗标签> <1 x精标签> <3072 x像素>
...
<1 x粗标签> <1 x精标签> <3072 x像素>