CPU的存储单元包括全局存储，纹理存储，常量存储，共享存储，局部存储和寄存器等。另外，CPU端（主机端）存储类型（页锁定存储 [pinned 存储]和可分页存储[pagable 存储]），以及CPU和GPU的通信接口和通信方式也是会影响GPU程序执行的性能。
针对一般情况，整理了下面的一个表格，来说明GPU存储基本信息。
从GPU的结构来看，是分成Grid->Block->Thread，所以，GPU也是针对这个层次来设计存储结构的，从上面的表格中可以看到。register和local memory是针对Thread来设计的，shared memory是针对Block来设计，而其他的三个是针对Grid来进行设计的。为了提高更进一步的访问速度，Constant Memory，Texture Memory和Global Memory也都针对Block提供了Cache的解决方案。
https://zhuanlan.zhihu.com/p/108019839