GPU装在服务器上后,可以正常开始训练模型,但过一定的迭代次数(这个次数是随机的)以后GPU模块会崩掉,服务器显示无法找到设备,必须重启才能正常使用GPU。重启以后还会重复这个过程。
查看报错日志并进行对应更改也没有解决该问题。开始以为是驱动问题,但是更新了驱动和cuda以后并没有改善该情况;后来又猜想是代码问题,但是运行部分caffe的官方实例也出现了该问题;在网上查资料,发现有一个人出现的情况和我非常相似,他最后发现是BIOS版本太低的原因,通过升级BOIS解决的【
https://devtalk.nvidia.com/default/topic/580582/cuda-error-4-that-requires-pc-reboot-help-/
】,但是我们的GPU装在服务器上,这种尝试风险太大,于是决定放弃。
换到台式机上重新安装GPU。但是单位配的是微塔式的台式机DELL OptiPlex 7040,实在是太小了。GPU型号是Geforce GTX Titan X,体型太大,根本放不进去。
即使勉强放进机箱中,看下图好像能塞进去的样子(虽然伸出机箱一大截),但其实因为有线挡住,PCI接口根本没有插进去。
GPU安装在台式机上发现如下问题:
• GPU太大,机箱太小,放不下
• GPU要求至少600W的电源供电,主机电源只能提供240W电量
• 内存不够
【PS:我的显卡算是重量级的了,就必须要换机箱和电源了。如果是一般的游戏显卡,可以选择GTX750、GTX750ti、GTX1050ti、GTX1050、GTX1030这些芯片,功率不大的不需要外接电源的半高显卡,拔掉不常用的光驱电源和其它不用的外设,这个机箱自带的225W的电源足够用了。】
开始想到的解决方案:
• 购买新的大功率电源
• 购买PCI延长线,将GPU接到主机外
• 加内存条
实际解决过程中又遇到新的问题:
• 如果将GPU放在机箱外边,就要购买长的延长线,而长的延长线不仅会造成功能损耗,甚至可能造成GPU运行不稳定或者无法使用。
• 如果购买短的延长线,GPU仍然放不开,即使可以放开也不好固定。
• 因GPU体积较大,放在即使插在主板上也会挡住另外的两个PCI插槽,导致机器自带的独立显卡无法使用。
一点点关于内存条的知识:笔记本上的内存条和台式机上的是不能通用的。如下图,上面那个内存条是台式机的,宽条;下边那个是笔记本的,窄条。
Dell OptiPlex 7040需要DDR4的台式机内存(宽条)。
新的解决方法:
• 机器自带的独立显卡拆掉,经测试仍然可以显示。
• 购买600W大功率电源。
• 购买可以放开GPU的大机箱,将主板及配件拆下来放在大机箱里。
• 购买适用于台式机的容量较大的内存条。
电源、机箱、内存条买到以后就可以开始拆机、装机。
工具,有一套螺丝刀就够用了。
我是从原机器上把所有的零件都拆下了,再装到新的机箱中。我之前没有干过拆机器的活,第一次弄,所以我在大拆之前,先把主板的全貌,以及各个插线的部分都照了下来。然后每拔掉一根线就把该线与主板的接头以及主板上的阵脚一起照下来。避免我以后再装的时候找不对位置。
注意:所有操作都要在断电以后进行。
我的拆机过程:
• 独立显卡可以先拆下来。
• 内存条拔下来。
• 硬盘与主板的连接线,光驱与主板的连接线,各有两根,一根用来供电另一根用来读取数据。
• 主板供电线一根,CPU供电线一根。
• 主板与CPU散热器连接线一根。主板与风扇连接线。
• 拆下CPU散热器,就可以拆主板了。
• GPU供电要换成大功率电源,原主机的电源就不用拆了。
装机:
先装主板。
主板规格是由Intel公司制定的,叫做ATX。标准的ATX主机板,长12英寸,宽9.6英寸(305毫米×244毫米)。micro ATX是由此派生的,也叫做小板,长宽均为9.6英寸(244毫米×244毫米)。标准主板的孔距图如下图所示,整个版面是ATX板,深灰色部分是micro ATX板。
安装第一步就出现了问题。孔位对不上!
Dell的这款OptiPlex7040是自己定制的主板,虽然长宽也是244毫米×244毫米,但是孔位排布不是标准排布。该主板拆完以后,孔位分布如下
量了一下,只能对上两个孔,还是同侧的。没办法先忍了吧,谁让原来的机箱太小呢。
然后装CPU散热器。
cpu散热器有两种,AMD的是直接扣上的,Intel的是螺丝拧上的。
然而我并没有螺丝,因为之前散热器是固定在机箱上的,于是自己配螺丝。
装上以后插上散热器与主板连接的线。
之后装硬盘
硬盘架是这样滴
侧边的里面有两个突出的点,硬盘上有对应的孔位,对准了塞进去就可以。
这是装完以后的样子
然后把硬盘装到机箱内。
再把电源塞进机箱。
电源
四个螺丝固定住
然后开始各种插线。
硬盘供电线
硬盘读取线
光驱我觉得暂时用不到就先没有装。
CPU供电线,4pin供电。
内存条和显卡直接插上到对应插槽就可以。
现在就剩了主板的供电线了。又出问题了。
dell的主板供电是这样的,8pin供电。
常规的电源供电都是这样的,24pin的
定制主板就是麻烦。没办法只好再找转接线。我到电子城去买都没有卖的。某宝就是厉害,什么都能找到。我买的这个
https://item.taobao.com/item.htm?spm=a1z09.2.0.0.pJJmYP&id=40300295758&_u=91hhkiu34ca6
装完以后的成果