在定义图结构之前不用加入gpu：0，只有在session中计算之前在加入，否则的话会提示不能使用gpu保存模型等问题。

 with
  tf.device(
 '/gpu:0'
  ):

补充：关于应用gpu训练神经网络的注意事项

对于GPU来说，一定要注意的是，要分别在两个GPU上，或者不同时的在一个GPU上运行train和evaluation的部分，否则限于GPU擅长迭代而不擅长逻辑的特性，会发生OOM（out of memory）

以上为个人经验，希望能给大家一个参考，也希望大家多多支持。如有错误或未考虑完全的地方，望不吝赐教。