发表于 | Edited on | 分类于 | 评论数：

Tensorflow专题3：模型优化策略

初始化优化

  • 权值W使用：tf.random_truncated
    偏置值b使用：0.1
    1
    2
    W1 = tf.Variable(tf.truncated_normal([784,128], 0.,0.5))
    b1 = tf.Variable(tf.zeros([128]) + 0.1)

过拟合优化

  • 增加数据集
  • 正则化
  • dropout：每次停用部分神经元
    1
    2
    # keep_prob是设置层L1工作神经元的百分比
    tf.nn.dopout(L1, keep_prob)

收敛速度优化

  • 更改损失函数 loss，如交叉熵
  • 更改优化器算法 optimizer，如自适应优化算法
  • 更改学习率。如动态学习率
꧁༺The༒End༻꧂