TensorFlow|Tensorflow 神经网络训练加速机器学习|深度学习|tensorflow

如何加快收敛速度？

使用GPU
越是复杂的网络，GPU的性能提高也明显。使用GPU是最有效的提高收敛速度的方法
【TensorFlow|Tensorflow 神经网络训练加速】使用model.fit()
使用tensorflow提供的model.fit()训练速度非常快，比自己编写的算法要快很多。凡是能够直接应用的，一定使用tensorflow提供的函数与方法。
使用@tf.function
如果必须要使用定制化的算法，可以在关键的地方使用@tf.function，大概可以提高1倍的训练速度。@tf.function 一般修饰梯度带所在的函数，也可以是计算损失函数。比如：

@tf.function def train_ae(x): with tf.GradientTape() as tape: x_rec_logits = model(x) # 把每个像素点当成一个二分类的问题； rec_loss = tf.losses.binary_crossentropy(x, x_rec_logits, from_logits=True) # rec_loss = tf.losses.MSE(x, x_rec_logits) rec_loss = tf.reduce_mean(rec_loss)grads = tape.gradient(rec_loss, model.trainable_variables) optimizer.apply_gradients(zip(grads, model.trainable_variables)) return rec_loss