锐客网

  1. 首页 > 睿知 > it技术 > >

python损失函数教程的简单介绍

函数IT技术

交叉熵损失函数是什么？平滑函数 。
交叉熵损失函数，也称为对数损失或者logistic损失 。当模型产生了预测值之后，将对类别的预测概率与真实值（由0或1组成）进行不比较，计算所产生的损失 ， 然后基于此损失设置对数形式的惩罚项 。
在神经网络中，所使用的Softmax函数是连续可导函数，这使得可以计算出损失函数相对于神经网络中每个权重的导数（在《机器学习数学基础》中有对此的完整推导过程和案例，这样就可以相应地调整模型的权重以最小化损失函数 。
扩展资料：
注意事项：
当预测类别为二分类时 ， 交叉熵损失函数的计算公式如下图，其中y是真实类别（值为0或1），p是预测类别的概率（值为0~1之间的小数） 。
计算二分类的交叉熵损失函数的python代码如下图，其中esp是一个极小值 ， 第五行代码clip的目的是保证预测概率的值在0~1之间，输出的损失值数组求和后，就是损失函数最后的返回值 。
参考资料来源：百度百科-交叉熵
参考资料来源：百度百科-损失函数
从零开始用Python构建神经网络从零开始用Python构建神经网络
动机：为了更加深入的理解深度学习，我们将使用 python 语言从头搭建一个神经网络 ， 而不是使用像 Tensorflow 那样的封装好的框架 。我认为理解神经网络的内部工作原理，对数据科学家来说至关重要 。
这篇文章的内容是我的所学，希望也能对你有所帮助 。
神经网络是什么?
介绍神经网络的文章大多数都会将它和大脑进行类比 。如果你没有深入研究过大脑与神经网络的类比，那么将神经网络解释为一种将给定输入映射为期望输出的数学关系会更容易理解 。
神经网络包括以下组成部分
? 一个输入层，x
? 任意数量的隐藏层
? 一个输出层，?
? 每层之间有一组权值和偏置，W and b
? 为隐藏层选择一种激活函数，σ 。在教程中我们使用 Sigmoid 激活函数
下图展示了 2 层神经网络的结构(注意：我们在计算网络层数时通常排除输入层)
2 层神经网络的结构
用 Python 可以很容易的构建神经网络类
训练神经网络
这个网络的输出 ? 为：
你可能会注意到 ， 在上面的等式中，输出 ? 是 W 和 b 函数 。
因此 W 和 b 的值影响预测的准确率. 所以根据输入数据对 W 和 b 调优的过程就被成为训练神经网络 。
每步训练迭代包含以下两个部分:
? 计算预测结果 ?，这一步称为前向传播
? 更新 W 和 b,，这一步成为反向传播
下面的顺序图展示了这个过程：
前向传播
正如我们在上图中看到的，前向传播只是简单的计算 。对于一个基本的 2 层网络来说，它的输出是这样的：
我们在 NeuralNetwork 类中增加一个计算前向传播的函数 。为了简单起见我们假设偏置 b 为0：
但是我们还需要一个方法来评估预测结果的好坏(即预测值和真实值的误差) 。这就要用到损失函数 。
损失函数
常用的损失函数有很多种，根据模型的需求来选择 。在本教程中，我们使用误差平方和作为损失函数 。
误差平方和是求每个预测值和真实值之间的误差再求和，这个误差是他们的差值求平方以便我们观察误差的绝对值 。
训练的目标是找到一组 W 和 b，使得损失函数最好?。布丛げ庵岛驼媸抵抵涞木嗬胱钚?。
反向传播
我们已经度量出了预测的误差(损失)，现在需要找到一种方法来传播误差，并以此更新权值和偏置 。
为了知道如何适当的调整权值和偏置，我们需要知道损失函数对权值 W 和偏置 b 的导数 。
回想微积分中的概念，函数的导数就是函数的斜率 。
梯度下降法
如果我们已经求出了导数，我们就可以通过增加或减少导数值来更新权值 W 和偏置 b(参考上图) 。这种方式被称为梯度下降法 。
但是我们不能直接计算损失函数对权值和偏置的导数，因为在损失函数的等式中并没有显式的包含他们 。因此，我们需要运用链式求导发在来帮助计算导数 。
链式法则用于计算损失函数对 W 和 b 的导数 。注意，为了简单起见 。我们只展示了假设网络只有 1 层的偏导数 。
这虽然很简陋，但是我们依然能得到想要的结果—损失函数对权值 W 的导数(斜率)，因此我们可以相应的调整权值 。
现在我们将反向传播算法的函数添加到 Python 代码中
为了更深入的理解微积分原理和反向传播中的链式求导法则，我强烈推荐 3Blue1Brown 的如下教程：
Youtube：
整合并完成一个实例
既然我们已经有了包括前向传播和反向传播的完整 Python 代码 ， 那么就将其应用到一个例子上看看它是如何工作的吧 。
神经网络可以通过学习得到函数的权重 。而我们仅靠观察是不太可能得到函数的权重的 。
让我们训练神经网络进行 1500 次迭代，看看会发生什么 。注意观察下面每次迭代的损失函数 ， 我们可以清楚地看到损失函数单调递减到最小值 。这与我们之前介绍的梯度下降法一致 。
让我们看看经过 1500 次迭代后的神经网络的最终预测结果：
经过 1500 次迭代训练后的预测结果
我们成功了!我们应用前向和方向传播算法成功的训练了神经网络并且预测结果收敛于真实值 。
注意预测值和真实值之间存在细微的误差是允许的 。这样可以防止模型过拟合并且使得神经网络对于未知数据有着更强的泛化能力 。
下一步是什么?
幸运的是我们的学习之旅还没有结束，仍然有很多关于神经网络和深度学习的内容需要学习 。例如：
? 除了 Sigmoid 以外，还可以用哪些激活函数
? 在训练网络的时候应用学习率
? 在面对图像分类任务的时候使用卷积神经网络
我很快会写更多关于这个主题的内容 ， 敬请期待!
最后的想法
我自己也从零开始写了很多神经网络的代码
虽然可以使用诸如 Tensorflow 和 Keras 这样的深度学习框架方便的搭建深层网络而不需要完全理解其内部工作原理 。但是我觉得对于有追求的数据科学家来说，理解内部原理是非常有益的 。
这种练习对我自己来说已成成为重要的时间投入，希望也能对你有所帮助
怎样用python构建一个卷积神经网络用keras框架较为方便
首先安装anacondapython损失函数教程，然后通过pip安装keras
以下转自wphh的博客 。
#coding:utf-8
'''
GPU run command:
THEANO_FLAGS=mode=FAST_RUN,device=gpu,floatX=float32 python cnn.py
CPU run command:
python cnn.py
2016.06.06更新：
这份代码是keras开发初期写的，当时keras还没有现在这么流行 ， 文档也还没那么丰富，所以我当时写python损失函数教程了一些简单的教程 。
现在keras的API也发生了一些的变化，建议及推荐直接上keras.io看更加详细的教程 。
'''
#导入各种用到的模块组件
from __future__ import absolute_import
from __future__ import print_function
from keras.preprocessing.image import ImageDataGenerator
from keras.models import Sequential
from keras.layers.core import Dense, Dropout, Activation, Flatten
from keras.layers.advanced_activations import PReLU
from keras.layers.convolutional import Convolution2D, MaxPooling2D
from keras.optimizers import SGD, Adadelta, Adagrad
from keras.utils import np_utils, generic_utils
from six.moves import range
from data import load_data
import random
import numpy as np
np.random.seed(1024)# for reproducibility
#加载数据
data, label = load_data()
#打乱数据
index = [i for i in range(len(data))]
random.shuffle(index)
data = https://www.04ip.com/post/data[index]
label = label[index]
print(data.shape[0], ' samples')
#label为0~9共10个类别 ， keras要求格式为binary class matrices,转化一下，直接调用keras提供的这个函数
label = np_utils.to_categorical(label, 10)
###############
#开始建立CNN模型
###############
#生成一个model
model = Sequential()
#第一个卷积层，4个卷积核，每个卷积核大小5*5 。1表示输入的图片的通道,灰度图为1通道 。
#border_mode可以是valid或者full，具体看这里说明：
#激活函数用tanh
#你还可以在model.add(Activation('tanh'))后加上dropout的技巧: model.add(Dropout(0.5))
model.add(Convolution2D(4, 5, 5, border_mode='valid',input_shape=(1,28,28)))
model.add(Activation('tanh'))
#第二个卷积层，8个卷积核，每个卷积核大小3*3 。4表示输入的特征图个数，等于上一层的卷积核个数
#激活函数用tanh
#采用maxpooling，poolsize为(2,2)
model.add(Convolution2D(8, 3, 3, border_mode='valid'))
model.add(Activation('tanh'))
model.add(MaxPooling2D(pool_size=(2, 2)))
#第三个卷积层，16个卷积核 ， 每个卷积核大小3*3
#激活函数用tanh
#采用maxpooling，poolsize为(2,2)
model.add(Convolution2D(16, 3, 3, border_mode='valid'))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
#全连接层 ， 先将前一层输出的二维特征图flatten为一维的 。
#Dense就是隐藏层 。16就是上一层输出的特征图个数 。4是根据每个卷积层计算出来的：(28-5 1)得到24,(24-3 1)/2得到11，(11-3 1)/2得到4
#全连接有128个神经元节点,初始化方式为normal
model.add(Flatten())
model.add(Dense(128, init='normal'))
model.add(Activation('tanh'))
#Softmax分类，输出是10类别
model.add(Dense(10, init='normal'))
model.add(Activation('softmax'))
#############
#开始训练模型
##############
#使用SGDmomentum
#model.compile里的参数loss就是损失函数(目标函数)
sgd = SGD(lr=0.05, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='categorical_crossentropy', optimizer=sgd,metrics=["accuracy"])
#调用fit方法，就是一个训练过程. 训练的epoch数设为10 ， batch_size为100．
#数据经过随机打乱shuffle=True 。verbose=1 ， 训练过程中输出的信息，0、1、2三种方式都可以，无关紧要 。show_accuracy=True，训练时每一个epoch都输出accuracy 。
#validation_split=0.2，将20%的数据作为验证集 。
model.fit(data, label, batch_size=100, nb_epoch=10,shuffle=True,verbose=1,validation_split=0.2)
"""
#使用data augmentation的方法
#一些参数和调用的方法，请看文档
datagen = ImageDataGenerator(
featurewise_center=True, # set input mean to 0 over the dataset
samplewise_center=False, # set each sample mean to 0
featurewise_std_normalization=True, # divide inputs by std of the dataset
samplewise_std_normalization=False, # divide each input by its std
zca_whitening=False, # apply ZCA whitening
rotation_range=20, # randomly rotate images in the range (degrees, 0 to 180)
width_shift_range=0.2, # randomly shift images horizontally (fraction of total width)
height_shift_range=0.2, # randomly shift images vertically (fraction of total height)
horizontal_flip=True, # randomly flip images
vertical_flip=False) # randomly flip images
# compute quantities required for featurewise normalization
# (std, mean, and principal components if ZCA whitening is applied)
datagen.fit(data)
for e in range(nb_epoch):
print('-'*40)
print('Epoch', e)
print('-'*40)
print("Training...")
# batch train with realtime data augmentation
progbar = generic_utils.Progbar(data.shape[0])
for X_batch, Y_batch in datagen.flow(data, label):
loss,accuracy = model.train(X_batch, Y_batch,accuracy=True)
progbar.add(X_batch.shape[0], values=[("train loss", loss),("accuracy:", accuracy)] )
"""
python入门教程(非常详细)新手入门需要掌握编程环境的安装与使用、输入及输出语句的应用、运算表达式的使用等 。
具体教程如下：
1、编程环境的安装与使用 。比如Python的学习一般推荐软件自带的IDLE ， 简单好用 。
图一
2、掌握输入、输入语句的使用 。输入语句可以让计算机知道你通过键盘输入了什么，输出语句可以让你知道计算机执行的结果 。以输出语句为例：其中“”里面的内容是原样输出，多个输出项之间用，隔开 。
示例
3、掌握运算（包含计算、逻辑）表达式使用 。这个主要是用 、-、*、/、（）、、、=、=等符号连接起来的表示计算或者比较的式子，让计算机能做计算机或者判断 。
示例
4、特别要掌握赋值表达式的使用，这个主要是等于号的理解 。在计算机编程语言里，等于号一般不表示相等 ， 而是表示赋值 。也就是将等号右边的内容记入左边的名字里 。
5、理解并熟练使用变量，变量的字面意思就是会变化的量 。其实质的作用记忆信息 。通过给要记忆的内容取个名字，然后通过这个名字就可以找到记忆的内容 。有点类似于数学中的字母表示数 。
示例
6、选择结构，这是让计算机具有一定的选择、判断能力的基础 。比如我们常见的登录，VIP就要用到选择结构 。
7、循环结构，这是让计算机具有重复的能力 。前提是事件要具有一定的规律性，比如1 ， 3，5，7，9……
8、文件的读取和写入 ， 这个主要是针对大量的数据处理而言的 。
一般来说，掌握以上内容就是入门了 。
【python损失函数教程的简单介绍】python损失函数教程的介绍就聊到这里吧，感谢你花时间阅读本站内容 ， 更多关于、python损失函数教程的信息别忘了在本站进行查找喔 。

    推荐阅读


    上一篇：如何将腾讯云服务器出租？ 腾讯云服务器怎么租出去

    下一篇：如何查看服务器的事件记录？ 怎么查看服务器事件记录