分类问题和回归问题在实际生活中人们面临的问题无非就是离散的和连续的。比方区分出某个人属于男性还是女性比方衣服是什么颜色的什么种类的这些都是在有限数量的结果中寻找答案也就是最终结果只能是N个里面的某一个这种问题就是分类问题。分类问题预测的是类别每个结果都是平等的不存在好坏的区分。另一种问题结果可以有无限多的可能比方玩游戏有个得分最终是要让这个分数越高越好而且结果有很多可能但最终结果只有一个分数每个结果并不是平等的有个好坏差别分数越高越好这种问题就是回归问题在机器学习中分类问题输出的是一个概率分布比方一个三分类的问题最终输出的结果可能是[0.10.70.2]每个值表示的是所属分类的概率因此[0.10.70.2]表示的是这次预测的结果是第二个分类的可能性最高概率为70%。而回归问题输出的是一个值比方FlappyBird最后得分是23。不同的问题我们所用的TensorFlow模型是不一样的后面实战中会讲到。目标函数概念首先为什么需要目标函数来看这么一个三分类的问题。如果A模型预测一件衣服是T恤衬衫毛衣的最终概率输出是[0.10.70.2]而B模型预测的概率输出是[0.30.50.2]显然这两个模型预测的结果都是这件衣服是个衬衫如果实际这件衣服就是个衬衫那么很显然A模型预测是要比B模型的好因为A模型预测它是衬衫的概率比B模型的高。那么在模型的预测结果都是衬衫的情况下怎么去评估哪个模型更加准确以实现帮助我们评估和优化模型的目的呢这就需要目标函数了。比方上面A、B两个模型实际最正确的概率分布应该是[010]那么A模型的目标函数可以这么定义f(x)1n∑x,y(y−model(x))2f(x) \frac{1}{n} \displaystyle\sum_{x,y} (y-model(x))^{2}f(x)n1​x,y∑​(y−model(x))2上面的 y 表示实际的概率model(x)表示模型预测的概率。套用到上面A[0.10.70.2]、B[0.30.50.2]两个模型的预测结果上就可以分别得出他们的目标函数是A((0−0.1)2(1−0.7))2(0−0.2)2)/30.14A((0-0.1)^{2}(1-0.7))^{2}(0-0.2)^{2})/30.14A((0−0.1)2(1−0.7))2(0−0.2)2)/30.14B((0−0.3)2(1−0.5))2(0−0.2)2)/30.38B((0-0.3)^{2}(1-0.5))^{2}(0-0.2)^{2})/30.38B((0−0.3)2(1−0.5))2(0−0.2)2)/30.38由公式可以很容易看出平方差损失函数评估的是实际预测结果离正确结果的误差也就是说f(x)越小表示预测的结果越准确所以上面可以看出A的目标函数小于B的A的模型预测效果更好。如果有个C模型预测结果是[010]那么得到的目标函数损失自然是0了也就是完美命中。目标函数有哪些分类问题上面介绍的是取各个值之间的差值做平方差来作为目标函数也即平方差损失f(x)1n∑x,y(y−model(x))2f(x) \frac{1}{n} \displaystyle\sum_{x,y} (y-model(x))^{2}f(x)n1​x,y∑​(y−model(x))2除了平方差损失还有交叉熵损失也是描述模型好坏的一个函数交叉熵损失f(x)1n∑x,yy.ln(model(x))f(x) \frac{1}{n} \displaystyle\sum_{x,y} y.ln(model(x))f(x)n1​x,y∑​y.ln(model(x))根据平方差损失很容易联想到其实绝对值也可以用于描述误差绝对值损失f(x)1n∑x,y∣y−model(x))∣f(x) \frac{1}{n} \displaystyle\sum_{x,y} \mid y-model(x)) \midf(x)n1​x,y∑​∣y−model(x))∣这些都可以用于分类问题的目标函数计算。回归问题由于回归问题最终输出是一个值因此它的目标函数是比较简单的就是和真实值平方差计算或者取差值的绝对值最终得到它离真实的值的误差用这个误差来评估预测的好坏。平方差损失f(x)(y−model(x))2f(x) (y-model(x))^{2}f(x)(y−model(x))2绝对值损失f(x)∣y−model(x))∣f(x) \mid y-model(x)) \midf(x)∣y−model(x))∣TensorFlow的训练过程其实就是不断的喂数据然后通过目标函数的值来进行参数的调整最终使目标函数趋于目标值的过程。