机器学习算法系列（〇）- 基础知识机器学习算法

阅读本文需要的背景知识点：一丢丢数学知识
一、引言 ??人工智能（AI）在现代生活中起到越来越重要的地位，各种语音助手、旧电影颜色修复、淘宝京东等电商网站的智能推荐、拍照软件的智能美颜背景虚化等等功能背后都离不开人工智能的支持。

??在搜索引擎搜索人工智能的时候会发现机器学习会被同时联想出来，机器学习作为人工智能的一个分支学科，就是为了解决人工智能中的各种问题而提出来的。本算法系列文章将力求通俗易懂的介绍机器学习中的各种算法实现与应用。

??古人云，“墙高基下，虽得必失”，没有稳固的基础是没法做成大事的，所以本文从基础知识开始，一步一步了解掌握机器学习的相关知识。
二、机器学习维基百科中对机器学习1的定义：

机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。

机器学习是对能通过经验自动改进的计算机算法的研究。

机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。

相较于维基百科中的定义，我觉得张志华老师在机器学习导论2中总结更利于理解。

机器学习(Machine learning) = 矩阵(Matrix) + 统计(statistics) + 算法(algorithm) + 优化(optimation)。

??机器学习就是从一堆数据（矩阵）中，通过建立模型（统计），经过各种优化后的算法，最后从中获得知识的学科。可以看到机器学习离不开数学，其中又以线性代数和微积分最为重要。下面两个小节将介绍机器学习中所用到的线性代数和微积分知识点。
三、线性代数 ??线性代数作为数学中一个重要的分支，其内容极其庞大，本文只能选择性的介绍一些机器学习中所用到的线性代数知识，想更深入的了解这门课程，请参看其他的教材书籍。
向量 ??机器学习中大量使用到向量，例如线性组合里面的权重系数就可以表示为一个 n 维向量，将一个看起来很复杂的连加运算，变成一个相对简单的向量点积的运算。
定义
??同时具有大小和方向的量称为向量，例如以一定速度（大小）朝某个方位（方向）飞出的子弹就是一个向量。在数学上，用坐标点的形式表示一个向量，也可以使用矩阵的形式表示一个向量，如下就表示一个三维空间中的一个向量。

文章图片

??对于任意向量a，不论方向如何，若其大小为单位长度，则称其为a方向上的单位向量。另外只有大小的量成为标量，例如数字 5 就是一个标量。
向量的模
??向量的模即为向量的长度，用两个单竖线或者两个双竖线表示，计算方法如下式：

文章图片

向量运算

文章图片

向量的加法 - 向量的各个维度对应相加

文章图片

向量的减法 - 向量的各个维度对应相减

文章图片

向量与标量的乘法 - 向量的各个维度与这个标量相乘

文章图片

向量与向量的点积 - 两个向量各个维度相乘再求和，注意两个向量的点积为一个标量值

文章图片

两个向量的夹角 - 两个向量的点积除以两个向量模的乘积等于两个向量夹角的余弦值，当两个单位向量的夹角为 0 度时，说明这两个向量同向并共线，此时他们的点积最大为1

文章图片

矩阵 ??机器学习中也需要使用到矩阵，例如对于输入有 M 个特征 N 个数据的训练集 X 可以表示成一个 M x N 的矩阵。
定义
??按照行和列排列的标量值形成的矩形阵列称为矩阵，矩阵也可以认为是多个向量的组合，矩阵一般用 M 表示。如下就表示了一个 2 行 3 列的矩阵，记为 2 x 3 矩阵，也可以看成由上面A、B向量组合而成的矩阵