概念

  • 召回率： 检索出的相关样本数和样本库中所有相关样本数的比率，衡量查全率。
  • 精确率： 检索出的相关样本数和检索出的样本总数的比率，衡量查准率。

分类和回归的训练过程

  1. 输入样本和训练标签。
  2. 建立映射假说的某个 $$y=f(x)$$ 的模型。
  3. 求解出全局的损失函数 Lose 和待定系数 w 的映射关系，$$Loss=g(w)$$ 。
  4. 通过迭代逐步降低 Loss ，最终找到一个 w 使得精确率和召回率满足当前场景需要。尤其指验证数集上的表现。

神经元

通常由两部分组成：

  1. 线性模型 $$f(x)=wx+b$$
  2. 激励函数 在一个神经元当中跟随在$$f(x)=wx+b$$函数之后，用来加入一些非线性因素。

常见激励函数

  1. Sigmoid函数
    $$f(x)= {1 \over {1+e^{-(wx+b)}}}$$
    也可以写成
    $$z=wx+b ,, f(z)={1 \over {1+e^{-z}}}$$

  2. Tanh函数 也叫双正切函数，表达式如下
    $$tanh(x)={e^x-e^{-x} \over e^x+e^{-x}}$$

  3. ReLU函数
    ReLU函数是目前大部分卷积神经网络 CNN(convolutional neural networks) 中喜欢使用的激励函数，它的全名是 rectified linear units.
    $$y=max(x,0)$$
    这个函数是原点左侧斜率为0，右侧斜率为1的直线。x小于0时输出一律为0，x大于0时输出就是输入值。

  4. Linear函数
    Linear函数在实际应用中并不太多，因为如果网络中前面的线性层引入是是线性关系，后面的激励层还是线性关系，就会让网络无法很好地拟合非线性特性的关系，从而发生严重的欠拟合现象。函数表达式为
    $$f(x)=x$$

神经网络

由多个神经元（神经节点）首尾连接形成一个类似于网络的结构来协同工作，这样的网络可称为神经网络。
一个神经网络中通常有**输入层(input layer)、隐藏曾(hidden layer)、输出层(ouput layer)**。

前馈神经网络( feedforward neural network )

在这个网络中，各神经元从输入层开始，接收前一级输入，并输出到下一级，直至输出层。整个网络无反馈，可以用一个有向无环图( directed acyclic graph, DAG )表示。
通常所说的前馈神经网络有两种:

  1. Back Propagation Network 方向传播网络，简称BP网络
  2. BRF Network 径向基函数神经网络

机器学习导论

监督学习