Interface

关于这门课,简单的说就是关于推荐算法的研究学习,而推荐算法的使用场景在生活中处处可见,例如淘宝的猜你喜欢和各种长短视频网站的推荐。

推荐系统往往不是单一算法组成,不然也不叫系统,混合推荐系统是将多种推荐技术混合,相互弥补缺点来获得更好的推荐效果。
目前市场应用已经产生了大量的收益,成为很多互联网公司发力的重点。

深度学习与推荐系统

Deep Learning的概念来自人工神经网络研究,是通过探究学习底层特征组合成抽象的高层特征,来解决分类预测问题。主要是采用深度置信网络(DBN)进行非监督贪心逐层训练,然后提出多层自动编码器深层结构
到了20世纪90年代,其他各种各样的浅层机器学习模型相继被提出

  • 支撑向量机(Support Vector Machines,SVM)
  • Boosting
  • 回归方法(EX:Logistic Regression,LR)

深度学习

首先简单介绍一下TensorFlow,是Google研发的开源深度学习平台。
首先拆解一下,Tensor为张量,Flow是流。
而张量如何理解呢。

提示:本文仅是初步的学习笔记,很多方面可能并不严谨

在深度学习里,Tensor实际上就是一个多维数组(multidimensional array)
而Tensor的目的是能够创造更高维度的矩阵、向量。

神经网络学习

深度学习中主流的网络结构DNN、CNN、RNN都是在基础神经网络上发展衍生而来。

神经网络的发展:单层神经网络(感知器)到包含一个隐藏层的两层神经网络再到多个隐藏层的深度神经网络。

神经网络技术是深度学习的基础,所以需要先学习神经网络中sigmoid函数,损失函数,和正向传播和反向传播的概念。


上面的图展现了神经网络的基本结构,每个圆圈表示一个神经元,每条线条表示神经元之间的连接,我们可以看见,图中有多层神经元,层和层之间的神经元之间有连接,但层之间没有。
最左边的层是输入层,最右边是输出层,可以从最右边获取输出数据,而中间层就是隐藏层,如果隐藏层>=2 就是深层神经网络。而深度学习就是使用深层架构

神经元


可以看见,一个感知器有如下组织部分

  • 输入权值:一个感知器可以接收多个输入$x_1,x_2,···,x_n$每个输入上有个权值,此外还有一个偏置值b,即上图$v_0$
  • 激活函数:感知器的激活函数可以有很多选择,比如我们可以选择下面这个阶跃函数来作为激活函数:
    $$f(z) = max(z,0)$$
  • 输出:感知器的输出由下面的公式计算:
    $$y = f(wx + b)$$

神经网络

上面介绍了神经元,神经网络就是按照一定规则连接的多个神经元,下面展现一个全连接神经网络:

上图展现了一个全连接(full connected,FC)神经网络,可以发现它的规则,具体包括:

  • 神经元按照层来布局,最右边是输出层,可以从中获取神经网络输出数据
  • 同一层的神经元相互无连接
  • 每个连接都有个权值
  • 第N层的每个神经元和第N-1层的所有神经元相连接,第N-1层神经元的输出就是第N层神经元的输入

上面这些规则定义了全连接神经网络的结构,事实上还存在许多其他结构的神经网络,比如卷积神经网络(CNN)、循环神经网络(RNN)它们各自有不同的连接规则。

反向传播

下次再说,我先学会数学

最后修改:2021 年 03 月 08 日
如果觉得我的文章对你有用,请随意赞赏