Paul C's Blog

To be funny,to grow up!

0%

PoisonAttack01

攻击原理

数据的价值在于其完整性、隐私性和可用性。“数据投毒”就是主要针对数据的完整性开展攻击,通过数据里“掺沙子”、加入“有毒”数据污染模型。

神经网络

1.神经网络特征

  • 非线性
  • 学习和自适应性:泛化能力
  • 非凸性:函数有多个极值点,所以网络也有多个比较稳定的平衡态

2.神经网络发展

单层感知器:无隐藏层,不能解决非线性问题。

—->MLP(多层感知器(Multilayer Perceptron)):通常用反向传播算法进行训练

—->DeepLearning(CNN,RNN)

CNN

由输入层、卷积层、池化层、全连接层以及输出层构成。卷积层和池化层构成特征过滤器。

  • 卷积核一般以随机小数矩阵的形式初始化;

通过卷积核共享权值,减少网络各层之间的连接,同时又降低了过拟合的风险。

  • 池化层通过降低特征面的分辨率来获得具有空间不变性的特征;

池化层对特征进行二次提取,减少了模型中的神经元个数。

总结:局部连接、权值共享和池化操作降低了卷积神经网络的复杂度;适用于图像等具有空间不变性的样本。

RNN

一类以序列数据为输入,在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络。

  • 循环神经网络有从隐藏层到隐藏层之间的反馈连接。

img

常见种类:

双向循环神经网络(Bidirectional RNN, Bi-RNN)和长短期记忆网络(Long Short-Term Memory networks,LSTM)

存在的问题:序列长度足够,就会梯度消失梯度爆炸

解决办法:引入门控机制:输入门、遗忘门和输出门。

总结:它具有记忆性、参数共享性和图灵完备等特点。适合NLP。