攻击原理
数据的价值在于其完整性、隐私性和可用性。“数据投毒”就是主要针对数据的完整性开展攻击,通过数据里“掺沙子”、加入“有毒”数据污染模型。
神经网络
1.神经网络特征
- 非线性
- 学习和自适应性:泛化能力
- 非凸性:函数有多个极值点,所以网络也有多个比较稳定的平衡态
2.神经网络发展
单层感知器:无隐藏层,不能解决非线性问题。
—->MLP(多层感知器(Multilayer Perceptron)):通常用反向传播算法进行训练
—->DeepLearning(CNN,RNN)
CNN
由输入层、卷积层、池化层、全连接层以及输出层构成。卷积层和池化层构成特征过滤器。
- 卷积核一般以随机小数矩阵的形式初始化;
通过卷积核共享权值,减少网络各层之间的连接,同时又降低了过拟合的风险。
- 池化层通过降低特征面的分辨率来获得具有空间不变性的特征;
池化层对特征进行二次提取,减少了模型中的神经元个数。
总结:局部连接、权值共享和池化操作降低了卷积神经网络的复杂度;适用于图像等具有空间不变性的样本。
RNN
一类以序列数据为输入,在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络。
- 循环神经网络有从隐藏层到隐藏层之间的反馈连接。
常见种类:
双向循环神经网络(Bidirectional RNN, Bi-RNN)和长短期记忆网络(Long Short-Term Memory networks,LSTM)
存在的问题:序列长度足够,就会梯度消失和梯度爆炸。
解决办法:引入门控机制:输入门、遗忘门和输出门。
总结:它具有记忆性、参数共享性和图灵完备等特点。适合NLP。