初识神经网络

《神经网络设计》第一章，了解神经元的基本组成结构：
1
权值、偏置、净输入、传输函数
了解了单输入神经元、多输入神经元，各种传输函数以及神经元层的概念，了解了一种离散时间递归网络的结构，以及与之相关的延时模块和积分器模块。

三种网络：

1
2
3

1. 前馈网络（这里以感知机为代表）
2. 竞争网络（这里以Hamming网络为代表）
3. 递归联想存储网络（这里以Hopfield网络为代表）

简单介绍三种网络

感知机

单层感知机的关键特性是它构造了一个线性判定便捷对输入向量进行分类。权值向量与判定边界垂直。

Hamming网络

Hamming网络的目标是判定哪个标准向量更接近于输入向量，使用标准向量与输入向量的内积来对两者之间的联系进行量化，然后进行竞争，最后产生唯一一个非零的值，即最接近的。竞争机制为各自减去其他标准向量的一定比例，比例是一样的，这样大的值减掉的量小一些，小的值减去的量大一些，最终差距不断扩大，产生获胜者。

Hamming网络分为两层：前馈层和递归层（竞争层）

前馈层：前馈层的输出等于输入和每个标准模式的内积加R（R为输入向量中元素的个数）。对于两个等长向量而言，内积在两个向量指向同方向时最大，指向同方向时最小（量化标准模式与输入的联系），内积加上R时为了保证前馈层输出不会都是负数值。
递归层：递归层的权值为W²=[[1, -ε]，[-ε, 1]]，其中ε=1/(S-1)

Hopfiled网络

Hopfiled网络最终生成一个标准模式作为其输出。

感知机学习规则

学习规则

学习规则就是修改神经网络的权值和偏置值得方法和过程（即训练）。现有的神经网络学习规则大致可以分为三大类：有监督学习、无监督学习和增强学习（现在还有半监督学习）。

规则如下：

W ^new = W ^old + ep^T
b ^new = b^old + e ， (其中e=t-a，表示感知机误差)

收敛性

经证明，只要问题解存在，感知机学习规则能在有限次迭代收敛到实现期望分类的权值上。

局限性

单层感知机只能对线性可分的向量进行分类。