应用举例

如果有很多词汇的时候，one-encode会导致很长，可以将不常见的归类到other，也可以用n-gram进行编码

输出的是一个概率分布

相同的词得到不同的结果，需要网络具有记忆，RNN网络的设计就是使得网络具有部分的记忆能力。

存在memory中的内容会不同，输出也会不同

深层次的网络也是可以的

不同的变形

• jordan network是将输出放入memory
• elman network是将中间放入memory
• jordan network一般而言要比elman network要好

双向的RNN：考虑从前到后，从后到前。

---

LSTM

• 输入门中，input-gate，打开还是关闭，是自己学习得到。
• 输出门中，output-gate，外界是否可以读出来，打开的时候才能读出来，也是自己学习得到。
• 遗忘门中，forget-gate，什么时候把memory里面的值遗忘掉，也是自己学习得到的。
  
  
  
  c’是新的memory中存的内容。
  遗忘门：打开的时候是记得，关闭的时候是遗忘。
  
  人工RNN例子
  
  
  
  4个input产生一个output，参数量是一般的网络的4倍。