| |
 |
延續上期循環神經網路（Recurrent Neural Network, RNN）中的Jordan Network與Elman Network模型，本期介紹其他基於RNN原理所提出的模型架構：回聲狀態神經網路（Echo State Network, ESN）、基於時間的反向傳遞演算法（Back Propagation Through Time, BPTT）、長短期記憶模型（Long |
|
 |
|
|
Short Term Memory, LSTM）、門基循環單元（Gated Recurrent Unit, GRU）、雙向長短期記憶模型（Bi-directional Long Short-Term Memory, BiLSTM）等。透過觀察可以發現，模型的演變往往是在「提出模型」、「發現模型問題」、「提出新模型嘗試克服問題」的試錯（trial and error）迴圈中發展，電腦計算能力的提升則從中扮演推波助瀾的角色。
RNN技術可用於語言建模、語義分析及文本分析等，故本期課程中更深入說明自然語言分析領域的修辭結構理論（Rhetorical Structure Theory, RST）、語義詞嵌入（Semantic Word Embedding）、詞向量（Word-vector encoding）等概念；並詳細介紹生成詞向量的經典語言模型如：Word2vec模型（Skip gram 及CBOW）、GloVe模型（Global Vectors）、fastText 模型、ELMo模型（Embeddings from Language Model）、BERT模型等。但尤應注意的是，縱已出現「語義向量化」技術，語言文字仍有其字面意義及深層意涵，因此詞嵌入結果仍存在著極限及偏見，亦需要對語義向量的優劣進一步評估。
|
|
深度學習7：
Elman RNN、Jordan RNN、回聲狀態神經網路（Echo State Network, ESN）、基於時間的反向傳遞演算法（Back Propagation Through Time, BPTT）、長短期記憶模型（Long Short Term Memory, LSTM）、門基循環單元（Gated Recurrent Unit, GRU）
|
 |
深度學習8：
雙向長短期記憶模型（Bi-directional Long Short-Term Memory, BiLSTM）、Grid LSTM、修辭結構理論（Rhetorical Structure Theory, RST）、語義詞嵌入（Semantic Word Embedding）、詞向量（Word-vector encoding）、神經語言模型（Neural language model）、Word2vec模型
|
|
深度學習9：
Word2vec模型（Skip gram 及CBOW）、GloVe模型（Global Vectors）、fastText 模型、ELMo模型（Embeddings from Language Model）、語義向量優劣評估、文句嵌入（sentence and document embedding）、BERT模型及BERT-family
|
|
|
|
