PR/BLOG

広報・ブログ

リカレントニューラルネットワーク

佐藤さん

こんにちは。技術開発推進部の佐藤です。
以前の技術ブログで、ニューラルネットワークにはいくつかの種類があるということと、そのうちの一つ「畳み込みニューラルネットワーク(CNN)」の紹介がありました。
今回はその続編として「リカレントニューラルネットワーク(RNN)」の概要を紹介します。

リカレントニューラルネットワーク(RNN)とは

端的に言いますと、内部に「ある条件」の「再帰結合」を持つニューラルネットワークのことです。
これだけではよくわかりませんので、以下に説明を続けます。

再帰結合

  • 再帰結合とは、ニューラルネットワークのある層(隠れ層)の出力を別の層の入力として利用する再帰的構造のことです。
    この再帰結合を持つニューラルネットワークのことを、「再帰型ニューラルネットワーク(Recursive Neural Network)」と呼びます。
  • ある再帰型ニューラルネットワークが持つ再帰結合が、時系列データ(後述)を処理するために、「同一構造の再帰結合を入力データの時系列に従って直線的に並べたものである場合」、そのニューラルネットワークのことを「リカレントニューラルネットワーク(Recurrent Neural Network, RNN)」と呼びます。
    言い換えますと、リカレントニューラルネットワークは、再帰型ニューラルネットワークの一種です。
    ※補足:日本語表記と略称について
    Recursive NNとRecurrent NNの日本語表記や略称について、ネットの解説記事等では以下のような揺らぎが見受けられます。
    日本語表記は
    ・Recursive NN→「再帰型ニューラルネットワーク」
    ・Recurrent NN→「再帰型ニューラルネットワーク」、「リカレントニューラルネットワーク」など
    また、略称は両方とも「RNN」になりますので、混乱を避けるために、本ブログでは以下のように表記します。
    ・Recursive NN→「再帰型ニューラルネットワーク」、RNNと略さない
    ・Recurrent NN→「リカレントニューラルネットワーク」、RNNと略す

 

RNNの適用分野

RNNは時系列データ、文章などの連続的な情報の処理に使用されます。
時系列データとは、例えば「1時間ごとの北海道の降雪量」など、「特定の情報について、時間順に従って取得されたデータ」のことです。
文章は、文や単語が順番に並んでいるという点で連続的な情報と言えます。
文章の処理に関しては、機械翻訳、文章生成、文章要約など様々な自然言語処理に使用されています。

 

RNNの欠点、問題点

RNNによって文章や動画などで長い時系列データを処理する場合、以下のような問題があります。

演算量が爆発的に増加し、処理不能となる。
ネットワーク階層が深くなりすぎて、情報が伝達されない現象が生じることがある。
そのため、RNNでは少ない量の連続データしか処理できませんでした。

 

RNNの拡張版:LSTMについて

上記のようなRNNの問題点を解決するために、LSTM(Long Short-Term Memory、長期短期記憶)という仕組みが考案されました。
LSTMはRNNの一種で、長期の時系列データを学習することができます。

 

さいごに

今回は、リカレントニューラルネットワーク(RNN)とLSTMの概要を紹介しました。

  • 当ページの人物画像はNIGAOE MAKERで作成しました。
一覧に戻る
ゆりちゃん

技術開発推進部ゆりちゃんからのお願い顔マークを押して、技術ブログの
感想をお聞かせください^^