本文へ移動

中央コンピューターサービス株式会社(CCS)全国の公共・教育ICT支援

ホーム > トピックス > 技術ブログ > リカレントニューラルネットワーク

トピックス

リカレントニューラルネットワーク

はじめに

こんにちは。技術開発推進部の佐藤です。
以前の技術ブログで、ニューラルネットワークにはいくつかの種類があるということと、そのうちの一つ「畳み込みニューラルネットワーク(CNN)」の紹介がありました。
今回はその続編として「リカレントニューラルネットワーク(RNN)」の概要を紹介します。

リカレントニューラルネットワーク(RNN)とは

端的に言いますと、内部に「ある条件」の「再帰結合」を持つニューラルネットワークのことです。
これだけではよくわかりませんので、以下に説明を続けます。

再帰結合
  • 再帰結合とは、ニューラルネットワークのある層(隠れ層)の出力を別の層の入力として利用する再帰的構造のことです。
    この再帰結合を持つニューラルネットワークのことを、「再帰型ニューラルネットワーク(Recursive Neural Network)」と呼びます。
  • ある再帰型ニューラルネットワークが持つ再帰結合が、時系列データ(後述)を処理するために、「同一構造の再帰結合を入力データの時系列に従って直線的に並べたものである場合」、そのニューラルネットワークのことを「リカレントニューラルネットワーク(Recurrent Neural Network, RNN)」と呼びます。
    言い換えますと、リカレントニューラルネットワークは、再帰型ニューラルネットワークの一種です。

RNNの適用分野

RNNは時系列データ、文章などの連続的な情報の処理に使用されます。
時系列データとは、例えば「1時間ごとの北海道の降雪量」など、「特定の情報について、時間順に従って取得されたデータ」のことです。
文章は、文や単語が順番に並んでいるという点で連続的な情報と言えます。
文章の処理に関しては、機械翻訳、文章生成、文章要約など様々な自然言語処理に使用されています。

RNNの欠点、問題点

RNNによって文章や動画などで長い時系列データを処理する場合、以下のような問題があります。

  • 演算量が爆発的に増加し、処理不能となる。
  • ネットワーク階層が深くなりすぎて、情報が伝達されない現象が生じることがある。
そのため、RNNでは少ない量の連続データしか処理できませんでした。

RNNの拡張版:LSTMについて

上記のようなRNNの問題点を解決するために、LSTM(Long Short-Term Memory、長期短期記憶)という仕組みが考案されました。
LSTMはRNNの一種で、長期の時系列データを学習することができます。

さいごに

今回は、リカレントニューラルネットワーク(RNN)とLSTMの概要を紹介しました。
次回以降もAIやその他の技術トピックを紹介していきたいと思います。

ゆりちゃん 技術開発推進部ゆりちゃんからのお願い
顔マークを押して、技術ブログの感想をお聞かせください^^
  • 超いいね

    8

  • いいね

    0

  • ふつう

    1

  • まあまあ

    0

  • うーん

    1

技術ブログ

TOPへ戻る