カオスニューラルネットワーク

トップページ研究分野と周辺ニューラルネットワーク

カオス的性質の特徴として、決定的な法則に従う(サイコロを振るような偶然性が無い)が、長期予測が困難(事実上不可能)で、特に初期値によって先々の結果が大幅に変わる(初期値鋭敏性)、等が挙げられる。
ロジスティック写像がよく例として説明に使われる。数値の変化は簡単な式で与えられ、決定的である。しかし、パラメータによっては、一見ランダムに見える複雑な変化を示す。
松本、合原らは、ヤリイカの巨大軸索に対する実験(1980年代)で、このカオス的性質が、実際の神経細胞(ニューロン)内にも存在する事を明らかにした。
他細胞からの入力の総和とシグモイド関数に基づく、単純なニューラルネットワークの基本構造だけでは、この性質は出て来ない。
もっと生物の細胞に近い、複数の条件をニューロンモデルに組み入れたところ、カオス的な振る舞いを示すようになった。これをカオスニューロンといい、それで構成されるニューラルネットワークを、カオス(パルスともいう)ニューラルネットワークという。

ロジスティック写像

図の式は、ロジスティック方程式という差分方程式で、米国の数理生物学者ロバート・メイが、生物の個体数の変動を研究するのに用いた。
tは世代番号で、x(t)はその世代の個体数を規格化(0≦x(t)≦1)した値、αは繁殖率を示す。或る世代の個体数に基づき、次の世代の個体数が決まる。
単純に、横軸にx(t)、縦軸にx(t+1)、或る世代と次の世代の個体数の関係をグラフにすると、左のような放物線になる。
しかし、横軸にt、縦軸にx(t)、世代番号とその世代の個体数の関係は、右のように不規則で、特定の周期を持たない(カオスの性質を持つ)状態が姿を表してくる(ここではt=0の初期の個体数x(t)として、0.5を設定している)。
世代番号tとその世代の個体数x(t)の関係は、繁殖率に大きく依存し、0≦α≦1でx(t)はtが大きくなるにつれて0に単調に収束し、1<α≦2で1-(1/α)に単調に収束、2<α≦3で振動しながら1-(1/α)に収束、3<α≦3.5699...で周期的な振動を始め、3.5699...≦α≦4で特定の周期を持たない振動状態に入る事が分かっている。
カオス的性質を持つ方程式は、この他にも様々な種類が知られている。

カオスニューロン

複数の種類が存在するが、ここでは簡単な例として、以下の式に従って状態変化するカオスニューロンを紹介する。
他のニューラルネットワークと同様に、xi(t)は時刻tにおける細胞iの出力、wijは細胞jから細胞iへの結合係数、Nは細胞数、fはシグモイド関数となる。
細胞iの内部状態が、(1)式によるηと、(2)式によるζの和になるところが、他のニューラルネットワークとは異なる。

ここでηは、他細胞からの入力の総和について、以前の総和も或る程度、保持している事を表している。実際の細胞では、時刻が変われば以前の入力の総和がゼロになるとは考えにくく、より実際に近づけたものと言える。kfは減衰定数で、一つ前の時刻の入力の総和の減り方を表す。
ζは不応性項と呼ばれ、いったん興奮した細胞は、しばらく鈍感になるという実際の細胞の性質を取り入れたものになる。
αは不応性の程度を決定する正の定数で、前の時刻の出力が大きいほど内部状態は減少する。この項も、以前の時刻の不応性が残る仕組みで、krも減衰定数になる。
これらの式が、前の時刻の値を使っている点は、ロジスティック写像のような差分方程式と同様の構成で、これがカオス的性質を生み出す理由の一つと考えられる。
また、ηは内部状態の増加、ζは内部状態の減少の項で、この和を内部状態とする事で、不安定(興奮にも沈静にもなり易い)な状態を作り出している事も、カオス的性質を生む理由となっている。
(2)式のaiはバイアス値と呼ばれ、細胞iに対する外部入力を表す。実際の生物の細胞は、細胞間のネットワークからの刺激だけ受けている訳ではない。外気温とか放射線とか外部状態の影響も受けるので、それを取り入れたものだ。

自己相関行列

複数のパターンを動的なネットワークに記憶させる場合、以下の式に基づく自己相関行列を用いる場合も多い。
ここで、Pはパターンの数、Nは細胞数、iとjは細胞の番号、pはパターンの番号となる。W_i,jは、細胞jから細胞iへの結合係数となる。
X_iが細胞iの出力で、或る出力パターンを構成する細胞であれば1、そうでなければ-1となる。

カオス性を与えるパラメータの設定

ネットワークの挙動は、パラメータによって大きく変わる。パラメータ設定が悪いと、カオスどころか、すぐに定常状態に陥ってしまう。
或る細胞数の下で、どのようなパラメータを設定すればカオス状態になるかは、過去の経験値を元に、試行錯誤で決めていく場合が多い。
例えば、細胞数N=100のカオス連想記憶モデルでは、kf=0.2、kr=0.9、α=10.0のパラメータで、カオス状態になる。
細胞数を変える場合、計算機シミュレーションで、このパラメータを少しずつ変化させながらネットワークの挙動を調べ、カオス状態にあるかどうかを見る。
カオス状態か否かの判定には、リアプノフ指数という指標を用いるのが一般的で、この値が1を超えたら、カオス状態に入ったと判定し、その時のパラメータを記録すればよい。

最大リアプノフ指数(カオス性判定の指標)

ニューラルネットワークがカオス状態になると、各細胞の出力値の組み合わせ(出力パターン)が定常状態に収束せず、様々なパターンを出力し続ける事になる。
細胞の出力値や内部状態の組み合わせは、細胞数Nの場合、N次元空間の一つの座標として表現される。
従って、或るパターンと別のパターンの類似度(距離)dは、以下のようなユークリッド距離で計算出来る(仮にN=3で、出力パターンがx1=(0,1,0)、x2=(1,1,1)だとした場合)。

リアプノフ指数は、空間内の近接した軌道が時間とともに離れていく度合いを表す量で、離れ方は各次元に分解して考える事が出来るので、N次元空間内ではN個のリアプノフ指数が存在する(N個のリアプノフ指数の組み合わせを、リアプノフ・スペクトラムという)。
図は最も簡単な2次元空間の例で、或る点が止まりそうな場合、座標変化量の後の時間の前の時間に対する比は、全ての次元に於いて1より小さくなる(⊿x(t+1)は⊿x(t)より小さく、⊿y(t+1)も⊿y(t)より小さい)。
しかし、止まりそうもない場合の例では、⊿y(t+1)は⊿y(t)より小さいが、⊿x(t+1)は逆に⊿x(t)より長くなっている。

パターンが停止する(定常状態になる)か否かの予測には、全ての次元の変化率が小さくなるか見る必要があるが、停止しない(カオス状態になる)か否かの予測には、一つでも変化率が1以上の次元が存在する事を確認すればよい。リアプノフ指数の中の最も大きい値を最大リアプノフ指数といい、これだけを求めればよい。
リアプノフ指数の正式な求め方は、一般的にはヤコビ行列というものを推定する事になるが、これは計算時間が掛るため、簡単なWolf法という方法が考えられた。
Wolf法では、単純に上記のようなユークリッド距離で2点間の距離の変化を求めて行き、その変化率で最大リアプノフ指数を推定する。距離の変化は、最も大きく変化する次元の影響を受けると考えられるからである。
但し、距離の変化を使うため、以下のように対数を使って補正している。やや大雑把な計算方法だが、ニューラルネットワークのカオス性の判定には十分とされ、よく使われている。

ここで、λ1が最大リアプノフ指数で、d(k)が時刻kと時刻k-1のパターン間の距離dを表す。時間Mを十分に長く取って、λ1>1である事が観測されれば、周期性の無いカオス状態に入っていると考える事が出来る。

カオスニューラルネットワークの応用

純粋に生物の細胞を模倣する事で、カオスニューラルネットワークが構成された経緯があり、パターン識別、最適化といった特定の目的のために開発されたものではない。
しかし、細胞が進化の過程を経てカオス性を獲得したのであれば、そこには情報処理上の何らかのメリットがあるとも予測され、様々な検証が行なわれている。
カオス性による複雑な出力の変化は、例えばホップフィールド・ネットワークに於ける局所解収束からの脱出を可能にする効果もある事が指摘されている。
カオス連想記憶モデルでは、複数の記憶パターンを逐次的に出力する等、一対多の連想を可能とし、単純な連想記憶モデルと比較して、記憶容量が高まるとの報告もある。
何らかの関連を有するが、関連に意外性があるといった情報の出力も期待出来、これは発想支援にも有効ではないかという観点からの実験と効果測定も行われている。