神経回路における情報処理は,ニューロン回路の状態を動的に変更する事を通して行なわれる.その動的変更には2つの側面がある:1つは,ニューロンが内部状態に応じて出力を出す事,もう1つは,シナプスの荷重を変更する事である.それら2つの過程をここでは単に「ニューロン・ダイナミクス」,「シナプス・ダイナミクス」と呼ぶ事にする.
ニューロン・ダイナミクスのモデルは次のように書ける:
ここに, は離散時刻 におけるニューロンの (出力) 状態ベクトルで成分は . はシナプス荷重行列, はニューロンへの入力ベクトル, はニューロンの内部状態ベクトルである.また, である.この中で最も単純なモデルは, 即ち と選んだもの (これを閾値ニューロン回路と呼ぶ) である.
シナプス・ダイナミクスは,離散時間の形式で書けば,
となる ( , は定数).ここに, はシナプス荷重変更信号 (学習信号) であり,シナプス・ダイナミクスの定義に依存する.自己連想記憶モデルの場合,相関行列型シナプス荷重 が広く用いられているが,それは,記憶させたい 次元ベクトル (成分は ) から構成される 行列 を用いて
と定義される (ここに, は行列の転置を意味する).この行列は,(2) 式で と置く事で逐次的に求める事ができる.その他の可能性としては,擬逆行列型,パーセプトロン型がある.擬逆行列型では, と置く事により, は直交射影行列 に収束する.ここに, は の擬逆行列で を用いて, と表わせる.この行列を用いれば,互いに一次独立なベクトルを (1) 式に閾値ニューロン回路に記憶させる (回路の平衡点にする) 事ができる.パーセプトロン型は と置いた場合で,これによれば互いに線形分離可能なベクトルを閾値ニューロン回路に記憶させる事ができる.
連想記憶の記憶容量について言えば,パーセプトロン型の性能が常に最も高い.擬逆行列型と相関行列型の関係は記憶させたいベクトルの統計的性質に依存する.つまり,記憶ベクトルの成分の に偏りがないならば擬逆行列型が勝るが,偏りが極端になると相関行列型が勝る.一方,記憶ベクトルの追加や削除については,相関行列型が最も単純である.相関行列型の場合本質的に追加/削除の対象となる記憶ベクトルのみを操作すればよいが,直交射影行列型やパーセプトロン型では記憶ベクトルを追加/削除する場合,記憶ベクトルをすべて再学習しなければならない.