Основы теории нейронных сетей

       

Непрерывные системы


На предыдущей лекции была рассмотрена классическая модель Хопфилда с двоичными нейронами. Изменение состояний нейронов во времени описывалось детерминированными правилами, которые в заданный момент времени однозначно определяли степень возбуждения всех нейронов сети.

Хопфилд рассматривал модели с непрерывной активационной функцией

, точнее моделирующей биологический нейрон. В общем случае это
-образная или логистическая функция

где

— коэффициент, определяющий крутизну сигмоидальной функции. Если
велико,
приближается к описанной ранее пороговой функции. Небольшие значения
дают более пологий наклон.

Как и для бинарных систем, устойчивость гарантируется, если веса симметричны, т.е.

и
при всех
. Функция энергии, доказывающая устойчивость подобных систем, сконструирована, но она не рассматривается здесь из-за своего концептуального сходства с дискретным случаем.

Если

велико, непрерывные системы функционируют подобно дискретным бинарным системам, окончательно стабилизируясь со всеми выходами, близкими нулю или единице, т. е. в вершине единичного гиперкуба. С уменьшением
устойчивые точки удаляются от вершин, последовательно исчезая по мере приближения
к нулю. На рис. 9.1 показаны линии энергетических уровней непрерывной системы с двумя нейронами.


Рис. 9.1. 



Содержание раздела