Метод сигнального обучения Хэбба
Как мы видели, выход NET простого искусственного нейрона является взвешенной суммой его входов. Это может быть выражено следующим образом:
где
— выход NET нейрона , — выход нейрона , — вес связи нейрона с нейроном .Можно показать, что в этом случае линейная многослойная сеть не является более мощной, чем однослойная сеть; рассматриваемые возможности сети могут быть улучшены только введением нелинейности в передаточную функцию нейрона. Говорят, что сеть, использующая сигмоидальную функцию активации и метод обучения Хэбба, обучается по сигнальному методу Хэбба. В этом случае уравнение Хэбба модифицируется следующим образом:
где
— сила синапса от нейрона к нейрону в момент времени , — выходной уровень пресинаптического нейрона равный , — выходной уровень постсинаптического нейрона, равный .