Инициализация весов bij

Инициализация весов

$Инициализация весов bij$

малыми значениями является существенной для корректного функционирования систем APT. Если они слишком большие, входной вес вектора, который уже был запомнен, станет скорее активизировать несвязанный нейрон, чем ранее обученный.

Установка этих весов в малые величины гарантирует, что несвязанные нейроны не будут получать возбуждения большего, чем обученные нейроны в слое распознавания. Используя предыдущий пример с

$Инициализация весов bij$

, произвольно установим

$Инициализация весов bij$

. С такими весами предъявление вектора, которому сеть была ранее обучена, приведет к более высокому уровню активации для правильно обученного нейрона в слое распознавания, чем для несвязанного нейрона. Например, для несвязанного нейрона

$Инициализация весов bij$

будет производить возбуждение 1/6, в то время как

$Инициализация весов bij$

будет производить возбуждение 1/2; и то, и другое ниже возбуждения для обученных нейронов.

Поиск. Может показаться, что в описанных алгоритмах отсутствует необходимость фазы поиска, за исключением случая, когда для входного вектора должен быть распределен новый несвязанный нейрон. Это не совсем так: предъявление входного вектора, сходного, но не абсолютно идентичного одному из запомненных образов, может при первом испытании не обеспечить выбор нейрона слоя распознавания с уровнем сходства, большим р, хотя такой нейрон будет существовать; и, тем самым, без поиска не обойтись.

Как и в предыдущем примере, предположим, что сеть обучается следующим двум векторам:

$Инициализация весов bij$

с векторами весов

$Инициализация весов bij$

, обученными следующим образом:

$Инициализация весов bij$

Теперь приложим входной вектор

$Инициализация весов bij$

. В этом случае возбуждение нейрона 1 в слое распознавания будет 1,0, а нейрона 2 только 2/3. Нейрон 1 выйдет победителем (хотя он не лучшим образом соответствует входному вектору), вектор

$Инициализация весов bij$

получит значение 1 1 0 0 0,

$Инициализация весов bij$

будет равно 1/2. Если уровень сходства установлен в 3/4, нейрон 1 будет заторможен и нейрон 2 выиграет состязание.

$Инициализация весов bij$

станет равным 1 1 0 0 0,

$Инициализация весов bij$

станет равным 1, критерий сходства будет удовлетворен, и поиск закончится.

Содержание раздела

Главная сайта