Имеется стохастическая нейронная сеть машина Больцмана (Boltzmann machine - BM) с возможными состояниями нейронов 1/0. В некоторый фиксированный момент рассмотрим нейрон из скрытого слоя i, связанный только с нейронами i1, i2, i3, имеющими состояния 1, 1, 0 соответственно. Веса связей нейрона i с нейронами i1, i2, i3 равны 0,4, -0,3, 0,2 соответственно. Смещение нейрона i равно 0,5. Найдите, во сколько раз вероятность включения нейрона i P(i=1) выше при температуре T=1, чем при температуре T=10. Ответ укажите с точностью до двух знаков после запятой:
Нейрон i в скрытом слое получает входной сигнал только от трех других нейронов i1, i2, i3 с выходными сигналами 1, 2, -3 по связям с весами 0,3, 0,4, 0,5 соответственно и по связи с весом 0,5 отдает выходной сигнал только нейрону j в выходном слое с выходным сигналом 0,8. Смещение нейронов равно нулю. Функция активации у всех нейронов – логистическая функция с параметром a=1. Желаемый отклик нейрона j равен 0,7. Пользуясь алгоритмом обратного распространения ошибки (back propagation) – градиентного спуска с параметром скорости обучения 0,5 и с функцией стоимости в виде среднеквадратичной ошибки, найдите вес связи между нейронами i3 и i после первой итерации с точностью до трех знаков после запятой.
Сколько слоев может обработать одна ограниченная машина Больцмана (restricted Boltzmann machine - RBM)?
Нейрон i получает входной сигнал только от трех других нейронов с выходными сигналами 1, 2, -3 по связям с весами 0,3, 0,4, 0,5 соответственно. Смещение нейрона i равно 0,2. Функция активации нейрона i – логистическая функция с параметром a=1. Найдите выходной сигнал нейрона i с точностью до двух знаков после запятой.
Дан отрезок, четко "раскрашенный" слева на 4/7 черным цветом, а справа на 3/7 – белым, что можно представить в виде вектора (1;1;1;1;-1;-1;-1). Чтобы запомнить этот "правильный" образ, обучается нейронная сеть Хопфилда с семью нейронами (возможные состояния нейронов 1/-1, порог нулевой), где указанный вектор подается как образец (обучающий пример).В качестве тестового образца подадим на вход обученной нейронной сети черно-белый отрезок с "размытой" границей (1;1;1;-1;1;-1;-1). Проверьте, сможет ли обученная нейронная сеть проигнорировать испорченный участок и восстановить исходный отрезок:
Рассмотрим многослойный персептрон, состоящий из вытянутых в линейную цепочку 10 нейронов (один из них входной, один выходной, а 8 образуют 8 скрытых слоев). Для коррекции весов используется алгоритм обратного распространения ошибки (back propagation). Функция ошибки среднеквадратическая. Значения весов и ошибка на выходе не превышают по модулю единицы. Выберите, при каких значениях сигнала на входе градиент на входе может превысить 0,0001.
В чем состоит основная идея обучения алгоритма Contrastive Divergence?
Даны 6 обучающих примеров (x1,x2): (3;2), (2;6), (4;8), (3;6), (6;2), (6;4), первые три относятся к классу "1", оставшиеся – к классу "-1". Постройте решающую границу методом опорных векторов (SVM) со смягчением границ с константой регуляризации С=0,5. В качестве ответа укажите вторую компоненту получившегося вектора весов с точностью до трех знаков после запятой:
Имеются бактерии с двумя количественными признаками x1, x2, строится логистическая регрессия для определения вероятности, с которой бактерии относятся к одному из двух классов (видов) - y1 или y2. Предполагается нормальное распределение условных вероятностей, соответственно модель получается линейной, и p(y1|x)=1/(1+exp(-(w1*x1+w2*x2+w0))). В результате обучения были найдены следующие значения: w0=1, w1=3, w2=-4. Найдите, с какой вероятностью бактерия с признаками x1=1, x2=1 относится ко второму классу. Ответ укажите с точностью до одного знака после запятой:
Укажите минимальное количество скрытых слоев многослойного персептрона и нейронов в них, которое достаточно для построения равномерной аппроксимации с заданной точностью для любого обучающего множества, представленного набором m>1 входов и желаемого отклика f.
