Нейрон i в скрытом слое получает входной сигнал только от трех других нейронов i1, i2, i3 с выходными сигналами 1, 2, -3 по связям с весами 0,3, 0,4, 0,5 соответственно и по связи с весом 0,5 отдает выходной сигнал только нейрону j в выходном слое с выходным сигналом 0,8. Смещение нейронов равно нулю. Функция активации у всех нейронов – логистическая функция с параметром a=1. Желаемый отклик нейрона j равен 0,7. Пользуясь алгоритмом обратного распространения ошибки (back propagation) – градиентного спуска с параметром скорости обучения 0,5 и с функцией стоимости в виде среднеквадратичной ошибки, найдите вес связи между нейронами i3 и i после первой итерации с точностью до трех знаков после запятой.
Имеется стохастическая нейронная сеть машина Больцмана (Boltzmann machine - BM) с возможными состояниями нейронов 1/0. В некоторый фиксированный момент рассмотрим нейрон из скрытого слоя i, связанный только с нейронами i1, i2, i3, имеющими состояния 1, 1, 0 соответственно. Веса связей нейрона i с нейронами i1, i2, i3 равны 0,4, -0,3, 0,2 соответственно. Смещение нейрона i равно 0,5. Найдите, во сколько раз вероятность включения нейрона i P(i=1) выше при температуре T=1, чем при температуре T=10. Ответ укажите с точностью до двух знаков после запятой:
Какая функция активации применяется наиболее удобна для описания выходного сигнала нейрона?
Для задачи функции активации - ограничить амплитуду выходного значения нейрона, чаще всего используется сигмоидальная (S-образная) функция(и) ?
Имеется стохастическая нейронная сеть ограниченная машина Больцмана (restricted Boltzmann machine - RBM) с возможными состояниями нейронов 1/0. Рассмотрим видимый нейрон i с состоянием Vi и скрытый нейрон j с состоянием Hj. Для определения изменения весов применим алгоритм Contrastive Divergence. Найдено следующее соответствие состояний нейронов для 6 моментов времени. t=0: Vi=0, Hj=1; t=1: Vi=1, Hj=1; t=2: Vi=0, Hj=1; t=3: Vi=1, Hj=1; t=4: Vi=0, Hj=0; t=5: Vi=1, Hj=1. Постройте 2 статистики для вычисления математических ожиданий произведений состояний нейронов i и j: одна из них (позитивная фаза) является средним из 6 чисел, другая (негативная фаза) - из 5. Найдите величину необходимого изменения веса связи между нейронами i и j, если параметр скорости обучения равен 0,4. Ответ укажите с точностью до двух знаков после запятой:
Для 10 значений количественного признака X 1; 2; 3; 4; 5; 6; 7; 8; 9; 10 даны соответствующие значения Y: 2,5; 3,1; 0,4; -2,3; -3,2; -0,8; 2,0; 3,0; 1,2; -2,0. Функция регрессии ищется в виде Y=A*sin(X), A=3,174 (квадратичная функция потерь). Для более стабильного результата был применен алгоритм бэггинга (bagging). С помощью датчика случайных чисел были сделаны четыре выборки из указанных 10 примеров с возвращением (указаны только значения X): {1; 1; 2; 3; 4; 6; 8; 8; 10; 10}, {2; 2; 3; 4; 5; 7; 7; 8; 9; 10}, {1; 3; 3; 3; 6; 6; 7; 8; 8; 9}, {4; 4; 4; 5; 5; 5; 6; 9; 9; 9}. Для каждой из четырех выборок вычислите коэффициент A при sin (X) с квадратичной функцией потерь. В качестве ответа укажите среднее арифметическое этих четырех значений с точностью до двух знаков после запятой.
Имеются бактерии с двумя количественными признаками x1, x2, строится логистическая регрессия для определения вероятности, с которой бактерии относятся к одному из двух классов (видов) - y1 или y2. Предполагается нормальное распределение условных вероятностей, соответственно модель получается линейной, и p(y1|x)=1/(1+exp(-(w1*x1+w2*x2+w0))). В результате обучения были найдены следующие значения: w0=1, w1=3, w2=-4. Найдите, с какой вероятностью бактерия с признаками x1=1, x2=1 относится ко второму классу. Ответ укажите с точностью до одного знака после запятой:
В документе d слово "кластер" встречается с частотой TF("кластер",d)=0,0125. Мы имеем возможность программным образом изучить миллион документов, и выяснить, что указанное слово встречается только в 100 из них. Вычислите TF-IDF слова "кластер" в документе d с точностью до двух знаков после запятой:
Рассмотрим многослойный персептрон, состоящий из вытянутых в линейную цепочку 10 нейронов (один из них входной, один выходной, а 8 образуют 8 скрытых слоев). Для коррекции весов используется алгоритм обратного распространения ошибки (back propagation). Функция ошибки среднеквадратическая. Значения весов и ошибка на выходе не превышают по модулю единицы. Выберите, при каких значениях сигнала на входе градиент на входе может превысить 0,0001.
Укажите пропущенные слова в первом правиле Хебба: "Если два нейрона по разные стороны от синапсов активируются …, то "вес" синапса … "
