Имеется стохастическая нейронная сеть машина Больцмана (Boltzmann machine - BM) с возможными состояниями нейронов 1/0. В некоторый фиксированный момент рассмотрим нейрон из скрытого слоя i, связанный только с нейронами i1, i2, i3, имеющими состояния 1, 1, 0 соответственно. Веса связей нейрона i с нейронами i1, i2, i3 равны 0,4, -0,3, 0,2 соответственно. Смещение нейрона i равно 0,5. Найдите, во сколько раз вероятность включения нейрона i P(i=1) выше при температуре T=1, чем при температуре T=10. Ответ укажите с точностью до двух знаков после запятой:
Имеется стохастическая нейронная сеть ограниченная машина Больцмана (restricted Boltzmann machine - RBM) с возможными состояниями нейронов 1/0. Рассмотрим видимый нейрон i с состоянием Vi и скрытый нейрон j с состоянием Hj. Для определения изменения весов применим алгоритм Contrastive Divergence. Найдено следующее соответствие состояний нейронов для 6 моментов времени. t=0: Vi=0, Hj=1; t=1: Vi=1, Hj=1; t=2: Vi=0, Hj=1; t=3: Vi=1, Hj=1; t=4: Vi=0, Hj=0; t=5: Vi=1, Hj=1. Постройте 2 статистики для вычисления математических ожиданий произведений состояний нейронов i и j: одна из них (позитивная фаза) является средним из 6 чисел, другая (негативная фаза) - из 5. Найдите величину необходимого изменения веса связи между нейронами i и j, если параметр скорости обучения равен 0,4. Ответ укажите с точностью до двух знаков после запятой:
Нейрон i в скрытом слое получает входной сигнал только от трех других нейронов i1, i2, i3 с выходными сигналами 1, 2, -3 по связям с весами 0,3, 0,4, 0,5 соответственно и по связи с весом 0,5 отдает выходной сигнал только нейрону j в выходном слое с выходным сигналом 0,8. Смещение нейронов равно нулю. Функция активации у всех нейронов – логистическая функция с параметром a=1. Желаемый отклик нейрона j равен 0,7. Пользуясь алгоритмом обратного распространения ошибки (back propagation) – градиентного спуска с параметром скорости обучения 0,5 и с функцией стоимости в виде среднеквадратичной ошибки, найдите вес связи между нейронами i3 и i после первой итерации с точностью до трех знаков после запятой.
Даны четыре примера (наблюдения) в трехмерном пространстве признаков: A(1;4;10), B(2;5;6), C(1;3;8) и D(2;4;8), при этом известно, что первый и третий примеры относятся к классу "1", а второй и четвертый – к классу "0". Для обучения на данных примерах применяется алгоритм случайный лес (random forest). Случайным образом были выбраны 5 наборов примеров и признаков: (1) пример 1 (признаки 1,2) + пример 2 (признаки 1,3); (2) пример 3 (признаки 2,3) + пример 4 (признак 1); (3) пример 2 (признаки 1,2,3) + пример 3 (признак 1); (4) пример 1 (признаки 1,3) + пример 2 (признак 1) + пример 3 (признак 3); (5) пример 1 (признаки 2,3) + пример 4 (признаки 2,3). Для этих пяти наборов были построены соответственно пять деревьев по алгоритму CART, нечистота (impurity) вычислялась по Джини. Принадлежность к классу определяется голосованием – числом деревьев, которые отнесли тот или иной пример к определенному классу. Сколько деревьев отнесут тестовый пример F(2;3;6) к классу "0"? (Напишите ответ в виде целого числа.)
Слой нейронной сети – это:
Ошибкой обучения нейронной сети называется:
Сколько скрытых слоев Вы видите в данной нейронной сети?
Напишите название типа нейронной сети, представленной на схеме ниже: "Это ___ нейросеть с общими весами во времени"
Даны четыре примера (наблюдения) в трехмерном пространстве признаков: A(1;4;10), B(2;5;6), C(1;3;8) и D(2;4;8), при этом известно, что первый и третий примеры относятся к классу "1", а второй и четвертый – к классу "0". Для обучения на данных примерах применяется метод случайных подпространств (RSM, random subspace method). Случайным образом были выбраны 5 различных двумерных наборов признаков: (1;4;-), (2;-;6), (-;3;8), (2;4;-), (2;-;8). Принадлежность к классу определяется голосованием – числом наборов, которые относят тот или иной пример к определенному классу. Сколько наборов относят тестовый пример E(2;4;6) к классу "0"? (Напишите ответ в виде целого числа.)
Пример задачи эффекта "проклятие размерности". Даны два случайных вектора x и y в пространстве размерности D. Как зависит математическое ожидание косинус-расстояния между x и y от размерности D, при наблюдениях, что числитель стремится к нулю, а знаменатель положительный ? Ответ укажите с точность до 2-го знака после запятой.
