Roman

Обработка и сжатие наборов данных для тренировки нейронных сетей.

2021-05-17T19:35:57.398Z

Зачастую наборы данных для тренировки нейронных сетей занимают много места. Кроме этого, для использования набора требуется правильная конвертация данных для того чтобы подать данные на вход сети.

В этой статье вы узнаете, как сжимать и обрабатывать наборы данных на примере фото и аудио.

.npz

Формат .npz файла представляет собой сжатый архив файлов, названных в честь переменных, которые они содержат. Архив сжимается, и каждый файл в архиве содержит одну переменную в NumPy формате.

При открытии сохраненного .npz файла с помощью load() возвращается объект. Это объект, подобный словарю, который можно запросить как для своего списка массивов, так и для самих массивов.

Пример

Импортируем функцию для создания .npz архива и генерации чисел. Так же сгенерируем массив.

Указываем имя файла и имя значения в котором будут хранится элементы массива, а так же указываем путь к массиву.

Готово. .npz архив создан.

Рассмотрим как же загрузить из такого архива данные.

Импортируем функцию загрузки.

Указываем имя файла и названия значений.

Готово. Ничего сложного.

MNIST

MNIST – набор рукописных цифр. Сам архив весит около 20 MB, а загрузка данных занимает много времени. Давайте рассмотрим как же завернуть MNIST в .npz архив.

Импортируем нужные функции: для просмтора содержимого дериктории, для отоброжения процесса выполнения, функция для работы с изображениями, а так же некоторые фунцкии NumPy о которых вы узнаете позже.

Создадим фунцкию для преобразования изображений в массив.

Она работает так: инициализируем массив в котором будут хранится все данные, загружаем список папок, после цего загружем список всех файлов в текущей папке, полученное изображение преобразуется в массив, после чего все значения делятся на 255 (так как возвращаются значения от 0 до 255 – яркость пикселя), после всех манипуляций массив добавляется в общий массив и возвражается функцией.

Далее создадим функцию для генерации лейблов.

Тут ничего сложного. Так как значения в архиве с данными идут по порядку, то и функция генерации лейблов будет создавать их по порядку.

Генерируем массив с числами идущими по порядку, все зависит от количества категорий и примеров.

eye()

eye() возвращает массив нулей с единицами по диагонали, но если указать координаты (массив сгенерированных по порядку чисел), то можно изменять положение единиц.

Указываем путь к файлу и устанавливаем размерность лейблов (категории на кол. примеров).

Далее сохраняем полученные значения в переменную и создаем архив, так же для проверки выведем размерность массива.

Готово. Теперь набор данных весит 15 MB, а вместо конвертации данных и генерации лейблов можно в две строки загрузить данные.

MSC

MSC (mini speech commands) – набор 8-ми голосовых команд от Google. Как и в случае с MNIST импортируем нужные функции: для просмтора содержимого дериктории, для отоброжения процесса выполнения, функция для построения спектограммы, а так же некоторые фунцкии NumPy.

Делаем все как и с MNIST, только вместо конвертации фото в массив, составляем спектограмму.

Лэйблы создаются как и в MNIST, т. к. значения идут по порядку.

Указываем путь к файлу и устанавливаем размерность лейблов.

Сохраняем полученные значения в переменную и создаем архив, так же для проверки выведем размерность массива.

Готово. Вес архива с неконвертированными аудио – 90 MB, вес .npz архива – 13 MB.

Нейронные сети простым языком. Часть 5. Основы Tensorflow.

2021-05-17T19:34:41.288Z

В этой статье вы узнаете как программировать нейронные сети с помощью ML-библиотеки Tensorflow.

MNIST

Импортируем нужные модули: функция для моделирования сети, слои, функция для разделения данных, а так же функция для чтения файлов (.npz).

Первая и вторая строка отвечает за отключение лишних логов.

Загружаем тренировочный набор и разделяем данные на тренировочные и тестовые.

Далее инициализируем сеть и слои, указываем количество нейронов и функции активации.

Первый слой в сети (Flatten) преобразует формат изображений из 2d-массива (28 на 28 пикселей) в 1d-массив из 28 * 28 = 784 пикселей. У этого слоя нет параметров для изучения, он только переформатирует данные.

Следующие слои - Dense. Это полносвязные нейронные слои.

Каждый нейрон последнего слоя содержит оценку, которая указывает вероятность того, что текущее изображение принадлежит одному из 10 классов.

Компилируем сеть с заданными параметрами, а так же запускаем тренировку.

Если вам нужно указать количество батчей:

model.fit(x_train, y_train, epochs=n_epoch, batch_size=n_batch)

Для тестирования сети в момент тренировки:

model.fit(x_train, y_train, epochs=n_epoch, validation_data=(x_test, y_test))

Если вам требуется вычислить предсказание после тренировки:

Требуется импорт модуля NumPy argmax для полученияиндекса максимального элемента массива.

print(argmax(model.predict(var)))

MSC

Импортируем нужные модули.

Загружаем набор данных, а так же разделяем его на тренировочные и тестовые.

Инициализируем сеть и слои, указываем количество нейронов и функции активации.

LSTM – рекурентный слой, слой с долгой кратковременной памятью. return_sequences = True означает, что данные стоит прогонять несколько раз, что и называется подкреплением.

Компилируем сеть с заданными параметрами и запускаем тренировку.

Нейронные сети простым языком. Часть 4. Задачи.

2021-05-17T19:34:25.546Z

В прошлой статье мы узнали как нейронную сеть, а так же рассмотрели примеры реализации на Python.

В этой статье для большего понимания рассмотрим реальные задачи, а также реализуем их на Python. Весь код приведенный ниже можно найти в моем GitHub.

Светофор

Сфетофор - простая, достаточно популярная задача. Всего 3 входных параметра, значения должны быть либо 0, либо 1. Нейросеть должна найти закономерность - значение по центру и является ответом.

Рассмотрим реализацию на Python. Для начала напишем основной класс, который отвечает за обучение и предсказание.

Импотрируем нужные модули библиотеки NumPy, а так же создадим объект класса для инициализации параметров сети.

Далее создадим функцию активации, в данной задаче будет достаточно сигмоиды.

Создадим объект отвечающий за вычисление предсказания.

Создадим объект отвечающий за корректировку весов.

А так же создадим объект тренировки сети и объект для возможности предсказания после обучения.

Теперь импотрируем написаный нами класс, а так же модуль для создания массива Numpy.

В данном случае, переменная data - это и есть наш набор данных, где первые три колонки это входные данные, а последняя так называемые лэйблы, то есть то что должно получится на выходе. Далее происходит разделение данных и корректное формирование массивов для предотвращения ошибок при вычислении.

Инициализиреум сеть, задаем гиперпараметры, подаем данные для обучения, а так же зададим новый случай.

Результат:

Как видим, ошибка уменьшается, а сеть выдала отличный результат.

Ирисы Фишера

Ирисы Фишера - популярная задача классификации. В данной задаче 4 входных параметра: длина/ширина двух типов лепестков. Суть в том, чтобы нейросеть смогла найти закономерности между данными и определить сорт растения.

Будем использовать тот же класс, но для более точного определения добавим нейроны отклонения.

По скольку набор данных уже в разы больше будет неразумно добавлять его в скрипт. По этому скачиваем датасет и импортируем в скрипте с помощью модуля NumPy - loadtxt. loadtxt загружает файл и разделяет содержимое на указанные значения.

Так же инициализируем сеть, задаем гиперпараметры и загружаем данные.

Результат:

Как видим 500 эпох сети достаточно чтобы обучиться, правильность распознавания - 98%.

Распознавание рукописных цифр

Переходим к самому сложному в данной стетье - распознваванию рукописных цифр. Для этого нам так же понадобится скачать набор рукописных цифр MNIST.

Так же будем использовать написанный ранее класс (с нейронами отклонения), но одной функции активации уже недостаточно, будем использовать софтмакс для вычисления выходного слоя.

Инициализируем сеть, задаем гиперпараметры и загружаем данные.

Так как набор данный большой, 10 эпох будет достаточно. Стоит заметить что установленный шаг ниже чем в предыдущих примерах, это нужно для более лучшего обобщения.

Для проверки выберем случайное значение из набора и подадим сети на вход после обучения.

Результат:

Как видим все работает, ошибка уменьшается - правильность растет, случайное значение из набора успешно распознано.

Стоит отметить что это не идеальная реализация, так как существуют различные варианты оптимизаторов, функций вычисления ошибки и т. д. Разделение пакетов используют по разному, а могут вообще и не использовать (в зависимости от набора данных), кроме этого, зачастую требуется перемещивать данные во избежание проблем обобщения сети. Так же данная реализация довольно медленная, т. к. для повышения скорости обучения обычно используют распараллеливание и мультипроцессорность (+GPU), а прописывать это вручную достаточно проблематично.

В следующей статье познакомимся с основами Tensorflow и рассмотрим реализацию некоторых задач на данном фреймворке.

Нейронные сети простым языком. Часть 3. Обучение.

2021-05-17T19:33:24.205Z

В прошлой статье мы узнали как получить прогнозируемое значение нейронной сети, что такое нейрон отклонения и для чего он нужен, а так же рассмотрели примеры реализации на Python.

Сейчас вы узнаете как же обучить нейронную сеть, а так же рассмотрим примеры реализации.

Что такое обратное распространение?

Метод обратного распространения ошибки (backward propagation) – это метод вычисления градиента, который используется при обновлении весов в нейронной сети. Суть метода в том, чтобы распространять ошибку в обратном порядке.

Обратного распространение

Для начала вычисляется ошибка скрытого слоя. На основе ошибки скрытого слоя вычисляется его дельта, после чего те же манипуляции выполняются со скрытыми слоями. Далее вычисляется значение обновления веса и с учетом шага и старого значения обновляется вес.

random.seed()

Генерация случайных чисел не является «случайной». random выдает не случайное число, а число которое вычисляется алгоритмом на основе другого числа, по умолчанию это текущее время. random.seed() позволяет изменить число, которое передается в random для генерации случайного числа, а т.к. "случайные" числа выдаются одним и тем же алгоритмом, то при одинаковом параметре в random.seed() будут и одинаковые "случайные" числа.

При инициализации параметров для нейронной сети это нужно чтобы исключить уникальность, т. к. при каждом запуске из-за уникальных параметров нейронная сеть даже после обучения может выдавать разные результаты.

Что такое гиперпараметры?

Гиперпараметр модели – это конфигурация, внешняя по отношению к модели.

К гиперпараметрам относятся: количество нейронов в слое, шаг обучения, количество итераций, а так же наличие/отсутствие нейронов отклонения.

Почему веса должны быть инициализированы случайным образом?

Приведу аналогию.

Представьте, что кто-то сбросил вас с вертолета на неизвестную вершину горы, и вы оказались там в ловушке. Везде туман. Единственное, что вы знаете, это то, что вы должны каким-то образом спуститься на уровень моря. В каком направлении вы должны двигаться, чтобы спуститься к самой низкой возможной точке?

Если вы не могли найти путь к уровню моря, и поэтому вертолет забирал вас снова и сбрасывал на ту же самую вершину горы. Вам придется снова идти в том же направлении, потому что вы возвращаетесь на те же исходные позиции.

Тем не менее, каждый раз, когда вертолет высаживает Вас где-нибудь на горе, вы будете делать разные направления и шаги. Таким образом, у вас будет больше шансов достичь самой низкой возможной точки.

Вот что подразумевается под нарушением симметрии. Инициализация асимметрична, поэтому вы можете найти разные решения одной и той же проблемы.

Что такое градиентный спуск?

Градиентный спуск – это метод нахождения минимального значения функции потерь. Минимизация любой функции означает поиск самой глубокой впадины в этой функции. Поиск минимума означает получение наименьшей возможной ошибки или повышение точности модели. Мы увеличиваем точность, перебирая набор учебных данных при настройке параметров нашей модели (весов и смещений).

Градиентный спуск

Что такое среднеквадратичная ошибка?

Среднеквадратичная ошибка (Mean Squared Error) – это функция потери. Чтобы рассчитать MSE, вы берете разницу между предсказаниями вашей модели и основополагающей правдой, вычеркиваете ее и затем усредняете по всему набору данных.
Результат всегда положительный, независимо от знака предсказанных и основанных значений истинности, и идеальное значение равно 0.

Формула для вычисления ошибки сети

Что такое итерация?

Итерация сравнима с шагом в цикле. Одна итерация равна одной пройденной эпохе.

Что такое эпоха?

Эпоха - это вся пройденная выборка (набор данных).

Транспонирование

Транспонированная матрица – матрица, полученная из исходной матрицы заменой строк на столбцы.

Конкретно в реализации метода обратного распространения на NumPy транспонирование нужно для получения доступа к данным, т. к. в обычном виде функция dot() не сможет произвести произведение матриц параметров.

Недостатки метода

Паралич сети

В процессе обучения сети значения весов могут в результате коррекции стать очень большими величинами. Это может привести к тому, что все или большинство нейронов будут функционировать при очень больших выходных значениях, в области, где производная сжимающей функции очень мала. Так как посылаемая обратно в процессе обучения ошибка пропорциональна этой производной, то процесс обучения может практически замереть. В теоретическом отношении эта проблема плохо изучена. Обычно этого избегают уменьшением размера шага, но это увеличивает время обучения.

Локальные минимумы

Метод градиентного спуска может застрять в локальном минимуме, так и не попав в глобальный минимум

Обратное распространение использует разновидность градиентного спуска, то есть осуществляет спуск вниз по поверхности ошибки, непрерывно подстраивая веса в направлении к минимуму. Поверхность ошибки сложной сети сильно изрезана и состоит из холмов, долин, складок и оврагов в пространстве высокой размерности. Сеть может попасть в локальный минимум, когда рядом имеется гораздо более глубокий минимум. В точке локального минимума все направления ведут вверх, и сеть не способна из него выбраться. Основную трудность при обучении нейронных сетей составляют как раз методы выхода из локальных минимумов: каждый раз выходя из локального минимума снова ищется следующий локальный минимум тем же методом обратного распространения ошибки до тех пор, пока найти из него выход уже не удаётся.

Размер шага

Если размер шага фиксирован и очень мал, то сходимость слишком медленная, если же он фиксирован и слишком велик, то может возникнуть паралич или постоянная неустойчивость. Эффективно увеличивать шаг до тех пор, пока не прекратится улучшение оценки в данном направлении антиградиента и уменьшать, если такого улучшения не происходит.

Переобучение

Следует также отметить возможность переобучения сети, что является скорее результатом ошибочного проектирования ее топологии или неправильным выбором критерия остановки обучения. При переобучении теряется свойство сети обобщать информацию. Весь набор образов, предоставленных к обучению, будет выучен сетью, но любые другие образы, даже очень похожие, могут быть распознаны неверно.

Реализация на Python

Для начала рассмотрим пошаговую реализацию для понимания алгоритма. Будем использовать сеть приведенную в прошлой статье.

Импортируем нужные функции, а так же создаем функцию для вычисления сигмоиды и ее производной.

Создаем класс нейронной сети и инициализируем параметры.

Вычисляем нейроны скрытого слоя, а так же их активацию.

Вычисляем выходной нейрон нейросети.

Вычисляем ошибку и дельты выходного и скрытых нейронов.

Вычисляем значения обновления весов.

Обновляем веса.

Обновляем нейроны отклонения.

Создадим объект класса для тренировки сети.

Набор данных.

Тренируем нейронную сеть.

Сделаем небольшую функцию для просмотра конечного результата сети.

Результат.

Рассмотрим реализацию на NumPy

Импортируем нужные функции, а так же создаем функцию для вычисления сигмоиды, ее производной, а так же функцию для вычисления среднеквадратичной ошибки.

Создаем класс нейронной сети и инициализируем параметры.

Производим прямое распространение (вычисляем предсказание сети).

Вычисляем ошибку и дельты выходного и скрытых нейронов.

*.T - транспонирование в NumPy.

Вычисляем значения обновления весов.

Обновляем веса.

Создадим объект класса для тренировки сети.

Набор данных.

Тренируем нейронную сеть.

Результат.

С нейроном отклонения

Нейрон смещения обычно добавляется к каждому слою, кроме входного.

Реализация на Python

Для начала рассмотрим пошаговую реализацию для понимания алгоритма. Будем использовать сеть приведенную выше.

Импортируем библиотеку с математическими функциями для использования экспоненты, а так же создадим функцию сигмоиды.

Теперь инициализируем параметры.

Вычисляем нейроны скрытого слоя.

Вычисляем выходной нейрон (результат, предсказание сети).

Ответ сети: 0.7075

Этот метод не совсем корректен, так как при большом количестве параметров сети, код будет просто огромным, да и сам Python считается достаточно медленным, поэтому реализуем все на NumPy.

Что такое NumPy?

NumPy - это библиотека с открытым исходным кодом для языка программирования Python. Поддерживает многомерные массивы; высокоуровневые математических функций, предназначенных для работы с многомерными массивами и т. д.

Импортируем нужные нам функции, а так же создадим функцию сигмоиды.

Инициализируем параметры случайным образом.

random.randn(2, 2) - создает 2 ячейки по 2 случайных значения

random.randn(2, 1) - создает 1 ячейку по 2 случайных значения

В данном случае массивы с весами инициализируются таким образом - кол. нейронов входного слоя -> кол. нейронов скрытого слоя, кол. нейронов скрытого слоя -> кол. нейронов выходного слоя.

Вычисляем скрытый слой.

Вычисляем выходной слой.

Сгенерированные параметры:

weights_1 = [[1.76, 0.40], [0.99, 2.24]]
weights_2 = [[ 1.87], [-0.98]]
bias1 = 0.95

bias2 = -0.15

Ответ сети: 0.6951

Что такое dot() в NumPy?

Функция dot() выполняет произведение матриц. В нашем случае это требуется для вычисления слоев.

Что такое random.seed() для чего нужна эта функция, узнаете в следующей статье.

В следующей статье рассмотрим как обучить нейронную сеть.

Ссылки

https://ru.wikipedia.org/wiki/Метод_обратного_распространения_ошибки

https://qna.habr.com/q/422558

https://coderoad.ru/20027598/Почему-веса-нейронных-сетей-должны-быть-инициализированными-случайными-числами

https://neurohive.io/ru/osnovy-data-science/gradient-descent/

https://www.machinelearningmastery.ru/importance-of-loss-function-in-machine-learning-eddaaec69519/

Нейронные сети простым языком. Часть 2. Вычисление предсказания.

2021-05-17T19:31:46.385Z

В прошлой статье мы узнали из чего состоит нейронная сеть, узнали о ее проблемах, а так же немного затронули историю ИНС.

Сейчас мы рассмотрим как получить прогнозируемое значение (результат выходного слоя), а так же рассмотрим реализацию на Python.

Что такое прямое распространение?

Прямое распространение

Прямое распространение (forward propagate) – это процесс передачи входных значений в нейронную сеть и получения выходных данных, которые называются прогнозируемым значением. Когда входные значения передаются в первый слой нейронной сети, процесс проходит без каких-либо операций. Второй уровень сети принимает значения первого уровня, а после операций по умножению и активации передает значения далее. Тот же процесс происходит на более глубоких слоях.

Пускай у нашей нейронной сети будет 2 входных нейрона, 2 нейрона в скрытом слое и 1 выходной нейрон.

Нейронная сеть

Для начала разберемся что означает каждая переменная.

Каждая цифра соответствует номеру нейрона в слое. X - входной нейрон, H (hidden) - нейрон скрытого слоя, O (output) - выходной нейрон, W (weights) - веса (синапсы).

Формула для вычисления слоя нейросети такая:

f(x) = (inputs * weights) + bias

f(x) - функция активации, bias - нейрон отклонения (смещения). Давайте разберемся что это такое.

Функция активации

Функция активации определяет выходное значение нейрона в зависимости от результата взвешенной суммы входов и порогового значения. Простым языком, функция активации нужна для нормирования данных.

Существует несколько функций активаций. Вот самые распространенные.

Функция ReLU

Сигмоидная функция

Функция гиперболического тангенса

У каждой функции активации есть свои недостатки, поэтому стоит выбирать функцию исходя из результатов выдаваемых нейронной сетью.

Например, сигмоида хорошо показывает себя в задачах классификации.

Так же стоит отметить что у каждой функции активации своя производная (есть исключения). О производной в следующей статье.

Нейрон смещения

Нейрон смещения нужен для того, чтобы иметь возможность получать выходной результат, путем сдвига графика функции активации вправо или влево.

Это более понятно на картинке.

Без нейрона отклонения

С нейроном отклонения

Нейрон смещения обычно добавляется к каждому слою, кроме входного.

Реализация на Python

Теперь инициализируем параметры.

Вычисляем нейроны скрытого слоя.

Вычисляем выходной нейрон (результат, предсказание сети).

Ответ сети: 0.7075

Что такое NumPy?

Импортируем нужные нам функции, а так же создадим функцию сигмоиды.

Инициализируем параметры случайным образом.

random.randn(2, 2) - создает 2 ячейки по 2 случайных значения

random.randn(2, 1) - создает 1 ячейку по 2 случайных значения

Вычисляем скрытый слой.

Вычисляем выходной слой.

Сгенерированные параметры:

weights_1 = [[1.76, 0.40], [0.99, 2.24]]
weights_2 = [[ 1.87], [-0.98]]
bias1 = 0.95

bias2 = -0.15

Ответ сети: 0.6951

Что такое dot() в NumPy?

Функция dot() выполняет произведение матриц. В нашем случае это требуется для вычисления слоев.

Что такое random.seed() для чего нужна эта функция, узнаете в следующей статье.

В следующей статье рассмотрим как обучить нейронную сеть.

Ссылки

https://ru.wikipedia.org/wiki/Нейронная_сеть#Нейронные_сети_прямого_распространения

https://proglib.io/p/neural-nets-guide

Нейронные сети простым языком. Часть 1. Введение.

2021-05-17T19:29:19.152Z

Схема простой нейросети

Что такое нейронная сеть?

Нейронная сеть – это математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей – сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. Нейронные сети представляет собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты. Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И, тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие по отдельности простые процессоры вместе способны выполнять довольно сложные задачи.

Что такое нейрон (процессор)?

Нейрон – это вычислительная единица, которая получает информацию, производит над ней простые вычисления и передает ее дальше. Они делятся на три основных типа: входной, скрытый и выходной. Также существует нейрон смещения, о котором вы узнаете в следующих статьях.

Что такое синапс (сигнал)?

Синапс – это связь между нейронами. У синапса имеется один параметр – весовой коэффициент, в зависимости от его значения происходит то или иное изменение информации, когда она передается от одного нейрона к другому. Именно благодаря этому входная информация обрабатывается и превращается в результат, а обучение нейронной сети основано на экспериментальном подборе такого весового коэффициента для каждого синапса, который и приводит к получению требуемого результата.

Для чего нужны нейронные сети?

Нейронные сети используются для решения сложных задач, которые требуют аналитических вычислений подобных тем, что делает человеческий мозг. Самыми распространенными применениями нейронных сетей является: прогнозирование, распознавание образов, классификация и др.

Какие бывают нейронные сети?

Существует 26 типов нейронных сетей. Одними из наиболее популярных являются:

Нейронные сети прямого распространения

Широко используются в прогнозировании, кластеризации и распознавании. Все связи направлены строго от входных нейронов к выходным.

Рекуррентные нейронные сети

Применимы в таких задачах, где нечто целостное разбито на части, например: распознавание рукописного текста или распознавание речи.Сигнал с выходных нейронов или нейронов скрытого слоя частично передается обратно на входы нейронов входного слоя.

Сверточные нейронные сети

Специальная архитектура нейронных сетей нацеленная на эффективное распознавание образов. Каждый фрагмент изображения умножается на матрицу свертки поэлементно, а результат суммируется и записывается в аналогичную позицию выходного изображения.

Немного истории

Термин "нейронная сеть" появился в середине XX века. Первые работы, в которых были получены основные результаты в данном направлении, были проделаны Мак-Каллоком и Питтсом. В 1943 году ими была разработана компьютерная модель нейронной сети на основе математических алгоритмов и теории деятельности головного мозга. Они выдвинули предположение, что нейроны можно упрощённо рассматривать как устройства, оперирующие двоичными числами, и назвали эту модель "пороговой логикой". Исследователи предложили конструкцию сети из электронных нейронов и показали, что подобная сеть может выполнять практически любые вообразимые числовые или логические операции. Мак-Каллок и Питтс предположили, что такая сеть в состоянии также обучаться, распознавать образы, обобщать, т. е. обладает всеми чертами интеллекта.

В 1949 году канадский физиолог и психолог Хебб высказал идеи о характере соединения нейронов мозга и их взаимодействии. Он первым предположил, что обучение заключается в первую очередь в изменениях силы синаптических связей. Теория Хебба считается типичным случаем самообучения, при котором испытуемая система спонтанно обучается выполнять поставленную задачу без вмешательства со стороны экспериментатора.

В 1954 году в Массачусетском технологическом институте с использованием компьютеров Фарли и Кларк разработали имитацию сети Хебба. Также исследования нейронных сетей с помощью компьютерного моделирования были проведены Рочестером, Холландом, Хебитом и Дудой в 1956 году.

В 1957 году Розенблаттом были разработаны математическая и компьютерная модели восприятия информации мозгом на основе двухслойной обучающейся нейронной сети. При обучении данная сеть использовала арифметические действия сложения и вычитания. Розенблатт описал также схему не только основного перцептрона, но и схему логического сложения.

В 1958 году им была предложена модель электронного устройства, которое должно было имитировать процессы человеческого мышления, а два года спустя была продемонстрирована первая действующая машина, которая могла научиться распознавать некоторые из букв, написанных на карточках, которые подносили к его "глазам", напоминающим кинокамеры.

Интерес к исследованию нейронных сетей угас после публикации работы по машинному обучению Минского и Пейперта в 1969 году. Ими были обнаружены основные вычислительные проблемы, возникающие при компьютерной реализации искусственных нейронных сетей. Первая проблема состояла в том, что однослойные нейронные сети не могли совершать "сложение по модулю 2", то есть реализовать функцию "Исключающее ИЛИ". Второй важной проблемой было то, что компьютеры не обладали достаточной вычислительной мощностью, чтобы эффективно обрабатывать огромный объём вычислений, необходимый для больших нейронных сетей.

Исследования нейронных сетей замедлились до того времени, когда компьютеры достигли больших вычислительных мощностей. Одним из важных шагов, стимулировавших дальнейшие исследования, стала разработка в 1975 году Вербосом метода обратного распространения ошибки, который позволил эффективно решать задачу обучения многослойных сетей и решить проблему со "сложением по модулю 2".

Недостатки нейронных сетей

У нейронных сетей есть ряд серьезных недостатков.

Ответ, выдаваемый нейронной сетью, всегда приблизительный

Нейронные сети не способны давать точные и однозначные ответы. Но задачи, в которых надо применять ИНС и одновременно получать точные ответы, встречаются довольно редко.

Неспособность принятия решений в несколько этапов

Нейронная сеть не может решать задачи, которые требуют последовательного выполнения нескольких шагов; она способна решать задачу только "в один заход". Поэтому нейросеть не может, например, доказать математическую теорему.

Неспособность решать вычислительные задачи

В ИНС нельзя загрузить, допустим, математическое уравнение и получить его решения для различных параметров. Но это и не является предназначением нейронных сетей.

Трудоемкость и длительность обучения

Для того чтобы нейронная сеть могла корректно решать поставленные задачи, требуется провести ее обучение на десятках миллионов наборов входных данных. Но уже разработаны различные технологии ускоренного обучения, современные видеокарты позволяют обучать нейросети в сотни раз быстрее, а недавно появились готовые, предобученные нейросети, в частности, распознающие образы. На основе таких нейросетей можно создавать приложения, не занимаясь длительным обучением.

В следующей статье рассмотрим как осуществляется предсказание сети.

Ссылки

https://ru.wikipedia.org/wiki/Нейронная_сеть

https://www.it.ua/ru/knowledge-base/technology-innovation/iskusstvennye-nejronnye-seti-ins

http://www.interface.ru/home.asp?artId=37476