Как написать нейросеть с нуля: пошаговое руководство для начинающих

Что такое нейросеть и как она учится

Нейросеть — это математическая модель, которая имитирует работу человеческого мозга. В отличие от обычных программ, где разработчик вручную прописывает все правила, нейросеть способна самостоятельно находить закономерности в данных. Она состоит из множества связанных между собой элементов — нейронов, которые организованы в слои.

Каждый нейрон получает на вход числовые сигналы, умножает их на веса (коэффициенты важности), суммирует и пропускает через функцию активации. Если сумма превышает порог, нейрон передаёт сигнал дальше. Веса изначально случайны, поэтому первые ответы сети будут ошибочными. В процессе обучения веса постепенно корректируются так, чтобы ошибка уменьшалась.

Обучение происходит на датасете — наборе примеров с правильными ответами. Один полный проход по всем данным называется эпохой. Обычно требуется несколько эпох, чтобы сеть научилась обобщать, а не просто запоминать ответы. Если обучать слишком долго, может возникнуть переобучение: модель отлично работает на знакомых данных, но плохо на новых.

Почему Python — лучший выбор для создания нейросетей

Python стал стандартом де-факто в машинном обучении благодаря простому синтаксису и мощной экосистеме библиотек. Для написания нейросети с нуля вам понадобятся:

• NumPy — библиотека для быстрой работы с многомерными массивами и матрицами. Все математические операции внутри нейросети (умножение матриц, сложение, активация) выполняются через NumPy.
• Matplotlib — инструмент для визуализации данных. С его помощью можно выводить изображения цифр, строить графики точности и ошибки.
• scikit-learn — библиотека с готовыми алгоритмами и датасетами. Для учебных целей мы возьмём оттуда только набор данных, а нейросеть напишем сами.

Альтернативы вроде C++ или JavaScript существуют, но для первого проекта Python оптимален. Он позволяет сосредоточиться на логике сети, а не на синтаксисе языка.

Как подготовить данные для обучения нейросети

Нейросеть учится на примерах. Для распознавания рукописных цифр идеально подходит встроенный датасет digits из библиотеки scikit-learn. Он содержит почти 1800 изображений размером 8×8 пикселей, каждое из которых представляет собой рукописную цифру от 0 до 9.

Каждое изображение — это матрица чисел от 0 до 16, где 0 соответствует белому фону, а 16 — чёрному. Для подачи в нейросеть матрицу нужно преобразовать в одномерный вектор длиной 64 (8×8). Это делается методом reshape.

Также необходимо подготовить правильные ответы (метки). Для каждой картинки известна цифра, которая на ней изображена. В процессе обучения сеть будет сравнивать свой прогноз с этой меткой и корректировать веса.

Важно разделить данные на обучающую и тестовую выборки. Обычно используют 70–80% данных для обучения и 20–30% для проверки. Это позволяет оценить, как модель работает с новыми, незнакомыми примерами.

Архитектура простой нейросети: от входа до выхода

Для задачи распознавания цифр достаточно построить трёхслойную нейросеть: входной слой, один скрытый слой и выходной слой.

• Входной слой содержит 64 нейрона — по одному на каждый пиксель изображения. Значения пикселей (0–16) подаются на вход без изменений.
• Скрытый слой — основной вычислительный блок. Количество нейронов выбирается экспериментально, например 16 или 32. Каждый нейрон скрытого слоя соединён со всеми 64 входами, и каждое соединение имеет свой вес. Здесь происходит умножение входов на веса, суммирование и применение функции активации (например, сигмоиды или ReLU).
• Выходной слой содержит 10 нейронов — по одному на каждую цифру от 0 до 9. Активация каждого нейрона показывает, насколько сеть уверена, что на изображении именно эта цифра. Обычно используют функцию softmax, которая превращает сырые значения в вероятности, сумма которых равна 1.

Такая архитектура называется полносвязной (fully connected). Все нейроны предыдущего слоя соединены со всеми нейронами следующего. Это простейший, но эффективный вариант для учебных задач.

Прямое распространение: как нейросеть делает предсказание

Прямое распространение (forward propagation) — это процесс, при котором входные данные проходят через все слои сети и превращаются в выходной сигнал. Рассмотрим его по шагам.

1. Входной слой: вектор пикселей X размером 64 подаётся на вход.
2. Скрытый слой: вычисляется взвешенная сумма Z1 = W1 * X + b1, где W1 — матрица весов размером (64×16), а b1 — вектор смещений. Затем применяется функция активации, например сигмоида: A1 = sigmoid(Z1).
3. Выходной слой: аналогично вычисляется Z2 = W2 * A1 + b2, где W2 — матрица весов (16×10). После этого применяется softmax: A2 = softmax(Z2). Получается вектор из 10 чисел, каждое от 0 до 1, сумма которых равна 1.
4. Интерпретация: нейрон с максимальным значением указывает на предсказанную цифру. Например, если A2[7] = 0.85, а остальные меньше, сеть считает, что на изображении цифра 7.

На первых итерациях, пока веса случайны, предсказания будут почти равномерными (около 0.1 для каждой цифры). По мере обучения распределение становится более уверенным.

Функция потерь и обратное распространение ошибки

Чтобы нейросеть училась, нужно оценить, насколько её предсказание отличается от правильного ответа. Для этого используется функция потерь (loss function). Для задачи классификации с несколькими классами чаще всего применяют кросс-энтропию:

Loss = -sum(y_true * log(y_pred))

где y_true — правильный ответ в формате one-hot (например, для цифры 7 это вектор [0,0,0,0,0,0,0,1,0,0]), а y_pred — предсказанные вероятности.

Чем меньше значение loss, тем точнее модель. Цель обучения — минимизировать эту величину.

Для минимизации используется алгоритм обратного распространения ошибки (backpropagation). Он вычисляет градиент (производную) функции потерь по каждому весу и смещению. Градиент показывает, в каком направлении нужно изменить вес, чтобы уменьшить ошибку.

Затем веса обновляются с помощью градиентного спуска:

W_new = W_old - learning_rate * gradient

Скорость обучения (learning rate) — гиперпараметр, который определяет величину шага. Слишком большой шаг может привести к расходимости, слишком маленький — к медленному обучению.

Реализация нейросети на Python с использованием NumPy

Теперь перейдём к коду. Мы напишем класс NeuralNetwork, который будет содержать методы для инициализации, прямого распространения, обратного распространения и обучения.

Инициализация: создаём матрицы весов W1 и W2 со случайными значениями (например, из нормального распределения с масштабом 0.01) и векторы смещений b1, b2 с нулями.

Прямое распространение: реализуем формулы, описанные выше. Для сигмоиды используем 1 / (1 + exp(-z)), для softmax — exp(z) / sum(exp(z)).

Обратное распространение: вычисляем градиенты по цепному правилу. Для выходного слоя: dZ2 = A2 - y_true. Для скрытого слоя: dZ1 = (W2.T * dZ2) * sigmoid_derivative(A1). Затем обновляем веса: W2 -= learning_rate * (A1.T * dZ2) / m, где m — количество примеров в батче.

Обучение: в цикле по эпохам подаём на вход обучающие данные, выполняем прямой проход, вычисляем loss, делаем обратный проход и обновляем веса. После каждой эпохи можно выводить значение loss, чтобы видеть прогресс.

Примерный код инициализации:

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros((1, hidden_size))
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros((1, output_size))

Это минимальная реализация, достаточная для понимания принципов.

Обучение модели и оценка точности

После написания кода запускаем обучение. Для датасета digits достаточно 100–200 эпох при скорости обучения 0.1–0.5. На каждой эпохе loss должен уменьшаться. Если loss не снижается или начинает расти, нужно скорректировать гиперпараметры.

После обучения оцениваем точность на тестовой выборке. Для этого подаём тестовые изображения в сеть, получаем предсказания и сравниваем с правильными ответами. Accuracy вычисляется как доля правильных ответов.

Для простой полносвязной сети на датасете digits можно ожидать точность около 90–95%. Это хороший результат для первой нейросети, написанной с нуля.

Важно проверить, не переобучилась ли модель. Если accuracy на обучающей выборке значительно выше, чем на тестовой, значит, сеть запомнила данные, а не обобщила их. В этом случае помогает уменьшение числа эпох, увеличение размера скрытого слоя или добавление регуляризации.

Также полезно визуализировать несколько примеров, где сеть ошиблась. Это поможет понять, какие цифры она путает чаще всего (например, 4 и 9, 3 и 8).

Типичные ошибки новичков и как их избежать

При написании нейросети с нуля начинающие часто допускают несколько типичных ошибок:

1. Неправильная инициализация весов. Если все веса инициализировать нулями, нейроны будут обновляться одинаково и сеть не сможет обучаться. Используйте случайные малые значения.
2. Слишком высокая или низкая скорость обучения. При высокой скорости loss может расходиться (увеличиваться). При низкой — обучение идёт слишком медленно. Начните с 0.1 и корректируйте.
3. Отсутствие нормализации входных данных. Пиксели со значениями 0–16 лучше нормализовать к диапазону 0–1, разделив на 16. Это ускоряет сходимость.
4. Неправильная реализация softmax. Убедитесь, что softmax применяется ко всем 10 выходам одновременно, а не по отдельности.
5. Переобучение. Если точность на обучении высокая, а на тесте низкая, уменьшите число эпох или добавьте dropout.
6. Игнорирование смещений (bias). Без смещений сеть может не сдвигать функцию активации, что снижает выразительность.

Чтобы отладить код, полезно сначала проверить прямой проход на одном примере и убедиться, что выходные вероятности суммируются в 1. Затем проверить, что loss уменьшается после каждой эпохи.

Как развить проект дальше: от учебной модели к реальному приложению

После того как вы написали и обучили первую нейросеть, можно двигаться дальше. Вот несколько идей для развития:

• Улучшить архитектуру: добавить больше скрытых слоёв, использовать более продвинутые функции активации (ReLU вместо сигмоиды), применить batch-normalization.
• Работа с реальными данными: вместо встроенного датасета загрузить свои изображения (например, отсканированные цифры). Потребуется предобработка: изменение размера до 8×8, преобразование в оттенки серого.
• Использовать фреймворки: TensorFlow/Keras или PyTorch позволяют создавать более сложные модели с минимальным кодом. Например, свёрточные нейросети (CNN) дают гораздо более высокую точность на изображениях.
• Создать веб-интерфейс: с помощью Flask или Streamlit можно сделать сайт, где пользователь рисует цифру мышкой, а нейросеть её распознаёт.
• Перейти к другим задачам: классификация текстов (токсичные комментарии), распознавание объектов на фото, прогнозирование временных рядов.

Главное — не останавливаться на достигнутом. Каждый новый проект будет укреплять понимание и открывать новые возможности.

Вопросы и ответы