Библиотека FANN. Создание простой нейронной сети на C++

Когда сам искал информацию по работе в Visual C++ c библиотекой FANN, все что сумел найти - обрывки тем на формах. Так что в этой статье я попытаюсь рассмотреть последовательно и более-менее подробно все этапы создания простенькой нейронной сети.

Итак, начну с описания будущей нейронной сети. Тем, кто не знаком с теоретическими основами, советую чего-нибудь почитать по этой теме, или посмотреть хотя бы пару коротеньких видео на youtube.

Описание проектируемой сети
Задача, которую будет решать сеть - исключающее ИЛИ из области Булевой алгебры. Для наглядности логику исключающего ИЛИ я применю к выключателю. Обычно выключатель имеет 2 режима: ON(1) и OFF(-1). Поэтому теоретически возможны 4 типа ситуаций:
ON      OFF
    1  и -1       =  1
   -1  и  1       =  1
    1  и  1       = -1
   -1  и -1       = -1
В первом случае выключатель включен, а результат операции реален = 1. Во втором случае выключатель выключен, и результат операции так же реален = 1. А теперь, внимание, функции ON и OFF включены(!) одновременно что в реальности не возможно, т.е. результат операции имеет код = -1. И в четвертом случае, функции ON и OFF обе выключены одновременно что так же невозможно = -1.

Как правило, для решения такой задачи совсем нет надобности создавать нейронную сеть. Здесь я делаю это исключительно в демонстративных целях.

Наша сеть как показано на изображении ниже, будет иметь 3 слоя. Входной слой состоит из 2 нейронов. На каждый из них мы будем подавать число (1 или -1). Скрытый слой состоит из трех нейронов. Последний слой - выходной. В нем всего 1 нейрон. Он будет сообщать о возможности той или иной комбинации (1 или -1).

Подключение библиотеки FANN к Visual Studio. 

Скачайте библиотеку с официального сайта - leenissen.dk. Теперь следует скомпилировать библиотеки. Открываем папку с библиотекой, далее папку VS2010 и открываем файл fann.sln через Visual Studio. Версия вашей Visual Studio должна быть не старее VS2010. Если ваша версия VS новее 2010, то вам будет предложено преобразовать исходники библиотек под новейшую среду. Для компиляции библиотек жмем Сборка-Собрать решение или просто клавишу F7. Библиотеки сохраняются в папку Bin.

Библиотеки готовы, осталось подключить. Создаем пустой проект, добавляем файл с++ следующего содержания:

#include "iostream.h"
#include "stdio.h"
#include "fann.h"
#include "floatfann.h"

using std::cout;
using std::endl;

int main()
{
    const unsigned int num_input = 2;
    const unsigned int num_output = 1;
    const unsigned int num_layers = 3;
    const unsigned int num_neurons_hidden = 3;
    const float desired_error = (const float) 0.01;
    const unsigned int max_epochs = 50;
    const unsigned int epochs_between_reports = 2;
    fann_type *calc_out;
    fann_type input[2];

    // создание нейронной сети с именем ann
    struct fann *ann = fann_create_standard(num_layers, num_input,
        num_neurons_hidden, num_output);

    fann_set_activation_function_hidden(ann, FANN_SIGMOID_SYMMETRIC);
    fann_set_activation_function_output(ann, FANN_SIGMOID_SYMMETRIC);

    //обучение
    fann_train_on_file(ann, "training.txt", max_epochs,
        epochs_between_reports, desired_error);

    //задание значений входным нейронам
    input[0] = -1;
    input[1] = 1;
    calc_out = fann_run(ann, input);

    //вывод результатов c выходного нейрона
    printf("xor test (%f,%f) -> %f\n", input[0], input[1], calc_out[0]);

    //сохранение обученной сети в файл
    fann_save(ann, "xor_float.net");
    fann_destroy(ann);

    system("pause"); return 0;
}

Разбор кода:

num_input - назначение количества входных нейронов

num_output - назначение количества выходных нейронов

num_layers - назначение количества слоев сети

num_neurons_hidden - назначение ко-ва нейронов в скрытом слое

desired_error - допустимый порог ошибки, т.е. когда вы обучаете вашу сеть, результат, который она выдает после обучения будет иметь некоторую погрешность. Обучение будет происходить до тех пор, пока погрешность не станет меньше заданной вами величины.

max_epochs - максимальное количество циклов прогонки обучающей выборки через сеть. Стоит пояснить, что если обучение прошло успешно и требуемая погрешность была достигнута за количество циклов меньшее чем то максимальное которое вы указали, то обучающая программа прекратит обучение.

epochs_between_reports - величина характеризует интервал между циклами, в котором будет выводится результат обучения. 

fann_create_standard - функция создания нейронной сети с заданными параметрами.

fann_train_on_file - обучение нейронной сети. Файл training.txt содержит в себе обучающую выборку в таком виде:

4 2 1
-1 -1
-1
-1 1
 1
 1 -1
 1
 1 1
-1

input[2] - нейроны входного слоя

calc_out - нейрон выходного слоя

Далее переходим  Проект - Свойства - Компоновщик - Общие - Дополнительные каталоги библиотек указываем путь к папке Bin, откомпилированной библиотеки.

Далее Проект - Свойства - Компоновщик - Ввод - Дополнительные зависимости вписываем следующее: fannfloat.lib (В данном примере используется только библиотека fannfloat.lib, но для некоторых сетей может понадобится подключение дополнительных .lib библиотек из папки Bin). 

Затем Проект - Свойства - (С/С++) - общие - дополнительный каталог включаемых файлов и там указываем путь к папке include находящейся в папке src вашей библиотеки.

Теперь пытаемся откомпилировать. Компиляция пройдет с ошибкой, но в папке программы будет создан каталог Debug. Теперь копируем из папки Bin в папку Debug файл: fannfloat.dll и повторно компилируем проект. Если вы все сделали правильно, то проект должен собраться.

Как видно в моем случае, сеть обучилась отвечать с нужной мне погрешностью 0.01 за 23 цикла. Так же видно, что первые 10 циклов сеть плохо обучалась о чем говорит практически не уменьшающаяся погрешность (current error). Bit fail сообщает о том, что начиная с 18 цикла сеть перестала делать ошибки в выборке. И, наконец, сеть выдала, что при входных параметрах -1 и 1 с вероятностью 88% будет 1.