Перевод нейронной сети в векторное представление

Шаламов Вячеслав Владимирович, Ефимова Валерия Александровна, Фильченков Андрей Александрович

В последнее время в мире широко применяются модели глубокого обучения, в частности нейронные сети. Многие архитектуры нейронных сетей создаются человеком вручную, что не позволяет достичь оптимальных результатов. Существуют алгоритмы поиска архитектуры нейронных сетей, которые позволяют автоматизировать процесс поиска и создания архитектуры нейронных сетей. В недавних исследованиях было показано, что если использовать векторное представление нейронной сети, то можно сократить поиск архитектуры нейронной сети. Предложен алгоритм, переводящий нейронную сеть в графовое векторное представление и обратно, который минимизирует потери информации при конвертации. Были рассмотрены три модели для сжатия: автокодировщик, вариационный автокодировщик и последовательность-в-последовательность. Было проведено сравнение вариаций предложенной модели между собой и с известными моделями на основе вариационного автокодировщика: D-VAE и DVAE-EMB по потерям при сжатии и по расхождению Кульбака-Лейблера. Результаты работы сжатых и разжатых с помощью предложенного метода нейронных сетей остаются не хуже чем у существующих методов, при этом предложенное решение позволяет достичь меньшую размерность скрытого пространства, используя структуру графа и кодируя атрибуты отдельно от вершин графа.

Ключевые слова:поиск архитектуры нейронной сети; векторное представление; вариационный автокодировщик; графы с атрибутами