МЕТОД ПРИМЕНЕНИЯ НЕЙРОННЫХ СЕТЕЙ BERT-BILSTM-ATTENTION ДЛЯ ОПРЕДЕЛЕНИЯ ЭМОЦИОНАЛЬНОГО ОТНОШЕНИЯ АВТОРА К ТЕКСТУ

Инь Суузюнь, Афанасьев Геннадий Иванович, Калистратов Алексей Павлович

В данной работе предлагается метод анализа текста на предмет его тональности, основанный на модели глубокого обучения нейронных сетей BERT-BiLSTM-Attention. Сначала текст кодируется с помощью модели BERT для получения его семантического представления. Затем закодированный текст поступает в модель BiLSTM для обработки этого представления в виде вектора. После этого выход модели BiLSTM взвешивается и усредняется алгоритмом Attention для получения окончательных результатов анализа настроения. Экспериментируя на наборе данных IMDB, модель, предложенная в данной работе, достигла точности 90%, обеспечив лучшую производительность по сравнению с другими методами текстового анализа на основе глубокого обучения.

Ключевые слова:анализ тональности текста; BERT-BiLSTM-Attention; механизм Attention, глубокое обучение, нейронные сети.