МЕТОДИКА ОПРЕДЕЛЕНИЯ ОПТИМАЛЬНЫХ КАТЕГОРИЙ ДЛЯ КЛАССИФИКАЦИИ НОВОСТНОГО МАССИВА

Горячкин Борис Сергеевич, Коренькова Татьяна Вячеславовна, Черных Юлия Сергеевна

Одним из важнейших источников анализа социальных событий и процессов являются новости, поскольку они отражают практически все их аспекты и позволяют выстраивать полноценную картину социальной реальности. Для этого необходимо проводить предварительную классификацию новостей по социальным тематикам, а исходные рубрики новостей в различных новостных ресурсах недостаточно хорошо подходят для данной задачи. Поэтому в работе была разработана и проверена на практике методика определения оптимальных категорий для классификации новостных текстов, в частности, для социальной сферы. Методика включает в себя определение новых предварительных категорий новостей алгоритмом Word2Vec, многократное тематическое моделирование с помощью Zero-Shot классификации и полуавтоматическую модификацию категорий до достижения нужных порогов производной метрики. В результате был получен оптимальный список категорий, отражающих социальную реальность, а также доказано его преимущество по сравнению с исходными категориями.

Ключевые слова:Тематическое моделирование новостей, классификация новостей, социальное моделирование, Word2Vec, Zero-Shot классификация, NLI.