АДАПТИВНЫЙ ГИБРИДНЫЙ МЕТОД МИГРАЦИИ БОЛЬШИХ ДАННЫХ С АВТОМАТИЧЕСКИМ ВЫБОРОМ СТРАТЕГИИ ИЗВЛЕЧЕНИЯ И ОБРАБОТКИ ИНФОРМАЦИИ

Сосенушкин Сергей Евгеньевич, Баданов Артем Андреевич

В статье рассматриваются особенности миграции больших данных в условиях использования разнородных хранилищ и нестандартных источников информации. Проведен обзор существующих методов миграции данных и выявлены их ограничения при работе с большими объемами данных и различными способами доступа к источникам. Предложен адаптивный гибридный метод миграции больших данных с автоматизированным выбором стратегии извлечения и обработки информации, основанный на сочетании экранных роботов, классических ETL-подходов, распределенной обработки данных и использования промежуточного хранилища. Показано, что предложенный метод является перспективным подходом к организации процессов миграции больших данных и представляет интерес для дальнейших исследований в области построения масштабируемых и устойчивых миграционных решений.

Ключевые слова:большие данные, миграция данных, ETL, экранные роботы, RPA, промежуточное хранилище, трансформация данных