АНАЛИЗ ПРОБЛЕМ И ПОДХОДОВ К ОБРАБОТКЕ ИНФОРМАЦИИ ПРИ МИГРАЦИИ БОЛЬШИХ ДАННЫХ

Баданов Артем Андреевич

В статье рассматриваются проблемы обработки информации, возникающие при миграции больших данных в условиях использования разнородных и многовариационных хранилищ данных. В качестве методологических ограничений исследуется сценарий единоразовой миграции данных, характерный для задач модернизации инфраструктуры, смены технологических платформ и консолидации источников информации. Показано, что перенос данных и сопутствующих метаданных между системами с различными моделями хранения существенно усложняет процессы обработки информации. В работе выделены и проанализированы пять ключевых проблем, оказывающих наибольшее влияние на корректность и эффективность миграции больших данных: различия в поддерживаемых типах данных и моделях хранения, ограниченная переносимость методов обработки данных, сбои и ошибки при обработке больших объемов информации, особенности извлечения данных из нестандартных источников, а также ограниченность вычислительных ресурсов исходных систем. Для каждой из выделенных проблем рассмотрены подходы и методы их смягчения, основанные на адаптации процессов обработки данных с учетом архитектурных и ресурсных ограничений. Результаты исследования могут быть использованы при проектировании и реализации процессов миграции больших данных в современных информационных системах, а также служат основой для разработки адаптивных и гибридных подходов к обработке информации.

Ключевые слова:большие данные, миграция больших данных, обработка информации, хранилища данных, ETL, модели хранения, вычислительные ресурсы, проблемы миграции больших данных.