Оптимизация файлового хранилища для Heel Rus

1. Ход проекта

   Поэтапная работа над проектом позволила распределить по времени тестирование обновленного алгоритма загрузки со стороны заказчика и снизить риски по внедрению нового механизма.
   
   Было решено, что разработка комплексной системы ETL (интеграции данных на стандартном механизме Microsoft SQL Server Integration Services в качестве замены кастомных скриптов) станет первым шагом комплексного улучшения хранилища.
   
   Так работа над проектом началась с определением приоритетов корректировки интеграции для 46 исходных файлов. Итогом приоритизации стало разделение проекта на 2 этапа. В рамках первого этапа предполагалось загрузка 29 файлов, в рамках второго – загрузка оставшихся 17 файлов и добавление необходимых проверок качества данных (Data Quality) по ключевым полям.
   
   В рамках проекта были разработаны проверки Data Quality:
   
   
   • проверка на пустые значения в Excel-файлах,
   • проверка на отсутствующие записи за определенный период времени.
   По каждой проверке команда настроила уведомления для контроля загрузки данных и оперативного решения возможных проблем.
   
   
   

   Итоги проекта

   Эксперты компании ICL Services осуществили бесшовную замену системы ETL-интеграции данных на стандартном механизме Microsoft SQL Server Integration Services (SSIS), существенно улучшив систему и обеспечив возможность дальнейшего роста прибыли компании.
   
   Теперь на основе точных данных и своевременных и достоверных отчетов принимаются более обоснованные бизнес-решения, оптимизируются внутренние бизнес-процессы, снижаются издержки, и соответственно, растет прибыль компании.

Продукты и технологии

• Microsoft Excel
• Power BI
• Microsoft SQL Server, SQL Server Integration Services