TOC-automation – новый инструмент для ИТ-поддержки самого высокого уровня

— Расскажите, кто такие TOC-инженеры, и какую работу они выполняют в компании?

— TOC (Technicians On Call) — это компетентные инженеры, осуществляющие сопровождение ИТ-инфраструктуры заказчика за пределами сервисного времени (неофисное вечернее время, выходные и праздничные дни). Работа таких специалистов организована в виде дежурства на дому, но они обязательно должны быть доступны в любое время по служебному телефонному номеру. При появлении инцидента в ИТ-инфраструктуре заказчика TOC-инженер получает звонок от дежурного инженера специальной службы мониторинга, которая работает 24×7. Получая такой звонок, ТОС-инженер при помощи удаленного подключения решает инцидент.

— Главная идея у проекта TOC-automation?

TOC-automation — это система, которая напрямую интегрирована с системами мониторинга инфраструктуры или ITSM-системами заказчика и позволяет автоматически оповещать TOC-инженера при получении информации об инциденте. Как правило, речь идет о высокоприоритетных инцидентах в ИT-инфраструктуре, которые влияют на корректное протекание рабочих процессов и способны причинить серьезный ущерб бизнесу заказчика.

Таким образом, в случае возникновения инцидента с помощью TOC-automation мы полностью исключаем ручной обзвон дежурного специалиста службы мониторинга, так как оповещение за него сделает система TOC-automation. В случае если до TOC-инженера не удалось дозвониться, система эскалирует звонок на проектного менеджера. Дополнительная информация по инциденту параллельно высылается в виде SMS.

— Как создавался проект, и сколько времени было потрачено?

История TOC-automation началась с создания инициативной исследовательской группы. Работа группы стартовала в июле 2019 года и завершилась уже к сентябрю, когда все поставленные цели были достигнуты.

Команда на протяжении двух месяцев занималась изучением и анализом зарубежных решений автоматизации телефонного оповещения. Были проанализированы существующие SaaS-решения на рынке, такие как PagerDuty, Voximplant. Их инструменты позволяют оповещать об ИT-инцидентах, но стоят они очень дорого. Группой было принято решение о разработке собственной системы и впоследствии был создан ее прототип. Затем на одном из аккаунтов был реализован POC (Proof of Concept (англ.) - проверка концепции) , который показал жизнеспособность решения.

После получения одобрения со стороны проектного менеджмента и подтверждения готовности к внедрению была определена пилотная зона — MVP (Minimum Viable Product (англ.) – минимально жизнеспособный продукт) — и успешно защищен бизнес-кейс проекта, подразумевающий внедрение решения на 4 аккаунтах. Результаты реализации решения в пилотной зоне еще раз показали правильность выбранных подходов, востребованность и экономическую эффективность.

— Какой функционал у TOC-automation и как менялся он со временем?

— Начиная с 2019 года, функционал системы существенно расширился. Сегодня TOC-automation кроме оповещения звонком и посредством SMS может отправлять почтовые сообщения и уведомления в заданный Telegram-канал. Кроме того, улучшена политика безопасности, разработан модуль для отчетов, а с целью соблюдения SLA (Прим. Service Level Agreement (англ.) – соглашение об уровне услуг) реализован функционал оповещения TOC по истечении определенного периода. В случае потока однотипных инцидентов в ИТ-инфраструктуре заказчика разработан специальный алгоритм, который позволяет избежать спама звонков инженерам и менеджменту.

— В чем конкурентное преимущество TOC-automation?

— Определенным преимуществом TOC-automation является высокая гибкость системы, широкие возможности кастомизации, адаптации решения к потребностям заказчика. Так, на базе первичного решения был разработан проект автоматического оповещения полевых инженеров (звонок/SMS) для системы «1С Снаряд». В контексте имплементации решения безусловным плюсом является интеграция TOC-automation с общекорпоративной 1С, позволяющая использовать графики дежурств TOC-инженеров, сервисное время команд, осуществлять, если это необходимо, звонки на личные номера из 1С в соответствии с профайлами дежурных.

— В каких проектах уже использовалась система и каких результатов удалось достичь?

— В настоящее время система TOC-automation внедрена уже на 17 коммерческих и 2 внутренних проектах ICL Services. Основной эффект от внедрения TOC-automation отразился в повышении эффективности работы инженеров службы мониторинга 24×7 и диспетчеров за счет автоматизации телефонного оповещения. По общим оценкам, на текущий момент TOC-automation экономит усилия 6,81 FTE (full time equivalent (англ.) - эквивалент полной занятости ), благодаря чему удается значительно повысить эффективность работы постов мониторинга. До внедрения системы на каждый пост приходилось 4 проекта, теперь это число составляет 6-7. Кроме того, система позволяет избавиться от ошибок, связанных с человеческим фактором и, таким образом, повысить качество сервиса.

Автор: Владислав Мухаметзянов, руководитель группы систем управления ИТ-инфраструктурой ICL Services