Работа с журналами потоков AWS VPC для мониторинга сети

Мониторинг сетевого трафика – основа безопасности облаков, контроля их производительности, отказоустойчивости. Это в одинаковой степени относится как к ресурсам Amazon Web Services, так и к сервисам провайдера timeweb.cloud. Так, в первом случае в журналы потоков AWS VPC вносится информация о IP-трафике, входящем и исходящем из приватной сети на Амазон. Такого перечня данных вполне достаточно, чтобы видеть ситуацию в объективном свете.

Немного теории

Сохранение информации об инцидентах, изменений ключевых значений упрощает расследование ситуаций, связанных с той же безопасностью. Контролируемые метрики настраивает пользователь, то же относится к системе автоматического оповещения. Несмотря на все удобство облачной IT-инфраструктуры и возможность передать обязанности технического обслуживания на поддержку провайдера, мониторингом журналов желательно заниматься арендатору ресурсов.

В среде AWS мониторингом и наблюдением «занимается» сервис CloudWatch. Он контролирует ресурсы облачной платформы и приложения, запущенные на ней. Основана работа на сборе данных мониторинга, операционной информации в формате журнала, где фиксируются различные метрики и события. Панель управления поддерживает визуализацию, отображение объединенных данных в единых графиках, диаграммах.

Ценятся и следующие возможности:

•   сравнение метрик и журналов для получения данных о том, насколько эффективно используются ресурсы, работоспособны ли они;
•   создание автоматических уведомлений о достижении заданных лимитов по указанным метрикам, включая выявлений аномального поведения;
•   настройка действий, направленных на уменьшение времени устранения причин инцидентов и автоматизации масштабирования облачной платформы.

В панели управления доступен подробный анализ информации. Это используют при поиске путей повышения производительности приложений без изменений выделяемых для них аппаратных ресурсов. Или при резком возрастании нагрузки, например, из-за «прилива» удаленных пользователей. Все функции работают с применением алгоритмов машинного обучения, поэтому управлять ими довольно легко даже новичкам в системном администрировании.

Интеграция AWS CloudWatch с другими сервисами

Система мониторинга AWS CloudWatch работает взаимосвязано с другими ресурсами Amazon. Так, наиболее важна интеграция с IAM, SNS, EC2 Auto Scaling и CloudTrail. Сервис AWS Identity and Access Management обеспечивает безопасность при управлении и использовании платформы. В его функционал входит создание групп и пользователей, раздача разрешений и запрет доступа к разным видам ресурсов AWS VPC.

Назначение остальных сервисов:

1. Simple Notification Service – координация (управление) отправкой и получением сообщений при достижении-превышении указанных лимитов.
2. EC2 Auto Scaling – автоматический запуск-отключение инстанса EC2 исходя из заданной политики, например, по сигналу от CloudWatch на масштабирование из-за роста спроса.
3. CloudTrail – отслеживает обращения API Amazon CloudWatch, в том числе консоль AWS, окно командной строки и т.д.

Последнее работает, когда включен режим журналирования с записью информации в корзину S3, ее указывают при настройке CloudTrail. Благодаря комбинированной интеграции платформа создает безопасные условия для работы. Пользователи получают доступ только к определенным ресурсам, а это снижает риски возникновения инцидентов из-за ошибок, превышения полномочий. Конечно, существуют некоторые ограничения, но они в целом для работы несущественны.

Теперь о сборе данных в журнал

Система Amazon CloudWatch Logs собирает в единый журнал из различных ресурсов, программ и сервисов. И функционирует он практически в реальном времени, заполняя один из трех типов документов. Отдельно сохраняются системные данные, например из API Gateway, CloudTrail или Lambda, и пользовательские, из программ и локальных ресурсов.

Чуть подробнее:

1. Встроенные метрики – сервис собирает данные из более чем 70 источников без каких-либо действий со стороны пользователя. Так, инстансы ЕС2 автоматически загружают данные по загрузке процессора, линии связи, использованию накопителя. По работе API публикуется целых 7 метрик, позволяющих отслеживать изменение состояния интерфейса.
2. Пользовательские метрики – сюда относится активность рабочих мест, производительность, обнаружение инцидентов, отслеживание тенденций. Результат отображается практически ежесекундно в агенте CloudWatch или через API PutMEtricData.

Сбор упрощается благодаря изначально настроенному сервису Container Insights. Он предназначен для подключения специально выбранных метрик и журналов системы контейнеров. По каждому из них сохраняется отдельная цепочка событий, различных предупреждений и т.д. Пользовательские метрики можно анализировать при помощи возможностей языка запросов CloudWatch Logs Insight (подробнее в официальной справке).

Мониторинг

Основа мониторинга – панель управления Amazon CloudWatch. На ней создают визуальные графики для отображения текущего состояния облачных ресурсов и приложений. Можно настроить связь шаблона с конкретной метрикой и заодно систему предупреждения. Последнее позволит быстро обнаруживать проблемы с производительностью, текущие сбои, в общем – представлять, насколько работоспособна система. Она заменяет любые сторонние программы для мониторинга сети и других ресурсов.

Подробнее:

1. Обычно по каждой метрике устанавливают пороговые значения, при достижении которых запускаются определенные действия. Например, срабатывает уведомление пользователя для сведения к минимуму периодов простоя и негативного влияния на бизнес-процессы.
2. Система генерирует огромное количество данных, которые, по идее, должны сохраняться в журналах. Поэтому удобна возможность сопоставления значений отдельных периодов – она даст понимание, какие метрики, когда и насколько вышли из штатных рамок.
3. Мониторинг приложений на .NET и SQL Server позволяет контролировать операционные системы, балансировщики нагрузки, запросы и пр. Выявление аномалий осуществляется с применением машинных обучающихся алгоритмов, и это дает регулярный прирост в качестве мониторинга сетевого трафика.

Преимущество сервиса проявляется в том, что все данные в итоге собраны на «единой панели» и пользователю доступен контроль всего объема используемых ресурсов. В мониторинг включены функции по инфраструктуре, транзакциями и конечным пользователям. Информация хранится до 15 месяцев, поэтому сервис позволяет отслеживать не только метрики, а еще и сезонные тенденции, регулярные сбои, возникающие из-за внешних факторов.

Выводы

Применение специализированных программ для мониторинга сети в Amazon AWS дает возможность отслеживать параметры облачных ресурсов и своевременно реагировать на инциденты. Также оно помогает разрабатывать методы оптимизации производительности приложений и работоспособности комплекса.