Комплекс анализа и управления трафиком

БЕСПЛАТНЫЙ аудит информационной безопасности
  • 1. Общая информация о решении ATM DIPS
  • 2. Структура решения комплекса ATM DIPS
  • 2.1. Схемы включений комплекса ATM DIPS в инфраструктуру
  • 2.2. Резервирование компонентов ATM DIPS
  • 3. Алгоритм работы с комплексом АTM DIPS
  • 4. Управление пользователями комплекса ATM DIPS в роли администратора
left right

В настоящее время для поставщиков Интернет услуг хранение данных о посещаемых пользователями информационных ресурсах и предоставление соответствующей информации по различным параметрам, представляет долгий и трудоемкий процесс, который нуждается в оптимизации.

Компанией «Мобильный сервис» было разработано высоконагруженное решение по сбору и хранению статистической информации больших объемов — комплекс ATM DIPS. Решение полностью удовлетворяет параметрам хранения и предоставления информации полномочным органам.

Комплекс ATM DIPS представляет собой набор модулей и компонентов для сбора, первичного анализа и долгосрочного хранения (не менее 1 года) информации о пользователях, сетях и запросах. ATM DIPS осуществляет записи, а также параметрические выборки информации о сетевом трафике до уровня L7 модели OSI.

Комплекс позволяет генерировать статистические отчеты для последующего анализа в распространенных форматах (архив, PDF-файл, CSV-файл).

Основная задача комплекса ATM DIPS — преобразование, агрегация и обогащение полученных из различных источников данных, с целью последующего хранения, а также осуществление параметрических выборок информации о зафиксированных посещениях пользователями ресурсов сети Интернет.

Комплекс состоит из следующих модулей:

  • Raw Data Processing Module — служит для препроцессинга данных;
  • Data Collection Module — осуществляет процессинг данных и первичный анализ;
  • Big Data Storage Module — хранит информацию о пользователях, сетях и запросах;
  • Big Data Reporting Module — позволяет отправлять запросы, получать и просматривать их результаты, предоставляет справочную информацию о сетях и пользователях системы.

ATM DIPS осуществляет получение потоков данных из различных источников, разбор и формирование из потока данных наборов результирующих данных, применение правил преобразования данных, обогащение набора данных дополнительными параметрами в режиме реального времени, формирование файла с набором данных в требуемом формате, передачу полученных данных.

Функциональные возможности АПК:

-           cбор данных о посещениях пользователей;

-           архивация собранных данных;

-           поиск необходимой информации в базе данных по различным отдельным и совокупным полям данных;

-           интеграция с существующими системами через Web API;

-           создание отчетов по различным формам;

-           чтение данных из различных источников (интерфейса сетевой карты, netflow, ipfix, текстовых и бинарных файлов);

-           блокировка Интернет-ресурсов по: IP-адресу, URL, доменному имени;

-           добавление и удаление заблокированных Интернет-ресурсов по одному и списком;

-           предоставление доступа к заблокированным Интернет-ресурсам для определенной группы пользователей (белые списки);

-           информирование пользователей путем выдачи информационного сообщения в браузере либо переадресацией на определенную веб-страницу при блокировке Интернет-ресурсов;

-           отказоустойчивость всего комплекса при отказе какого-либо компонента сбора данных;

-           анализ посещаемых пользователем Интернет-ресурсов;

-           классификация по посещаемым Интернет-ресурсам;

-           выделение пакетов сигнализации VoIP на основе задаваемых параметров поиска и формирования Call Detail Record (CDR);

-           обогащение информации в режиме реального времени данными из radius accounting, dns, gtp, dns;

-           экспорт сформированных CDR на сторонний сервер с заданной периодичностью по различным протоколам (FTP/sFTP, SCP, rsync и т.д.);

-           конфигурация типов источников данных и параметров источников данных;

-           уникальный алгоритм хранения информации, позволяющий обеспечить хранение данных в сжатом виде без потери производительности;

-           механизм многопоточной записи/чтения при работе с базами данных собственной разработки;

-           хранение выборок данных за любой период времени, приоритезация запросов, логирование действий администраторов и операторов ATM DIPS.

Решение базируется на серверах общего пользования, которые можно добавлять по мере роста базы данных о посещениях. Это позволяет легко масштабировать комплекс без лишних затрат.

На рисунке изображена архитектура комплекса ATM DIPS:

АПК может функционировать в различных режимах, в зависимости от архитектуры включения в инфраструктуру.

Для упрощения встраивания комплекса ATM DIPS в существующую структуру контроля и мониторинга, система предоставляет минимальный и достаточный набор функций посредством Web-API. Функции предоставляются посредством запросов-ответов по протоколу http.

Ниже представлена типовая схема включения при наличии bypass функции:

ATM DIPS может функционировать на зеркальном трафике, т.е. в случае сбоя не оказывает влияние на commercial трафик. Схема включения с зеркалированием может включать в себя получение трафика со SPAN-порта.

Ниже представлена типовая схема включения с зеркалированием:

Выбор оптимальной схемы включения комплекса ATM DIPS зависит от характеристик самой инфраструктуры.

На рисунке представлен один из вариантов резервирования компонентов ATM DIPS в случае подключения с зеркалированием и использованием коммутаторов Cisco Nexus для целей агрегации и резервирования каналов связи.

Комплекс ATM DIPS предусматривает резервирование всех компонентов на каждом этапе обработки, начиная от получения трафика, его передачи коллектору, заканчивая сохранением данных в БД и резервированием результатов запроса пользователей.

Работать с ATM DIPS можно при помощи любого современного Интернет-браузера без установки какого-либо дополнительного ПО (в том числе плагинов и фреймворков). Работа с комплексом включает следующие блоки:

A. Авторизация. Доступ в систему разрешён только авторизованным пользователям. Для входа пользователь должен в окне авторизации ввести логин и пароль, выданный администратором комплекса. Выданный пароль пользователь может изменить в настройках своего профиля.

B. Настройка профиля пользователя

Каждый пользователь комплекса ATM DIPS обладает небольшим набором настроек запроса по умолчанию. Изменить настройки запроса и иные настройки, можно на странице «Настройки». Здесь пользователю доступны для изменения:

  • пароль;
  • диапазон выборки (в минутах) — если в запросе пользователь заполнит лишь поле [Начальная дата], то выборка автоматически произведётся в указанном здесь диапазоне;
  • максимальное количество строк в ответе — при желании пользователь может ограничить размер итогового файла выборки эти количеством строк.

C. Формирование запроса

После авторизации пользователь попадает на страницу отправки запроса. Именно здесь происходит настройка и отправка запроса на выборку данных базы.

Для формирования запроса пользователю предлагается использовать ряд параметров:

  • Начальная дата — обозначает начало временного промежутка, посещения за который интересуют пользователя. Значение должно соответствовать приведённому в качестве примера шаблону даты;
  • Конечная дата — окончание временного промежутка, посещения за который интересуют пользователя. Если этот параметр не указан, временной промежуток выборки устанавливается в границах ±10 минут от времени, указанного в поле «Начальная дата». Этот диапазон по умолчанию каждый пользователь может поменять в настройках своего профиля. Значение должно соответствовать приведённому в качестве примера шаблону даты;
  • IP-адрес пользователя: [порт] — IP-адрес и порт абонента. Значение IP-адреса должно соответствовать шаблону, поле [порт] принимает только цифровые значения;
  • IP-адрес хоста назначения: [порт] — IP-адрес и порт ресурса сети Интернет. Значение IP-адреса должно соответствовать шаблону, поле [порт] принимает только цифровые значения;
  • IPv6 адрес пользователя;
  • IPv6 адрес назначения;
  • Имя пользователя (radius accounting) — идентифицирует контракт пользователя;
  • Имя хоста назначения — доменное имя ресурса, которому адресуется запрос пользователя;
  • Опционально: размерность запроса — применяется, если интересуют только начальные значения выборки;
  • Опционально: приоритет — «Нормальный» или «Высокий». Запросы с приоритетом «Высокий» в очереди запросов исполняются раньше прочих. Если есть несколько запросов с высоким приоритетом, их очерёдность определяется временем создания запроса.

Обязательными для заполнения являются поля: начальная дата и конечная дата. Однако, для уменьшения количества записей результатов выборки, необходимо ввести дополнительный параметр (IPv4 [порт] назначения или IPv4 [порт] источника).

Поля выборки могут быть дополнены в соответствие с техническими требованиями.

D. Отправка запроса в ATM DIPS

Указав все желаемые параметры выборки, после нажатия кнопки «Отправить запрос» пользователь передает запрос на страницу информации о запросе.

Для отправки запроса на выборку формируется http-request со следующими параметрами:

  • action=send — параметр, указывающий, что это запрос на отправку;
  • user — логин пользователя, от имени которого выполняется запрос;
  • psw — пароль пользователя, от имени которого выполняется запрос;
  • Start session — дата и время начала соединения абонента с ресурсом;
  • Stop session — дата окончания соединения абонента с ресурсом;
  • SRC_ADDR — IP-адрес абонента;
  • SRC_PORT — порт абонента;
  • DST_ADDR — IP-адрес ресурса Интернет;
  • DST_PORT — порт ресурса Интернет;
  • IN_BYTES — количество принятых данных в рамках соединения с ресурсом;
  • OUT_BYTES — количество переданных данных в рамках соединения с ресурсом;
  • HTTP_URL — наименования запрошенного ресурса (домена);
  • priority — приоритет запроса (0 — обычный, 1 — высокий).

Возвращаемое значение: уникальный идентификатор запроса (целочисленное целое значение) или сообщение об ошибке.

Чтобы предотвратить перегрузку системы, менеджер запросов ограничивает количество одновременно обрабатываемых запросов.

E. Получение результата запроса

Страница информации о запросе содержит все указанные пользователем параметры запроса, а также дату его создания и информацию о состоянии и результатах выполнения запроса.

Здесь же, на странице информации о запросе, пользователю доступна ссылка для скачивания файла с результатом выполненного запроса. Предоставленный файл в формате csv имеет следующую структуру полей:

  • Start session — дата и время начала соединения абонента с ресурсом;
  • Stop session — дата окончания соединения абонента с ресурсом;
  • SRC_ADDR — IP-адрес абонента;
  • SRC_PORT — порт абонента;
  • DST_ADDR — IP-адрес ресурса Интернет;
  • DST_PORT — порт ресурса Интернет;
  • IN_BYTES — количество принятых данных в рамках соединения с ресурсом;
  • OUT_BYTES — количество переданных данных в рамках соединения с ресурсом;
  • HTTP_URL — наименования запрошенного ресурса (домена).

Запросы пользователя и их результаты могут храниться в системе в течение неограниченного времени. Просмотреть список своих запросов пользователь может на странице «История». При этом пользователь без прав администратора может видеть только свои запросы. Пользователь с правами администратора (роль «Администратор») может видеть запросы всех пользователей, зарегистрированные системой.

Администратору комплекса доступен полный список пользователей, который отражен в разделе «Пользователи». Данный инструмент может быть использован администратором комплекса для предотвращения несанкционированного доступа пользователей.

В данном разделе администратор может создавать, удалять и редактировать пользователей ATM DIPS.

Для упрощения встраивания комплекса ATM DIPS в существующую структуру контроля и мониторинга, система предоставляет минимальный и достаточный набор функций посредством Web-API. Функции предоставляются посредством запросов-ответов по протоколу http.