Классификация методов
Глобально существуют субъективные и объективные методы контроля качества услуг. Субъективные методы контроля предполагают экспертную оценку пользователем качества услуг с дальнейшей статистической обработкой полученных результатов. Метод субъективной оценки раньше широко использовался для оценки качества передачи речи и видеоизображения по пятибалльной системе MOS (Mean Opinion Score). Субъективный метод оценки является самым точным, так как отражает реальное восприятие пользователя, но самым затратным с точки зрения продолжительности и трудоемкости процесса организации измерений.
Объективные методы контроля проводятся с использованием инструментальных средств. Как правило, результатами объективных измерений являются технические параметры, которые при помощи математических моделей можно соотнести с субъективными оценками качества. Например, на основании измерения задержки сигнала, потерь пакетов и джиттера в сети передачи данных с использованием E-модели [1] можно рассчитать значение R-фактора, который соотносится с субъективной оценкой MOS.
Рисунок 1 Субъективные и объективные методы контроля качества услуг
По степени воздействия объективные методы контроля качества услуг подразделяются на активные и пассивные. Пассивный метод контроля обеспечивает измерение параметров качества за счет анализа пользовательского трафика (Deep Packet Inspection). Пассивный метод контроля не создает дополнительную нагрузку на сеть и позволяет контролировать нагрузку пользователей на сервис. Пассивные методы контроля позволяют создать систему сплошного контроля качества сети передачи данных. Но при пассивном методе отсутствует возможность контролировать качество сервиса в то время, когда пользователи его не используют. Например, на резервных каналах применение пассивных методов контроля не допустимо.
Активные методы контроля выполняются за счет подмешивания тестового трафика и имитации действий пользователя/систем. В процессе активного тестирования генерируется дополнительный трафик. Анализируя характеристики прохождения тестового трафика выполняется оценка качества услуг. Нагрузочное тестирование сервиса возможно провести только используя метод активного контроля.
По продолжительности измерений активные методы контроля бывают непрерывные (избирательные) и кратковременные (нагрузочные). Нагрузочные измерения могут выполняться по расписанию или по запросу и имеют ограничения по продолжительности. Они могут использоваться для выявления причин неисправностей, которые выявлены в результате мониторинга или субъективной оценки пользователя о низком уровне обслуживания. Также нагрузочные измерения могут проводиться перед вводом объекта в эксплуатацию, после проведения планово-профилактических работ или перед ответственными сеансами связи (например, видеоконференцсвязь). Такие измерения проводятся как измерительными зондами, так и при помощи портативных приборов, которые обладают высокой функциональностью и различными методами контроля.
Нагрузочные методы контроля бывают с перерывом или без перерыва сервиса. Большинство нагрузочных тестов проводятся с перерывом сервиса и недоступностью его для конечных пользователей. Методы нагрузочного тестирования без перерыва сервиса обеспечивает бесперебойную работу сервиса и не влияют на качество услуги для конечных пользователей. Нагрузочный метод требует установку измерительного оборудования «в разрыв» пользовательского трафика и наличие функции bypass.
Непрерывные методы контроля иначе называются мониторингом. Мониторинг проводится на постоянной основе стационарными средствами измерений. Как правило, он имеет повторяющийся цикл измерений с формированием параметров качества услуг по завершению каждого цикла. Продолжительность цикла обычно составляет от 1 минуты до 1 часа. Чем меньше цикл измерений, тем выше оперативность реагирования на события ухудшения качества услуг. Увеличение продолжительности цикла измерений повышает точность измерений. Для сетей передачи данных рекомендуется использовать цикл мониторинга равный 5 минутам. Непрерывный мониторинг производится при помощи измерительных зондов, которые имеют низкие ценовые показатели и обладают достаточной точностью измерений для выявления отклонений качества услуг.
По схеме организации измерений различают двусторонние и односторонние методы измерений. TWAMP– это Two-Way-Active-Measurement-Protocol, т.е. двусторонний метод измерения показателей качества. Есть также односторонние методы. Односторонний метод не учитывает анизотропию канала сети передачи данных, но прост в реализации, т.к. не требует синхронизаций master-slave по каналам измерений. Двусторонний метод точнее, учитывает анизотропию, но он существенно капризнее в реализации.
Анализ методов
Для сравнения методов контроля качества услуг предлагается использовать следующие критерии:
- Оперативность – свойство метода своевременно информировать о снижении качества услуги. Высокая оперативность <1 минуты, средняя оперативность – 5 минут, низкая оперативность >15 минут.
- Точность измерений определяет, насколько результаты измерений качества сервиса соответствуют уровню восприятия пользователей данного сервиса в конкретный момент времени. Как правило, точность измерений обратно-пропорциональная оперативности и прямо-пропорциональна стоимости решения. Высокая точность фиксирует все проблемы у клиентов без ложных срабатываний. Средняя точность допускает обнаружение проблем, которые могут не воздействовать на качество услуги для конечного пользователя. Низка точность допускает возможность пропуска проблем пользователей, но не более 25%.
- Стоимость определяется доступностью решения исходя из его ценности для Заказчика. Высокая стоимость решения мониторинга составляет >25% от стоимости организации самого сервиса. Средняя стоимость – 10-25%, низкая стоимость – <10%.
Таблица 2 Сравнение методов оценки качества услуг
|
Методы контроля
|
Оперативность
|
Точность
|
Стоимость
|
Область применения
|
|
Субъективные
|
Низкая
|
Высокая
|
Высокая
|
Исследования, калибровка средств измерения
|
|
Объективные
|
Высокая
|
Средняя
|
Средняя
|
Лабораторные комплексы, средства мониторинга
|
|
Пассивные
|
Средняя
|
Низкая
|
Высокая
|
На высоконагруженных сетях и сервисах
|
|
Активные
|
Высокая
|
Средняя
|
Средняя
|
|
|
Непрерывные
|
Высокая
|
Средняя
|
Низкая
|
Сплошной мониторинг качества услуг
|
|
Нагрузочные
|
Средняя
|
Средняя
|
Средняя
|
Приемка объектов в эксплуатацию
|
Традиционным для контроля качества услуг сети передачи данных является метод непрерывного активного измерения с возможностью нагрузочного тестирования.
Но, в последнее время, в связи со снижением стоимости вычислительных ресурсов, все большую популярность приобретают методы сплошного анализа качества сети передачи данных на базе пассивного мониторинга пользовательского трафика.
Ознакомиться с возможностями системы сетевого мониторинга wiSLA в части измерений и контроля качества сети передачи данных и телефонных каналов связи.
