С тотальной "мобилизацией" человечества и стремящимся к насыщению уровнем проникновения ШПД упомянутые услуги стали своеобразным показателем качества жизни людей. Но как измерить уровень качества сервисов? Этот вопрос в центре обсуждения экспертов круглого стола "Первой мили".
Сегодня применяются различные методы измерений качества услуг связи – радиоизмерения с помощью мобильных лабораторий Роскомнадзора, мониторинг качества работы сетевого оборудования и сервисов посредством внедренных операторами программно-аппаратных комплексов, краудсорсинг. Как вы считаете, нужна ли единая модель измерений или следует сохранить разнообразие измерительного инструментария? Насколько "глубоким" должно быть регулирование в этой сфере?
В. Левчик, руководитель рабочей группы по нормативным правовым вопросам Ассоциации региональных операторов связи
Одно из ожидаемых в 2015 году решений профильного министерства – принятие Концепции управления качеством связи, в коллективе разработчиков которой был и я. На наш взгляд, очень важно, что сейчас, когда на операторов мобильной и фиксированной связи накладываются значительные обременения по развертыванию сетей, концепция предусматривает минимальное администрирование как минимум на ближайшие несколько лет. На сегодня Минкомсвязи уже утвердило компактный перечень параметров нескольких услуг связи (отвечающий международным рекомендациям) и порядок проведения испытаний – это необходимое условие для достоверности и сравнимости оценок качества услуг. Роскомнадзор пользуется этими методиками при оценке качества услуг сотовой связи, которую он проводит по решению Правительственной комиссии по связи от 06.06.2014 № 2. Сейчас важно понять динамику этих показателей из года в год. И не нужно вводить нормативы на качество услуг связи и требовать от операторов их соблюдения, это не является общепринятой мировой практикой.
А. Гальченков, руководитель департамента качества и технического аудита, концерна "ВымпелКом"
В отрасли связи, как и в любой другой, следует различать такие методы, как измерение и оценка. Первые подразумевают применение дорогостоящих специальных сертифицированных комплексов измерений и серверов статистической обработки полученных данных по специальным стандартизированным методикам. Вторые используют простые и зачастую бесплатные средства, доступные любому пользователю. Результаты оценок могут служить в качестве неких "верхнеуровневых" индикаторов, смысл которых понятен и не специалисту.
В "ВымпелКоме" стремятся к модели, когда все средства мониторинга, контроля и оценки складываются в единую картину, которая помогает анализировать и повышать качество сервиса. Кроме двух, указанных выше, оператор применяет средства, которые предоставляет производитель оборудования связи (счетчики событий, сигналы тревоги, агрегированные данные в виде KPI и т.д.), и внешние средства контроля, такие как анализаторы протоколов и "трассировщики" соединений. Совместный анализ всех этих данных в единой информационной системе позволяет достигать максимального эффекта. Это самый затратный путь, но он необходим оператору, который стремится стать самым любимым оператором связи в стране.
Таким образом, можно говорить о единой модели управления качеством, через обратную связь (абонент – оператор) от различных информационных источников, но никак не о единой модели измерений.
Регулирование должно сводиться к сертификации средств оценки, выбору простого и достаточного для оценки списка "верхнеуровневых" индикаторов, публикации выверенных данных измерений и оценок на публичных сайтах (например, Минкомсвязи или РКН) и, возможно, публикации некоторых "внутренних" отчетов по качеству операторов с учетом бизнеса.
Н. Ильюшкин, директор департамента технического сервиса ОАО МГТС
Разнообразие методик необходимо не только сохранить, но и расширить, поскольку разнообразие технологий построения сети операторов и предоставляемых услуг не позволяет создать универсальное средство и методику измерения качества. Кроме того, для различных услуг ключевые измеряемые параметры качества различны (например, для широкополосного доступа – гарантированная полоса пропускания, а отдельные потери или задержки трафика некритичны; для IP-телефонии же полоса пропускания минимальна, однако критичны отсутствие потерь и время доставки трафика).
В плане регулирования достаточно сертификации средств и методик измерения, а также фиксации минимально допустимых параметров качества связи в разрезе услуг.
В. Еременко, руководитель проекта ДЕЦУС ТБ Корпоративного Центра Группы МТС
Вопрос актуальный, но достаточно сложный. С ним связаны многочисленные и разные недоразумения, недопонимание, а иногда и спекуляции, возникающие при обсуждении и трактовке полученных результатов. Даже сам вопрос уже содержит некоторую некорректность: перечисленное – инструменты, которые могут использоваться для реализации той или иной методики оценки качества услуг. Этот инструментарий реализует один метод – активное тестирование соединения от абонента до абоненту, "из конца в конец" (E2E – end-to-end). По своей сути это статистический эксперимент, в ходе которого имитируются с той или иной степенью приближения действия абонента при использовании услуги связи, производится сбор статистических данных и последующая их обработка с целью расчета ключевых показателей качества услуги (KQI – Key Quality Indicator).
В зависимости от объекта, по отношению к которому применяется инструментарий, и способа применения зависят как значения получаемых оценок KQI, так и возможности их применения для решения тех или иных задач, возникающих при управлении качеством. Поэтому важна не только единая модель измерений, но и наличие единой методики, описывающей последовательность действий при применении инструмента и постобработке результатов выполненных наблюдений. Такая методика принята Министерством связи и массовых коммуникаций для оценки качества услуг подвижной радиотелефонной связи с использованием специализированного тестового оборудования в декабре 2014 года. Для краудсорсинга такие методики отсутствуют, их только предстоит создать.
Важно понимать отличие оценок, которое дают эти методы. Драйв-тесты выполняются специализированным оборудованием, поддерживающим все частотные диапазоны, технологии работы и функциональность сети. Это соответствует уровню топовых моделей абонентского оборудования, которые крайне дороги. Но если абонент может себе позволить иметь такое оборудование, он получит максимальный уровень качества, который и отражает результаты драйв-тестов.
Приложения, используемые при краудсорсинге, устанавливаются на фактически имеющееся у пользователя оборудование, которое может не поддерживать целый ряд технологий и режимов работы сети, иногда некорректно настроенное пользователем или работающее с запущенными фоновыми процессами, генерирующими сетевой трафик во время теста. Эти особенности реализации метода приводят к ограничению качества услуги, которое получает пользователь из-за ограничений выбранного им же оконечного оборудования. Поэтому оценка, получаемая при краудсорсинге, отражает уровень качества услуги, который может быть получен при применении используемого пользователями оборудования. Эта оценка не отражает качество услуги, предоставляемой оператором, но она существенно ближе к опыту, получаемому абонентом с использованием выбранного им оборудования.
Наиболее яркой иллюстрацией к сказанному представляется использование "серого" смартфона, купленного за рубежом и не поддерживающего диапазоны LTE, используемые в РФ. Приложение покажет, что оператор не предоставляет абоненту услугу связи по технологии LTE, а на самом деле это результат осознанного или неосознанного выбора абонента.
Б. Горлин, основатель проекта 3gspeed
Единая модель или база измерений, безусловно, нужна. Но это достаточно сложная проблема, требующая как теоретической основы, так и большого эмпирического опыта. Опыт регулятора в этом направлении на сегодня вполне можно назвать абсолютно несостоятельным по целому ряду причин. Методика, разработанная Роскомнадзором, не выдерживает никакой критики и, вероятно, готовилась в эпоху EDGE, когда скорость мобильного интернета в 1 Мбит/с казалась чудом. Сегодня ситуация полностью поменялась, скорости выросли на порядок, а в ближайшее время вырастут еще сильнее.
Поэтому подходы к измерению должны быть полностью пересмотрены. Прежде всего, необходимо четко понимать, что именно будет измеряться. В рамках проекта 3gspeed (4gspeed) мы несколько раз меняли методики измерений для понимания, какая из них будет наиболее точно отображать действительность. В итоге мы пришли к определенным выводам, как достоверно можно определить лучшего и худшего оператора в том или ином месте. По сути, эмпирическим путем мы проделали ту работу, которая может лечь в основу единой модели проведения испытаний, и готовы к открытому диалогу как с регулятором, так и с любыми заинтересованными лицами. Пока могу сказать, что показателем качества работы не может быть просто величина, например, средней скорости, это должен быть интегральный показатель.
Не думаю, что регулирование в этой сфере требуется в принципе. Пользователи мобильной передачи данных стали настолько современными, что способны сами разобраться, кто из операторов работает лучше, а кто хуже, и проголосовать за качество, как говорится, своим рублем. Такие сервисы, как 3gspeed (4gspeed), как раз и помогают абонентам понять, кто из операторов лучше или хуже работает на данной территории. По сути, мы за пользователей тестируем операторов и бесплатно публикуем эти данные, проверить которые может любой желающий. Например, в Санкт-Петербурге я могу "работать волшебником" и, перемещаясь по городу, предсказывать, кто из операторов будет работать лучше в этом месте, а кто – хуже. И не имеет значения, чем измерять – законы физики еще никто не отменял. Абсолютные цифры, например, по мгновенной или средней скорости могут отличаться в зависимости от методики, но соотношение качества между несколькими операторами всегда будет одинаковым. Всегда будет оператор, который работает лучше, и оператор, который работает хуже – и это соотношение в определенный промежуток времени (пока, например, кто-то из операторов не модернизировал свою сеть) является константой.
М. Николаев, технический директор JDSU
Я полагаю, что чем более разнообразны способы тестирования, чем более нетривиален подход к оценке качества услуг, тем более качественный продукт в итоге мы сможем получить. Однако это верно лишь в изыскательском смысле, так как творческий подход к оценке услуг связи позволяет их достаточно эффективно совершенствовать. С другой стороны, без единой системы координат и понятных безоговорочных метрик невозможен аргументированный диалог. Таким образом, с моей точки зрения, необходимо наличие точно характеризуемых параметров, получаемых по стандартизованным методикам. Тут на первое место выходят регулирующие органы.
Краудсорсинг предполагает установку на конечных устройствах пользователей приложения для измерения показателей качества услуг. Кто должен оплачивать их трафик? Имеет ли смысл внедрить единую для всех операторов программу, по которой они будут измерять показатели качества сервисов по единым параметрам? Существуют ли на российском рынке продукты для реализации этой задачи?
Н. Ильюшкин. Оплата трафика зависит от инициатора краудсорсинга. Если инициатива идет со стороны оператора (измерение качества связи своих клиентов) – клиент не должен испытывать каких-либо дополнительных неудобств, уменьшения оплаченной полосы пропускания или оплаты лишнего трафика. Если же это инициатива клиента с использованием третьей стороны (например, всем известный speedtest) – клиент должен брать потенциальные расходы на себя.
Теоретически идея сквозного регулирования и оценки качества предоставляемых операторами услуг очень привлекательна, однако в реальности упирается в блокирующие факторы: разнообразие дизайнов сетей операторов; различные методики измерения для разных услуг и разных технологий; огромное количество конечных устройств пользователей. Помимо необходимой кроссплатформенности приложения, значительное влияние на качество измерений будет оказывать само оконечное устройство и утилизация его ресурсов. Получим "среднюю по больнице" для всех операторов.
В. Еременко. Вопрос состоит из двух относительно слабо связанных частей. Начну с первой: какой должна быть модель финансирования тестового трафика, должен ли его оплачивать абонент? По моему глубокому убеждению – должен, это наиболее справедливая модель. Ничего бесплатного не бывает, и если тестовый трафик для абонента "бесплатный" – это означает лишь то, что его оплата заложена в тарифы и производится всеми абонентами. Но ведь далеко не каждый абонент устанавливает краудсорсинговую программу?
Вторая часть вопроса связана с инструментом – должен ли он быть единым или возможно некоторое разнообразие. Полагаю, что это могут быть различные приложения совершенно разных разработчиков. Важно обеспечить единообразие реализации методики оценки показателей качества. Если для драйв-тестов такая методика есть, то для приложений, используемых при краудсорсинге, она отсутствует и ее предстоит разработать. В отсутствие единой методики разработчики закладывают в свои приложения разные методы оценки, причем далеко не всегда описывают, что же именно и как именно оценивается. Поэтому к использованию существующих программ следует подходить с большой осторожностью. Иногда под одним названием могут скрываться совершенно разные по существу показатели.
Б. Горлин. Краудсорсинг в контексте точных измерений абсолютно несостоятелен по одной простой причине: каждое устройство имеет свои ограничения по максимальной скорости. И на этом точка, не говоря уже о других нюансах. То, что делает speedtest, например, – это уж точно "средняя температура по больнице", и не более того. Однако у нас есть понимание, как обойти все эти сложности и сделать пользовательское приложение для точного определения качества. Тут, опять же, никто не отменял законы физики, и такое приложение будет "кушать" очень много трафика. Возникает два вопроса: зачем пользователю тратить трафик, зачем оператору его бесплатно выдавать пользователю для каких-то тестов? Гораздо проще один раз сыграть в имитацию пользователя, а потом опубликовать данные, – чем, собственно, и занимается 3gspeed (4gspeed).
М. Николаев. Платить всегда должен тот, кто заказывает услугу. В данном случае речь идет о том, что услугу заказывает оператор связи. Когда оператор связи заказывает измерения у какой-то обслуживающей организации, в том случае если сам не обладает ресурсами для выполнения этих работ, он заключает контракт и оплачивает работу и прочие расходы подрядной организации. В данном же случае в качестве подрядной организации выступает абонент. Прошу заметить, он не получает за это оплату, хотя, собственно, ничего и не делает. При этом требовать от него дополнительную оплату за то, что он предоставляет данные, кажется не совсем логичным. Что касается внедрения одинаковой программы, то это на данный момент слабо реализуемо. У каждого оператора сеть обладает своими особенностями и уникальна хотя бы в силу исторического пути ее развития. Следовательно, унификация может быть крайне ограниченной.
Как решить проблему обеспечения заданного уровня качества услуг и его измерения при взаимодействии сетей нескольких операторов? Какую роль в ее решении может играть регулятор, какую – операторы?
А. Гальченков. На сети присоединения должны быть разработаны нормативы, которые операторы смогут измерять и, при необходимости, решать свои взаимоотношения в рамках существующих НПА. Регулятор должен разработать нормативные документы на измерения "стыков" сетей и, при необходимости, внести соответствующие правки в НПА.
Далее операторы смогут сами регулировать свои взаимоотношения, в том числе через суды.
Н. Ильюшкин. Существует два пути. Первый – сертификация определенного программно-аппаратного комплекса для урегулирования споров между операторами по зоне ответственности ухудшения качества связи. Но такой подход приведет к монополизации довольно широкого рынка ПАК. Второй путь сложнее, но более привлекателен для операторов и производителей ПАК – стандартизация методик измерения качества связи в разрезе услуги и обязательная сертификация ПАК на соответствие этим стандартам.
В. Еременко. Вопрос прямо связан с обеспечением целостности и устойчивости функционирования сети связи общего пользования. Это необходимое, хотя и недостаточное, условие обеспечения качества услуг связи. К сожалению, в РФ этот вопрос регулируется только приказом Мининформсвязи от 27.09.2007 № 113, чего явно недостаточно. Сам приказ весьма противоречив, он сдержит вполне правильный подход к обеспечению целостности ССОП в описательной части, трактуя это понятие как возможность предоставить соединение, но устанавливает требования, относящиеся только к отдельной сети. Этого явно недостаточно, так как в ССОП предоставление услуги связи обеспечивается, как правило, несколькими взаимодействующими сетями связи. В зарубежной практике существует целый ряд технических спецификаций и рекомендаций, регулирующих данный вопрос, – и операторы связи в нашей стране по факту вынуждены пользоваться этими документами.
М. Николаев. Для обеспечения объективности оценки качества услуг и организации вопросов урегулирования споров необходимы единые стандарты. Это касается как анализируемых параметров, характеризующих качество конкретной услуги, так и методологии получения значений этих параметров. Во многих случаях такие параметры устанавливаются в отрасли самостоятельно в процессе ее развития. Однако остаются возможности для различных толкований результатов, корректности применения тех или иных характеристик в частных случаях и т.д. Потому для обеспечения единого базиса имеет смысл регулятору определить подобный базис в тесном сотрудничестве с основными игроками рынка.
Сегодня в вопросах качества связи упор делается на сервисы. Однако путь к сервисам лежит через сеть оператора. Какова специфика применения контрольно-измерительного оборудования на современном этапе развития сетей, какие новые подходы к измерениям появились в последние годы и чем они отличаются от методик 10-летней давности?
А. Гальченков. Упор (фокус) на сервисы стал актуален с приходом IP-технологий. При этом изменилась модель взаимоотношения оператора (мобильной связи или ШПД) и пользователя. Пользователь получает от оператора "трубку", через которую он соединяется с сервером, где находится контент. Далее происходит Peer-to-Peer соединение через приложение, установленное на оборудовании пользователя обычно по схеме "сервер – клиент". При этом протоколы взаимодействия функционируют "поверх" протоколов сети оператора. Эта особенность требует контроля не только своих собственных протоколов оператора (Control Plane), но и протоколов пользователя (User Plane). Кроме того стал актуален контроль таких показателей, как сквозная задержка передачи/приема пакетов, количество повторов передачи пакетов, нестабильность заполнения/освобождения буфера обмена и т.д.
Отсюда и основное отличие от "старых" методик. Требуется "синхронизировать" и агрегировать собственные показатели сети, показатели IP-соединений, проходящие через "трубки" операторов, и показатели на уровне приложений пользователя http, ftp и т.д. Отсюда и "мода" на использование в сети операторов таких новых элементов, способных контролировать и отчасти управлять IP-составляющей, как PTOA, DPI.
Н. Ильюшкин. Основная тенденция – смещение фокуса (но не отказ от контроля) с измерения объективных характеристик сети оператора (QoS) на оценку субъективного восприятия качества сервиса конечным пользователем (QoE). Например, если десять лет назад при мониторинге услуги IPTV использовались исключительно транспортные QoS характеристики (потери пакетов, задержки, наличие/отсутствие потока), то в настоящее время трудно себе представить полноценный мониторинг услуги без QoE-анализатора каналов ("рассыпание" или дрожание картинки, завышенный или заниженный уровень звука относительно остальных каналов и т.д.).
Также активно внедряются системы, которые можно отнести к краудсорсингу, – в первую очередь, на основе семейства протоколов TR. Такие системы на сегодняшний день позволяют измерять параметры QoS максимально близко к точке получения услуги клиентом, в то время как ранее параметры измерялись исключительно на каналообразующем оборудовании оператора. В 2014 году МГТС внедрила на своей сети систему автоматического управления клиентским оборудованием на базе стандарта TR-069 (Technical Report 069). Применение стандарта TR-069 позволило компании в онлайн-режиме контролировать параметры связи, анализировать профиль потребления услуг и состояние абонентских устройств, а также дистанционно настраивать оборудование клиентов, открывая доступ к новейшим сервисам. На первом этапе МГТС начала подключать к новой системе управления клиентским оборудованием все модемы для доступа в интернет. В рамках второго этапа оператор приступит к автоматическому мониторингу всех видов устройств, которые предоставляют доступ в интернет, к цифровому телевидению, системам видеонаблюдения, охранно-пожарной сигнализации (ТВ-приставкам, мостам Wi-Fi, видеокамерам, PLC-адаптерам, различным типам датчиков).
Однако для большинства предоставляемых телекоммуникационных услуг современные системы контроля QoE/QoS либо недостаточно достоверны, либо крайне дорогостоящи, и наиболее широко используется традиционный MOS – оценка среднего мнения конечных пользователей услуг.
В. Еременко. Если говорить о средствах измерений, используемых при эксплуатации сетей связи, то никаких революционных изменений в подходах к их применению в последнее десятилетие не наблюдалось, принципиально подход остается прежним. Необходимо обеспечить их единообразие путем проведения поверки или калибровки, что определяется областью применения результатов измерений, а сами измерения производить строго по разработанным и утвержденным методикам.
Вероятно, вопрос связан с подходами к оценке качества услуг связи. Здесь мы должны говорить скорее не об измерениях, а о тестировании и получении по результатам тестов оценок показателей качества. В современных подвижных тестовых комплексах используется абонентское оборудование, которое само по себе не может являться средством измерений. Тем более не средство измерений – выбранный абонентом смартфон с установленным на нем краудсорсинговым приложением. В существующих правилах применения абонентского оборудования для подвижной связи отсутствуют нормы на чувствительность приемных устройств абонентского оборудования, поэтому оценки, полученные разными экземплярами однотипных абонентских устройств, могут существенно отличаться.
Вместе с тем, все больший упор делается на использование методов активного E2E тестирования или пассивного мониторинга и анализа трафика с тем, чтобы приблизить результаты оценки к пользователю. Речь идет об использовании пассивных пробников, что позволяет проанализировать трафик пользователей на групповых трактах, проведении драйв-тестов, при которых имитируется использование услуг абонентами на заранее выбранном маршруте, чтобы обеспечить репрезентативность, и даже установка прикладных программ на оборудование пользователей, предназначенных для оценки качества предоставляемых услуг связи. Но это другая история, которая относится не к метрологии, а к квалиметрии.
Хотя и здесь можно провести некоторые параллели. Очень часто при использовании E2E тестирования для оценки качества услуг доступа в интернет или услуг по передаче данных используются сервера, которые установлены в произвольном месте, а не на контролируемом участке сети, соответствующем зоне ответственности оператора. Иногда производительность сервера или порта, используемого для его подключения к сети, недостаточна для обслуживания тестового трафика и вносит существенные погрешности в результаты оценки. Весьма много недоразумений с оценкой качества в пакетных сетях, использующих стек протоколов TCP/IP. Учет особенностей работы протоколов принципиально необходим, что часто не учитывается при проведении измерений или оценке качества в современных пакетных сетях связи.
Наконец, огромная нерешенная проблема – отсутствие эталонной базы для некоторых показателей качества. Например, разборчивость речи, измеряемая в баллах MOS (Mean Opinion Score), оценивается методом экспертных оценок согласно рекомендации ITU-T P.800. Однако не существует эталона балла MOS, это субъективная оценка эксперта. С целью упрощения и автоматизации процедур оценивания разработаны и используются автоматизированные алгоритмы PESQ или POLQA, которые позволяют получать очень близкие к экспертным результатам. Но эти результаты могут существенно отличаться в зависимости от типа используемого абонентского оборудования или даже от экземпляра к экземпляру однотипных устройств.
Б. Горлин. Сервисы – это философский вопрос. Дело в том, что сейчас для комфортного веб-серфинга и видео-онлайн достаточно 4–5 Мбит/c. По нашему опыту, такую скорость может обеспечить, по сути, каждый оператор в сетях 3G. Но операторы активно строят сети 4G, где скорость уже 20–30 Мбит/с, и даже 4G+, где она еще выше. Спрашивается: зачем, каким именно массовым сервисам необходима такая скорость? Первое, что приходит на ум, – для быстрого закачивания файлов (такой возможности нет в сетях 3G) и быстрого скачивания тяжелого контента, например, с помощью торрентов.
Соответственно, чтобы тестировать сервисы, которым не требуется большая скорость, применима определенная методика измерений (тут достаточно перегонять небольшой файлик туда-сюда, что, собственно, и делает speedtest и другие измерительные комплексы). Однако чтобы тестировать 4G, необходима другая методика, перегон маленького файла туда-сюда даст такой разброс значений, что их никогда нельзя будет назвать достоверными. Поэтому мы и сделали, по сути, два разных проекта – 3gspeed и 4gspeed. Измерения в каждом из них идут по отдельной уникальной методике.
М. Николаев. Действительно, предоставить качественные сервисы, используя при этом сетевую инфраструктуру, находящуюся в плачевном состоянии, крайне тяжело, если вообще не невозможно. По мере развития сетей, увеличения их масштабов, проникновения, по мере увеличения сложностей структуры, количества типов сервисов и нагрузок на каждый из элементов этой сложной системы, все сложнее становится и контроль за ней. Уже совсем не достаточно иметь несколько человек со специализированными приборами, которые способны провести анализ сети, не суть важно на каком уровне, по запросу или по регламенту. Данные необходимо получать здесь и сейчас. Их объемы растут исключительно высокими темпами. В то же время ценность тем меньше, чем больше времени прошло с момента их получения. Поэтому оперативность в доставке большого объема данных – то, что требуется на данный момент. Следовательно, все большее распространение получают разнобразные системы мониторинга и анализа сетей. Пожалуй, именно это стоит отметить в качестве тенденции и принципиального отличия текущего момента от совсем еще недавнего телекоммуникационного прошлого.
