QoS et QoE : mesurer ce que l'abonné ressent, pas ce que le réseau rapporte

Il existe une situation que toute équipe d'exploitation vidéo finit par connaître: les tableaux de bord sont au vert, aucun seuil n'est franchi, aucune alarme n'est levée, et les appels au service à la clientèle augmentent. Personne ne ment. Les indicateurs mesurent simplement autre chose que ce que vit l'abonné.

Deux notions qu'on confond

La qualité de service décrit le comportement du réseau: débit disponible, taux de perte de paquets, latence, gigue, disponibilité des équipements. Ce sont des grandeurs objectives, mesurées en continu, agrégées par segment et par région.

La qualité de l'expérience décrit ce que la personne devant l'écran perçoit: combien de temps avant que l'image apparaisse, combien de fois elle a gelé, à quelle netteté elle a regardé, combien de secondes de retard sur l'action réelle en direct.

La première est nécessaire mais insuffisante pour prédire la seconde. C'est le point qui coûte le plus cher à comprendre.

Pourquoi la corrélation est faible

La lecture adaptative est conçue pour absorber les variations du réseau. Elle y parvient bien, et c'est précisément ce qui brouille la mesure: un lien qui se dégrade ne produit pas de gel, il produit une baisse de résolution. Aucun indicateur réseau ne s'en émeut. L'abonné, lui, regarde une image molle toute la soirée et trouve que le service s'est détérioré.

Deuxième cause: la moyenne masque la pointe. Un segment qui sature quinze minutes par jour, à l'heure où tout le monde regarde, affiche une utilisation moyenne quotidienne parfaitement raisonnable. Or c'est exactement pendant ces quinze minutes que se forme l'opinion des abonnés.

Troisième cause: le dernier segment échappe à la mesure. Le réseau de l'opérateur peut être irréprochable jusqu'à la porte du logement, et l'expérience s'effondrer sur un réseau sans fil domestique encombré, à travers deux murs. Du point de vue des indicateurs, tout va bien.

Ce qu'il faut mesurer à la place

Les indicateurs qui prédisent réellement la satisfaction sont peu nombreux et se collectent depuis le lecteur, pas depuis le réseau.

• Le délai avant la première image, mesuré du moment où l'abonné valide jusqu'à l'affichage. C'est l'indicateur le plus étroitement lié à l'abandon.
• Le taux de gel: proportion des sessions ayant subi au moins une interruption, et temps total d'interruption rapporté au temps de lecture. Un gel unique au mauvais moment coûte plus qu'une baisse de qualité prolongée.
• La résolution effectivement servie, pondérée par la durée. C'est ce qui rend visible la dégradation silencieuse que les indicateurs réseau ne voient pas.
• Le nombre de changements de qualité par session. Le scintillement entre deux barreaux est perçu comme un défaut, même quand la moyenne est bonne.
• Le délai de changement de chaîne, en linéaire. C'est l'action la plus répétée de la soirée, donc celle dont la lenteur se remarque le plus.

Regarder les distributions, pas les moyennes

Une moyenne de démarrage à une seconde et demie peut recouvrir deux réalités opposées: presque tout le monde à une seconde et demie, ou la majorité à huit dixièmes et un abonné sur vingt à sept secondes. Le deuxième cas produit des plaintes, le premier non, et la moyenne ne les distingue pas.

La pratique utile est de suivre les percentiles élevés et de segmenter: par modèle de terminal, par version logicielle, par région, par technologie d'accès. C'est presque toujours ainsi qu'on trouve la cause, parce que les problèmes réels sont rarement uniformes — ils touchent un modèle, une version, un quartier.

Ce que j'en retiens

La question à poser devant un tableau de bord n'est pas « est-ce que le réseau va bien », mais « qu'est-ce que l'abonné a vu ». Ce sont deux questions différentes, et seule la seconde correspond à ce dont on parlera au prochain renouvellement d'abonnement.

Ce qui suppose d'instrumenter le lecteur et de faire remonter ses mesures, ce qui coûte du développement et de la bande passante, et ce qui se fait donc souvent en dernier. C'est généralement le meilleur investissement d'exploitation qu'une plateforme vidéo puisse faire.