Considérations sur les indicateurs de Qualité de Service, distinction entre Performance et Qualité et entre Qualité objective et subjective.

La problématique

Il arrive souvent que le choix d’indicateurs de qualité de service déclenche des débats insolubles dès qu’il s’agit de fixer des objectifs ou des valeurs de référence, et des réactions des opérateurs qui mettent en avant que les progrès sur ce type d’indicateurs représentent des coûts très importants et qu’ils sont fondamentalement liés à des choix de marketing, et de différenciation entre plusieurs offres en terme de Qualité/Coût.

En effet, il arrive souvent que l’on confonde qualité de service et performance. Une Porsche n’a pas les mêmes performances qu’une C2, et il n’y a pas de confusion sur les aspects performance et les aspects qualité de ce type de produit. La vitesse de pointe, distance de freinage, consommation etc. sont des caractéristiques de performance. En revanche, le taux de pannes par an ou par 100 000 Km, le délai de traitement de ces pannes, etc. sont bien de l’ordre de la qualité du service.

Dans le domaine des Télécom et Internet, le débit est clairement un critère de performance : on paie plus cher pour avoir un produit plus performant. L’indisponibilité (temporelle ou géographique) du service est un critère de Qualité.

La qualité de service, par nature, mesure l’importance des disfonctionnements du produit ou service, par rapport à un fonctionnement nominal ou un processus normal.

La performance est une caractéristique du produit ou service, la qualité de service est l’écart entre la performance réelle et la performance réalisée. De plus, ces écarts ne sont intéressants à considérer que s’ils sont gênants pour l’utilisateur.

Dans l’engagement Darty de livrer en 2 jours ouvrés (c’est une performance), la qualité se mesure simplement par le taux de livraison au-delà de 2 jours (indépendamment du fait que cet écart soit gênant ou non pour le client). C’est la qualité objective.

D’ailleurs, en matière de livraison, la qualité est plutôt liée au fait de livrer quand cela convient au client (qui n’est pas toujours au plus tôt, mais éventuellement le jour et l’heure choisis) et de respecter l’engagement.

On voit ainsi que le délai d’aboutissement d’un appel n’est pas, en soi, un critère de qualité. C’est d’abord un critère de performance : plus c’est court, mieux c’est (mais c’est plus cher, surtout pour les appels internationaux). Le fournisseur du produit devrait s’engager explicitement sur des délais max dans telle et telle conditions. La mesure de QoS objective sur ce critère est alors le taux d’appels dont le délai dépasse ces engagements. Mais il est évident que si l’engagement est de 4 secondes et que tous les délais réalisés sont de 5 secondes, on ne peut pas dire que la non-qualité est de 100% (une autre offre dont 10% des appels sont aboutis au-delà de 20 secondes est évidemment moins bonne que celle qui achemine tout en 5 secondes au lieu des 4 promises.

On voit bien alors la nécessité de distinguer aussi QoS objective et QoS subjective (qualité perçue). Pour rendre compte de la qualité perçue dans cet exemple, on doit définir des seuils (subjectifs) de délai « acceptable » et « mauvais », et compter les taux de mauvais, acceptable, et bon.

Ainsi la démarche méthodologique devrait être :

–       le critère dont on parle est-il vraiment de l’ordre de la qualité ou de la performance ? La réponse est que si ce critère est une caractéristique du produit ou du service, qui permet de distinguer entre offres différentes, c’est de la performance. S’il permet de mesurer un écart entre une promesse et un résultat c’est de la qualité (ce qui inclut évidemment l’accessibilité et le fonctionnement tout court du service lui-même).

–       Ensuite vérifier que chaque critère de performance est correctement défini dans chaque offre, avec un engagement (ou une série d’engagements en fonction de la situation), ces engagements constituant le référentiel de qualité objective.

–       Les aspects Qualité objective peuvent ensuite se mesurer en tant qu’écart par rapport à la performance nominale, soit en tout ou rien, soit en distribution

–       Et enfin, se poser la question de la qualité subjective, c’est-à-dire quels sont les valeurs limites entre bon et acceptable et mauvais.

On devrait ainsi réexaminer chaque indicateur en terme de performance / qualité.

Le délai de « livraison » est d’abord une performance (qui coûte plus ou moins, comme pour l’acheminement du courrier), puis la qualité est la mesure de l’écart entre promesse et réalisé.

Le délai de traitement des appels au service client est également une performance, qui se paie. La qualité est le respect de l’engagement pris, selon la classe du service vendu.

L’indisponibilité est toujours un critère de qualité. Le considérer sur un plan subjectif est indispensable : une panne aux heures de trafic très bas vaut moins qu’aux heures de trafic très élevé. On classe dans cet indicateur tout ce qui est Echec ou Coupure (non accessibilité, non continuité), et dans ce cas, pas besoin de distinction entre objectif et subjectif : tout est mauvais.

En revanche, le délai de remise en état en cas de panne est de la performance. Le non respect des engagements de délai de remise en état est de la non qualité

Le délai d’acheminement des appels est de la performance (on peut faire des classes de service). Le dépassement de délai par rapport à la promesse est de la non qualité. A nuancer impérativement en objectif et subjectif.

La qualité audio et de l’ordre de la performance, qui se mesure avec des outils de type PESQ ou autres. Pour améliorer le « MOS » permanent, il faut de la bande passante, des codecs performants, des algorithmes de compression correction, une transmission avec gigue réduite, etc. Donc des sous. En revanche, la QoS audio (toujours subjective) se définit par la présence  de défauts gênants sur une partie de la communication, et se mesure pas des taux de mauvais ou acceptable.

Le débit de données est évidemment de la performance. Il reste à obtenir des engagements clairs de la part des fournisseurs d’accès mobiles et fixe. Le taux de chargement de pages dans un délai « raisonnable » (le délai doit dépendre de l’offre ou de la technologie d’accès) est un critère de qualité subjectif. Le problème est qu’il englobe la performance du terminal, du réseau, et du serveur. D’où l’intérêt de mesurer la contribution de chacun de ces 3 facteurs pour rendre compte de la qualité de chacun d’eux dans la performance globale.

En matière de transmission de données, les critères techniques de débit, latence, gigue, taux d’erreurs sont des critères de performance. On peut définir des mesures de qualité « objective » relatifs à des engagements qui seraient annoncés (pour chaque offre) sur chacun de ces critères.

Mais les critères pertinents pour les utilisateurs ne portent pas sur ces critères techniques, mais sur le bon fonctionnement de chaque service de données : TOIP, téléchargements, navigation, streaming audio et vidéo, TV live, jeux en ligne etc. L’engagement de l’opérateur concernant chacun de ces services consiste à définir les conditions qui permettent un fonctionnement correct du service : avec tel terminal (caractéristiques minimales), et pour tel service (référencés éventuellement dans des serveurs étalon) je garantis que le streaming se fera sans à-coup ni défaut visible dans x% des cas pour tel client (Contrat de service personnalisé), ou pour chaque client de telle catégorie (contrat de service générique). En tous cas, il ne peut pas s’agir d’un engagement général à tenir en moyenne sur l’ensemble des abonnés ! Il doit concerner chaque client pris individuellement.

Conclusion

L’objectif de cette démarche est de couper court au débat Performance versus QoS, en donnant des repères simples.

Et ainsi de pousser tous les acteurs du domaine à prendre la peine de définir :

–       les performances promises pour chaque offre, sur la base des critères de performance bien identifiés. Ce qui permet également de définir des indicateurs de QoS objectifs (écart par rapport à l’offre nominale)

–       et un ensemble de paramètres mesurant la QoS, constitués par :

  • l’indisponibilité, objective (comptage et totalisation des interruptions de service), et subjective (échecs, coupures, ou interruptions pondérées par le trafic interrompu)
  • les critères QoS objectifs liés aux engagements de performance : sur chaque caractéristique de performance, l’écart entre le réel et le promis ou spécifié
  • les paramètres de qualité subjective du service rendu (qualité du son, qualité d’image, qualité de réponse du service client, etc.), pour lesquels on doit définir des défauts observables et des seuils (subjectifs) frontière entre ‘mauvais’, ‘acceptable’ et ‘bon’ pour chaque type de produit ou service.

Ce qui permet, in fine, de comparer les offres entre elles, en distinguant bien la partie performances (qui différencient les offres), et la partie QoS (qui différencient les prestataires qui présentent des offres comparables).

 

Michel Brunot

La version pdf du document est disponible ici

Articles en relation :