Compte rendu de la réunion Qostic#79

Club Qostic

Qualité de service et Satisfaction Client

Réunion n°79 du 27 janvier 2015

 

Date : 28/01/2015
Source : Pierre-Yves Hébert
Titre : Compte rendu de la réunion Qostic du 27 janvier 2015

Participants :  

Pierre-Yves Hébert PYH AFUTT/CRESTEL
Alain Lenoir AL AFUTT
Michel Brunot MB DIRECTIQUE
Dimitri Mottet DM IPL
Pascal Bary PBY ORANGE
Tatiana Aubonnet TA TELECOM ParisTech

Excusés

Bernard Dupré BD CRESTEL
Paul Bossu PB AFUTT
Jacques Pomonti JP AFUTT
Fetah Ouzzani FO QOSMIC
Frédéric Dejonckheere FD SFR
Noëmie Simoni NS TELECOM ParisTech

 

I   Approbation du CR de la réunion 78 AHQ-78-02

Le compte rendu de la réunion 78 a été approuvé sans réserve.

II Questions d’actualité

II.1 Publication des résultats QoS ARCEP

L’ARCEP a publié le 25/11/2014 une version-test de son nouvel observatoire sur la qualité du service fixe d’accès à l’internet. Cette publication ne comporte qu’une partie des indicateurs mesurés sur une période de temps limitée et avec encore quelques difficultés techniques qui incitent à la prudence quant à l’interprétation des résultats. Le diaporama AHQ-79-05 collationne l’ensemble des derniers résultats publiés par l’ARCEP dans ce contexte. Le format de ce document a subi quelques évolutions par rapport aux présentations précédentes. La référence est désormais fixe et a été déterminée à partir des résultats précédents considérés comme acceptables. Le niveau global de qualité, tous FAI confondus est une moyenne glissante sur 12 mois de la médiane de l’ensemble des FAI. Comme précédemment le résultat pour chaque indicateur est complété d’un commentaire. L’examen de ces résultats conduit à quelques commentaires dont il sera tenu compte dans la mesure du possible pour les prochaines publications :

Les indicateurs « taux de panne » montrent une variation cyclique due aux aléas climatiques et il pourrait intéressant de compléter les graphiques correspondants par un graphique où ces variations seraient lissées. Un certain nombre de ces graphiques montrent une tendance à l’amélioration sur l’année 2014 (indicateurs de mise à disposition sur lignes existantes,  taux de pannes dans les premiers 30 jours, temps de réparation, réponse de la hotline) en revanche il n’y a pas d’amélioration sur plusieurs autres (accès sur lignes crées livrés en plus de 20 jours,  taux de pannes général). Concernant les mesures sur la ToIP, le nouveau dispositif introduit une discontinuité par rapport au précédent (moyenne glissante) avec des écarts difficilement explicables sur les taux de défaillance. Il faudra vérifier les prochains résultats pour trouver une explication. En outre, les temps d’établissement paraissent éloignés de l’expérience des utilisateurs particulièrement pour les appels internationaux. Michel Brunot ressortira des études qui avaient été effectuées il y a quelque temps sur cette anomalie.  Les indicateurs d’usage Internet apparaissent pour la première fois. L’indicateur  « usage Web » montre un faible écart entre heures chargées et heures pleines et surtout un faible avantage pour le THD sur les temps de chargement : Il suffit d’un débit relativement modeste pour charge une page web. L’usage streaming est un indicateur composite qui traduit un indice de performance calculé à partir d’une batterie d’indicateurs élémentaires (disponibilité, fluidité, négociation, taux de rupture et temps de rupture).

Il montre des écarts plus significatifs pour certains opérateurs. Son mode de calcul est défini par le référentiel commun de la façon suivante :

1.1.1.1  Modalité de calcul de l’indice de performance de la vidéo streaming

Pour chacun des 5 sous-indicateurs, un seuil haut (correspondant à une note de 1) et un seuil bas (correspondant à une note de 0) est défini par le comité technique afin de permettre la traduction des mesures de chaque indicateur sous forme d’une note pertinente[1].

Haut ( ) Bas ( )
taux de succès de l’accès au flux (valeur en %) 100% 98%
temps de négociation (valeur en sec.) 1 3,5
taux de succès fluide de la vidéo (valeur en %) 100% 90%
nombre moyen de ruptures de lecture (nombre de ruptures) 0 5
Durée moyenne des ruptures de lecture (valeur en sec.) 0 5

Ces seuils permettent de calculer une note comprise entre 0 et 1 pour chacun des sous-indicateurs i en utilisant la formule suivante :

L’indice de performance de la vidéo streaming correspond alors à la somme des 5 notes intermédiaires, chacune ayant un poids identiques. Il s’agit donc d’une note attribuée sur 5 :

Indice de perf de la vidéo streaming 1) Taux de réussite de l’accès au flux 2) Temps de négociation 3) Taux de succès fluide de la vidéo 4) Nombre de ruptures de lecture 5) Durée des ruptures
Indicateur médian Indice basé sur le taux de réussite mesuré Indice basé sur les temps de négociation médians Indice basé sur le taux de succès de la vidéo Indice basé sur les nombres de ruptures de lecture médians Indice basé sur les durées de ruptures médianes
Indicateur de dispersion(borne inf.) Indice basé sur les temps de négociation au 5ème centile Indice basé sur les nombres de ruptures de lecture au 5ème centile Indice basé sur les durées de rupture au 5ème centile
Indicateur de dispersion(borne sup.) Indice basé sur les temps de négociation au 95ème centile Indice basé sur les nombres de ruptures de lecture au 95ème centile Indice basé sur les durées de rupture au 95ème centile

Commentaire : la possible généralisation de techniques de streaming adaptatif dans un futur proche nécessitera de redéfinir ces indicateurs pour tenir compte de la qualité variable du flux affiché.

[1] L’indice doit notamment permettre de traduire les écarts significatifs de performances entre deux mesures.

Ce mode de calcul est celui pratiqué par IPL pour les publications de 01Net et manque de justification. A la demande de l’Afutt et des associations de consommateurs, des tests de validation sont en cours par un laboratoire universitaire et devraient apporter les informations nécessaires pour justifier ou améliorer ce processus. Michel Brunot signale que des études lourdes ont été menées par le passé sur ce sujet pour la visiophonie à la demande de l’ARCEP et devraient pouvoir être utilisées à cette fin Enfin l’indicateur P2P met en évidence les performances du THD malgré une dispersion importante dans les résultats.

Toutefois, il ne faut pas oublier que ces résultats portent sur une première période de test et doivent être exploités avec prudence.

En outre, à la question de l’impact du VDSL sur les résultats, la réponse est que cette technologie ayant été implémentée en décembre sur une large partie des lignes concernées, il ne sera perceptible que sur les prochains résultats. Toutefois, il a été indiqué au CTQoS du 22/1 que cette technologie n’avait apporté une amélioration perceptible que sur une seule des 18 lignes et seulement sur le débit upload qui passerait de 1 à 5 Mbit/s. Le VDSL n’apporterait d’amélioration que sur les lignes très courtes avec un affaiblissement d’une dizaine de décibels.

Action
Délai
Responsable
Statut
79-01 Apporter au document AHQ-79-05 les ajustements suggérés en réunion et y associer un commentaire approprié 24/02/2015 PYH En cours
79-02 Transmettre l’analyse des anomalies de mesure du temps d’établissement des communications 24/02/2015 MB En cours
79-03 Transmettre l’étude effectuée par le passé pour l’ARCEP sur la qualité vidéo dans le contexte visiophonie mobile. 24/02/2015 MB En cours

II.2 Mise à jour du programme de travail (AHQ-69-04) à la lumière des réflexions des Qostic 77 et 78

La mise à jour du programme portant sur les aspects Cloud, n’a pu être abordée en l’absence de plusieurs des interlocuteurs concernés. En revanche, les autres aspects concernant l’accessibilité au Haut Débit ont été partiellement traités à l’occasion de l’examen du point IT2.4 sans en traiter l’incidence sur le programme de travail, ce point y figurant déjà.

III Point sur les actions en cours du programme
de travail

  IT2.3 Mesures à partir du terminal (fixe ou mobile) de l’utilisateur :

Action
Délai
Responsable
Statut
70-02 Relancer les adhérents pour prendre part aux tests MobiSpeed. mars 2014
24/02/2015
PYH En cours
70-03 Préciser avec Th. Laurenceau les modalités d’utilisation de Qualiserv et d’appel aux abonnés de 60 Millions pour participer aux tests MobiSpeed mars 2014
24/02/2015
PYH En cours

Action 70-02/70-03Un point vient d’être fait avec Olivier Brunot, Nicolas Gaveau et Th. Laurenceau le 23 janvier,montrant que le portail d’exploitation est maintenant disponible aussi bien pour Qualiserv que pour MobiSpeed. Cela devrait permettre d’exploiter les premiers tests effectués en juillet et août et ainsi de relancer l’activité du panel en donnant un retour aux panélistes. Il reste encore à organiser la gestion du panel de MobiSpeed mais il a été convenu que dès la disponibilité de l’analyse des premiers résultats, le panel ferait l’objet d’une relance coordonnée entre l’Afutt et l’INC.  Les évolutions envisageables à court et moyen terme ont été également envisagées. Implémentation sur le portail des algorithmes de Qualiserv pour traduire les résultats des mesures de performance effectuées, étude de téléchargements réels ou simulés de pages web, vidéostreaming ou P2P depuis le terminal du panéliste MobiSpeed seront en particulier envisagées.

Action
Délai
Responsable
Statut
79-04 Effectuer une analyse des premiers résultats de MobiSpeed pour produire un retour aux panélistes permettant de les motiver à faire de nouveaux tests et dans le mesure du possible d’en recruter de nouveaux. 24/02/2015 PYH En cours
79-05 Mettre au point les modalités de gestion du panel MobiSpeed 24/02/2015 PYH/NG En cours

  IT2.4 Mesures collectées depuis des sites Web : AHQ-79-04

Le document AHQ-79-04 comporte deux tableaux établis à partir de Cloud Observer en filtrant sur les accès fixes, tous opérateurs confondus. Le premier tableau est filtré sur les PC les plus répandus du marché (performances moyennes) et en segmentant par région et par ville pour les quelques sites Web permettant ce filtrage. Le second donne les mêmes résultats mais pour l’ensemble des terminaux accédant à Internet par l’intermédiaire des réseaux fixes, c’est-à-dire y compris tablettes et smartphones accédant en WiFi et pour un échantillon plus large de sites Web parmi les plus populaires. 

L’examen de ces tableaux est ardu et demande réflexion pour se les approprier. Toutefois, après cette appropriation il apparait clairement qu’ils apportent des éléments intéressants pour étayer la communication de l’Afutt sur la France à deux vitesses.  Une large discussion s’est alors instaurée pour essayer de présenter ces informations de la façon la plus intelligible possible par le public et surtout par les décideurs, l’objectif étant de sensibiliser les élus régionaux aux améliorations nécessaires. Il en a été conclus qu’il fallait tenter d’organiser ces tableaux par taille d’agglomération en indiquant, parmi celle identifiées, celles pour lesquelles le temps de chargement était normal, acceptable ou rédhibitoire. Le seuil d’acceptabilité fixé à 12 secondes pour ces tableaux a également été discuté comme paraissant relativement élevé. Selon DM, Google fixerait à 10 secondes le seuil d’acceptabilité. Il transmettra à Qostic le document en question. Pour faciliter la communication avec les opérateurs, de nouveaux tableaux donnant la répartition par région, taille d’agglomération et opérateurs seront élaborés. En outre MB fera des propositions pour déterminer les indicateurs  les plus appropriés à partir des résultats obtenus.

Action
Délai
Responsable
Statut
79-06 Reprendre les tableaux en faisant apparaître la taille des agglomérations 24/02/2015 PYH En cours
79-07 Dresser des tableaux donnant la répartition des temps et nombre de chargements par région, taille d’agglomération et opérateurs 24/02/2015 PYH En cours
79-08 Diffuser les informations disponibles sur le seuil d’acceptabilité des temps de chargement de pages Web 24/02/2015 DM En cours
79-09 Proposer des indicateurs  plus appropriés à partir des tableaux diffusés 24/02/2015 MB En cours

Questions diverses

PB mentionne une nouvelle loi sur l’environnement qui restreint le champ électrique, ce qui va poser des problèmes pour la couverture interne des immeubles. En effet comme le montre un document de l’Ofcom récemment diffusé à Qostic les bâtiments HQE sont imperméables aux ondes hertziennes. Les opérateurs sont donc amenés à prendre des dispositions pour que les réseaux mobiles y pénètrent par la mise en place de relais ou de femtocells. Or le champ à proximité de ces dispositifs excède souvent les nouvelles limites imposées ! Ce sujet pourrait donc utilement être ajouté au programme de travail de Qostic.

Dates et lieux des prochaines réunions

24 février 2015 Télécom ParisTech, 46 rue Barrault, Paris 13ème Salle C229
31 mars 2015  ???

La version pdf est disponible ici

Articles en relation :