Qualité d’accès aux services en ligne – État des lieux

Exemple du temps de
chargement des pages Web

Mars 2015

Introduction

La qualité de service (QoS)[1] est un vaste sujet qui continue à faire couler beaucoup d’encre et de salive mais qui n’est pas souvent traité avec la rigueur indispensable à une évaluation rationnelle. Les membres du Club Qostic[i] de l’Afutt se sont accordé sur une méthodologie d’évaluation appropriée qui suppose l’analyse de cette qualité pour un service précisément défini sur la base des engagements des fournisseurs aussi bien en matière de performance selon des critères universels (disponibilité, temps de réponse, capacité et intégrité) qu’en termes d’adéquation du service par rapport aux attentes des utilisateurs formulées en matière de sécurité, flexibilité et ergonomie.

Par ailleurs, cette qualité est fonction de tous les éléments qui interviennent dans la fourniture du service entre le fournisseur et l’utilisateur. Ils incluent l’environnement de l’utilisateur dont le terminal, les réseaux d’accès, le serveur ainsi que les liens éventuels entre ce serveur et d’éventuels fournisseurs tiers.

Dans la suite du document, nous traitons un des indicateurs de la qualité d’accès aux services en ligne : le temps de chargement des pages web, un des indicateurs les plus emblématiques du surf sur Internet. Toutefois, cet indicateur ne peut, à lui seul, être représentatif de la qualité d’une offre qui comporte différents éléments de service (par ex. accès à Internet, téléphonie sur IP (ToIP), télévision sur IP (TV-IP)). La qualité de chacun d’eux doit faire l’objet d’une évaluation particulière.

Une illustration de cet état de fait apparaît dans les résultats récemment publiés par l’ARCEP pour la qualité de l’accès à Internet via les réseaux fixes qui montrent que, en dépit du discours marketing, le haut débit n’apporte pas de bénéfice significatif pour le surf sur Internet ou pour le vidéostreaming ; il ne fait vraiment la différence que pour le Peer-to-Peer.

[1] Certaines publications évoquent la qualité d’expérience (QoE) qui en fait est étroitement liée à la QoS en lui ajoutant une note de subjectivité.

[i] NB : Depuis près de 15 années, le club Qostic, animé par l’AFUTT, rassemble, dans ses travaux, utilisateurs, industriels de la mesure, opérateurs et universitaires en vue de développer un consensus sur l’évaluation de la qualité des services.

Pour ce qui concerne ce rapport, l’AFUTT remercie tout particulièrement les spécialistes de la mesure qui ont permis de réaliser ce document et d’alimenter l’information du comité technique QoS de l’ARCEP : nous voulons citer IPLabel, Directique récemment rejoints par Cedexis, qui pourraient sans nul doute aider l’AFUTT à proposer des outils spécifiques pour créer des observatoires régionaux ou locaux sur la qualité des infrastructures et de l’accès aux services en ligne.

Analyse de la qualité d’accès à Internet via les réseaux fixes.

Sur la base des principes précédents, nous avons déterminé au moyen de l’outil RUM-Bi (Real User Monitoring – Business intelligence) d’IPLabel les différences entre les régions métropolitaines en prenant comme indicateur le temps de chargement de pages complètes d’une sélection de sites Web. Cette étude porte uniquement sur les réseaux fixes (ADSL, câble ou fibre optique) sur l’année 2014 et pour les terminaux de type PC.

Pour définir le niveau de qualité pour chaque région selon la définition 2014, nous nous sommes appuyés sur les observations du Geste qui a constaté qu’au-delà de 4 secondes de temps de chargement d’une page, l’abandon des actes d’achat croissaient significativement et sur celles de Google qui a déterminé qu’au-delà de 8 à 10 secondes, l’internaute passait à une autre activité.
À noter que la localisation est basée ici sur les adresses IP des internautes.

Nous avons retenu les quatre niveaux de qualité suivants :

E= Excellent

Temps d’affichage médian des pages (dans 50% des cas) pour les
utilisateurs de la région concernée inférieur à 3 secondes.

B= Bon

Temps médian d’affichage des pages pour les utilisateurs de la région
concernée entre 3 et 5 secondes

I= Insuffisant

Temps médian d’affichage des pages pour les utilisateurs de la région
concernée entre 5 et 8 secondes

M= Mauvais

Temps d’affichage médian des pages pour les utilisateurs de la région
concernée supérieur à 8 secondes

Cela nous a conduits au tableau suivant qui dénombre les agglomérations par niveau de qualité dans chacune des régions :

Tableau 1

PC

Nombre
d’agglomérations par niveau de qualité

Pourcentage
par niveau de qualité

Régions

M

I

B

E

Total

M

I

B

E

Nord-Pas-de-Calais

7

226

230

3

466

2%

48%

49%

0,6%

Bretagne

13

256

246

2

517

3%

50%

48%

0,4%

Picardie

3

207

165

1

376

1%

55%

44%

0,3%

Ile-de-France

10

351

279

2

642

2%

55%

43%

0,3%

Haute-Normandie

5

138

105

1

249

2%

55%

42%

0,4%

Pays de la Loire

8

247

173

1

429

2%

58%

40%

0,2%

Rhône-Alpes

22

541

257

6

826

3%

65%

31%

0,7%

Provence-Alpes-Côte d’Azur

2

208

94

3

307

1%

68%

31%

1,0%

Basse-Normandie

5

189

87

281

2%

67%

31%

0,0%

Champagne-Ardenne

6

150

68

224

3%

67%

30%

0,0%

Languedoc-Roussillon

12

215

95

322

4%

67%

30%

0,0%

Alsace

5

175

74

1

255

2%

69%

29%

0,4%

Midi-Pyrénées

8

233

100

341

2%

68%

29%

0,0%

Poitou-Charentes

6

289

120

2

417

1%

69%

29%

0,5%

Limousin

4

55

24

83

5%

66%

29%

0,0%

Franche-Comté

10

176

70

1

257

4%

68%

27%

0,4%

Auvergne

18

121

49

1

189

10%

64%

26%

0,5%

Centre

4

319

108

2

433

1%

74%

25%

0,5%

Bourgogne

6

263

86

2

357

2%

74%

24%

0,6%

Aquitaine

7

346

106

459

2%

75%

23%

0,0%

Lorraine

16

288

81

2

387

4%

74%

21%

0,5%

Corse

3

15

2

2

22

14%

68%

9%

9,1%

France
métropolitaine

180

5008

2619

32

7839

2%

64%

33%

0,4%

NOTA BENE : La couleur passe du rouge au vert quand le pourcentage d’agglomérations de niveau B ou E s’élève ou inversement se réduit pour les niveaux I ou M.

À signaler le cas de la Corse, qui, classée en queue de liste, s’illustre en parvenant à obtenir à la fois le plus fort taux de « M » et de « E ».

Tableau 2

PC

Répartition
du nombre d’agglomérations par niveau de qualité

Régions

M+I

B+E

Nord-Pas-de-Calais

50%

50%

Bretagne

52%

48%

Picardie

56%

44%

Ile-de-France

56%

44%

Haute-Normandie

57%

43%

Pays
de la Loire

59%

41%

Rhône-Alpes

68%

32%

Provence-Alpes-Côte
d’Azur

68%

32%

Basse-Normandie

69%

31%

Champagne-Ardenne

70%

30%

Languedoc-Roussillon

70%

30%

Alsace

71%

29%

Midi-Pyrénées

71%

29%

Poitou-Charentes

71%

29%

Limousin

71%

29%

Franche-Comté

72%

28%

Auvergne

74%

27%

Centre

75%

25%

Bourgogne

75%

25%

Aquitaine

77%

23%

Lorraine

79%

21%

Corse

82%

18%

France métropolitaine

66%

34%

Si l’on regroupe ces résultats portant sur les connexions de PC via les réseaux fixes en deux niveaux de qualité : M+I (temps supérieur à 5 s) et B+E (temps inférieur à 5 s), il apparaît que pour les régions les mieux « connectées » moins de 50% de leurs agglomérations parviennent à 50% des chargements en moins de 5 secondes (limite pour une qualité acceptable), ce qui est incontestablement insuffisant.

Il ne faut pas oublier que cette piètre performance n’est pas à imputer aux seuls opérateurs. Ils sont certes responsables de la transmission entre les utilisateurs et les serveurs mais beaucoup de services sont fournis par des éditeurs indépendants qui ont également leur part de responsabilité dans la qualité de leurs services. Ils devraient se concerter avec les opérateurs pour améliorer la situation.

On pourrait ajouter que la qualité dépend également des installations des utilisateurs (par ex. performances des PC ou connexion Ethernet plutôt que Wi-Fi).


Comparaison de la qualité d’accès à Internet selon les réseaux d’accès (fixes
ou mobiles) et les types de terminaux.

Si on compare les résultats obtenus avec des PC, tablettes ou smartphones via cette fois non seulement les réseaux fixes (essentiellement en Wi-Fi pour les deux derniers) mais aussi les réseaux mobiles (2G, 3G ou 4G) on obtient le tableau suivant :

Tableau 3

Pourcentages
de chargements de pages réussis dans le temps indiqué pour les 12 sites de la
sélection

 

1 s

2 s

3 s

4 s

5 s

6 s

7 s

8 s

9 s

10 s

Nombre
de chargements

Mobiles via réseaux mobiles

10%

24%

35%

44%

50%

56%

60%

64%

68%

71%

16 285 017

Mobiles via réseaux fixes

12%

29%

42%

51%

58%

64%

69%

73%

76%

78%

42 779 083

Tablettes via réseaux mobiles

5%

20%

33%

43%

51%

57%

63%

67%

70%

73%

1 763 397

Tablettes via réseaux fixes

7%

23%

38%

49%

57%

64%

69%

73%

76%

79%

55 582 740

PC via réseaux mobiles

12%

28%

41%

51%

58%

64%

69%

72%

75%

78%

7 286 260

PC via réseaux fixes

18%

40%

55%

64%

71%

76%

80%

84%

86%

88%

404 108 704

À partir de 8 s l le temps de réponse devient INSUPPORTABLE pour l’utilisateur.

Ce tableau montre que seuls 84% des chargements depuis les PC via les réseaux fixes sont en deçà du seuil considéré comme rédhibitoire de 8 secondes. C’est-à-dire que 16% sont au-delà, alors que ce taux d’échec atteint 27% pour les tablettes et les smartphones. Pour les réseaux mobiles, ces taux passent respectivement à 28, 33 et 36%, ce qui est inadmissible.

L’accès via les réseaux mobiles reste encore plus lent que via les réseaux fixes (-15% pour les PC, ­13% pour les Smartphones et -10% pour les tablettes). Il faut espérer qu’un déploiement rapide de la 4G réduise cet écart.

Les PC sont en moyenne toujours plus rapides que les smartphones ou les tablettes que ce soit via les réseaux fixes (15 et 14%) ou mobiles (12 et 9%). Il faut noter toutefois que par rapport à notre étude sur 2013[1] où les tablettes apparaissaient deux fois plus lentes que les PC, les mobiles se situant entre les deux, la situation a sensiblement évolué puisque le tableau précédent montre que les performances de ces terminaux se sont rapprochées, les tablettes ayant aujourd’hui les mêmes performances que les smartphones, lesquelles sont toutefois inférieures d’une dizaine de % à celles des PC que ce soit via les réseaux fixes ou mobiles.

Les résultats de RUM-Bi ne portent que sur les terminaux qui ont réussi à se connecter : Ils ne tiennent donc pas compte des zones blanches non couvertes pour les accès mobiles, ni surtout des zones de saturation où l’utilisateur se décourage.

Les taux d’échec ainsi calculés sur la base des connexions réussies sont à majorer largement sur les zones où les réseaux ne permettent même pas à l’utilisateur d’atteindre le site ! En outre, ils ne prennent pas en compte les accès via les applications chargées dans les smartphones. Il ne semble toutefois pas y avoir de raison pour que les temps d’accès par les applications soient très différents de ceux par les navigateurs.

Comme toujours des résultats globaux peuvent masquer des différences locales considérables. Le tableau 3 indique par exemple pour les PC une médiane des temps de chargement un peu inférieure à 3 secondes alors que le tableau 1 donnait des résultats bien inférieurs pour certaines agglomérations dont le faible trafic est noyé dans la masse des grandes métropoles.

[1] Graphique 4 du document « Observation des modalités et performances d’accès à Internet »
http://qostic.org/Qostic/?p=1170

Conclusion

Cette étude montre que la qualité d’accès aux services en ligne est extrêmement préoccupante. En effet, il ne faut pas perdre de vue que la distribution des temps de chargement de pages Web, pour ne parler que de ce service, est du type asymptotique et le tableau 3 montre par exemple qu’il reste un pourcentage non négligeable de services en ligne qui ne sont accessibles qu’au-delà de 10 secondes soit plus de quatre fois le temps médian pour l’accès des PC via les réseaux fixes. En outre, des différences locales, qui comme indiqué plus haut peuvent être masquées dans le flot du trafic des grandes métropoles et rendre la situation insupportable dans les secteurs mal desservis. Enfin, comme les publications de l’ARCEP le montrent pour des configurations a priori optimales, des différences significatives existent selon les services et les réseaux d’accès considérés (la TVHD voire la TV tout court n’est par exemple pas disponible partout). Il est indispensable de mettre à la disposition des utilisateurs des informations incontestables sur la qualité des principaux services dans les conditions réelles de l’utilisateur final. Or à ce jour, ces informations font cruellement défaut.

Ce constat est d’ailleurs tout à fait cohérent avec le rapport DESI[1] selon lequel la France « se classe 14ème sur les 28 pays de l’UE, en-deçà de la moyenne » et surtout avec une progression plus faible que la majorité des autres pays de l’UE, « derrière l’Allemagne et la Grande-Bretagne et loin du Danemark, de la Suède ou des Pays-Bas, qui font la course en tête ».

Les accès mobiles, dont on sait qu’ils connaissent un développement exponentiel et qu’ils pourraient être pour les TPE/PME une alternative à la fibre dans les zones rurales, sont particulièrement préoccupants dans le contexte actuel de concurrence féroce peu favorable aux investissements nécessaires pour parvenir aux capacités requises face à l’accroissement du trafic et à la couverture des zones blanches. En effet, si la 4G permet des débits théoriques équivalents aux réseaux fixes, ce débit est en pratique partagé entre tous les utilisateurs d’une zone donnée et ne peut atteindre un niveau acceptable que si ces utilisateurs ne sont pas simultanément trop nombreux par rapport à la capacité disponible. En outre, les réseaux mobiles ne constitueront une réelle alternative au fixe que si des dispositions commodes sont prises pour la couverture « indoor ».

[1] L’indice relatif à l’économie et à la société numériques (DESI) est un indice composite élaboré par la Commission européenne (DG CNECT) pour évaluer l’évolution des pays de l’Union européenne vers une économie et une société numériques. Il regroupe un ensemble d’indicateurs pertinents, structurés autour de cinq volets: connectivité, capital humain, utilisation de l’internet, intégration de la technologie numérique et services publics en ligne. Pour de plus amples informations sur cet indice, vous pouvez consulter la page suivante:
http://ec.europa.eu/digital-agenda/en/digital-agenda-scoreboard

Articles en relation :