Élaboration d'une grille de sélection des sites web

Le ministère de la Santé et des Services sociaux du Québec planifie le développement d'un réseau intégré de télécommunications pour le secteur sociosanitaire. Dans ce contexte, un groupe de travail, parrainé par la Régie régionale de Montréal-Centre, a inclus un projet d'évaluation des sites Web du domaine de la santé et des services sociaux. Cet article décrit les objectifs et la réalisation de ce projet : la conception, la validation, la diffusion et la distribution d'une grille de sélection des sites.

The Minister for Health and Social Services of Quebec plans the development of an integrated telecommunications network for the health and social services sector. In this context, a working group, led by the Regional Directorate of Montreal-Centre, has included a project for the evaluation of websites in the field of health and social services. This article describes the objectives and the realization of this project : the conception, the verification, the diffusion and the distribution of an analytical grid of sites.

Das Ministerium für Gesundheit und soziale Dienstleistungen von Quebec plant die Erstellung eines integrierten Telekommunikationsnetzwerks für den Sozial- und Gesundheitsbereich. Eine der Arbeitsgruppen, die von der Regionalverwaltung Montreal-Mitte gesponsert wird, hat dazu ein Bewertungsprojekt für Web sites auf dem Gebiet der Gesundheit und sozialen Dienstleistungen beigetragen. Der Artikel beschreibt die Ziele und die Durchführung dieses Projekts : Planung, Validierung, Verteilung und Verbreitung eines Bewertungsschemas für Web sites.

Un rapport du Comité consultatif sur les autoroutes de l’information, déposé auprès du gouvernement du Québec en juillet 1995 précise que la réforme de la santé et des services sociaux ne pourra réussir sans l’appui et la participation du personnel. Ce dernier devra en effet avoir recours à une utilisation généralisée des nouvelles technologies de l’information.

C’est à la suite de cette recommandation que le ministère de la Santé et des Services sociaux a planifié le déploiement – échelonné sur deux ans – d’un réseau intégré de télécommunications pour le secteur socio-sanitaire. Il faudra donc s’assurer que le personnel et les praticiens qui auront à intégrer l’inforoute à leur travail possèdent les capacités suffisantes pour le faire.

À court terme, c’est l’apprentissage de l’usage d’Internet et des moyens de communication, d’échange et de diffusion de l’information mis en place par le secteur socio-sanitaire qui constitue la base de cette appropriation. Un des moyens identifiés est d’inventorier et de faire connaître les ressources, actuellement offertes sur le réseau Internet, ressources susceptibles d’être mises à profit par le personnel et les praticiens.

C’est dans ce contexte qu’un groupe de travail (cf. encadré page suivante), parrainé par la Régie régionale de Montréal-Centre, décide d’inclure dans son plan d’action 1996-1997, un projet d’évaluation des sites Web dans le domaine de la santé et des services sociaux. Ce groupe 1 a pour mandat général d’élaborer une stratégie visant à développer un réseau d’échange de services documentaires pour tous les établissements de la région. Depuis quelques années, plusieurs projets visant la mise en commun des ressources ont été réalisés, dont le plus important est celui de la banque des publications du réseau de la santé et des services sociaux 2.

Le réseau de la santé et des services sociaux connaît, comme tous les autres milieux de travail, des changements technologiques rapides. L’usage de plus en plus fréquent des ressources d’Internet en est un exemple. Si, pour la recherche d’information, on entend en généraliser l’accès au réseau Internet, il apparaît souhaitable d’en favoriser une utilisation pertinente.

L’idée de créer un outil d’évaluation des sites Internet pouvant servir à l’ensemble des milieux est née dans un contexte de rareté des ressources – d’importantes compressions budgétaires – et de prolifération des accès au réseau dans les établissements de santé et de services sociaux. Ce projet s’est avéré pertinent et rentable pour les organisations concernées. La mise en commun des expertises des membres du groupe de travail a permis de réaliser, pour le bénéfice de l’ensemble du réseau de la santé, un outil valable et adapté aux besoins.

Les objectifs et la réalisation du projet

Pour répondre aux besoins des usagers, la masse considérable d’informations accessibles sur Internet, ressource importante pour les centres de documentation spécialisés, doit être sélectionnée.

Le projet de création d’un outil d’évaluation des sites Web a pour objectifs principaux la rationalisation des efforts des centres de documentation et des bibliothèques du réseau qui voudraient procurer à leurs usagers des références à des sites pertinents, et l’accroissement de l’efficacité du personnel dans l’utilisation d’Internet comme source d’information. Cet instrument permettrait aussi aux concepteurs de sites Web d’éviter certains écueils dans la préparation de leurs pages d’information.

Les activités de réalisation se sont échelonnées sur treize mois, entre mai 1996 et juin 1997. Il a fallu identifier les balises du projet et les ressources disponibles, consulter les outils existants, concevoir une grille d’analyse et y associer une pondération, choisir des sites à évaluer pour valider et ajuster l’outil, publier et diffuser cette grille.

L’idée première des membres du groupe de travail était de construire une grille destinée à l’évaluation des sites pertinents dans le domaine de la santé et des services sociaux. Pour identifier et évaluer des sites dans chaque domaine d’expertise – pédiatrie, gérontologie, jeunesse, administration, etc. –, des collaborateurs auraient été sollicités. Les évaluations, publiées sur Internet, auraient été mises à jour pour le bénéfice de l’ensemble des établissements.

Mais après une étude approfondie de l’ampleur réelle du projet, l’équipe a vite constaté que les ressources nécessaires seraient difficiles à trouver. En effet, le réseau de la santé étant en pleine vague de compressions budgétaires, l’argent neuf était rare.

Dans ce contexte, ce n’est qu’avec peu de ressources et sans compter sur un budget récurrent que le projet a dû être réalisé. La décision fut prise de restreindre la tâche et de produire uniquement une grille commune préparée par des spécialistes en documentation, grille qui devrait permettre aux milieux intéressés de faire des évaluations pertinentes pour le bénéfice de leurs usagers. Le travail de réalisation a pu commencer sans attendre de subventions spéciales ni préparer de demandes de financement.

Dans cette optique, les balises du projet sont les suivantes : élaborer des critères d’évaluation des sites Internet du domaine de la santé et des services sociaux, produire une grille d’évaluation en adaptant celles déjà utilisées, tester cet outil en procédant à l’évaluation réelle d’un certain nombre de sites, inclure certains éléments d’information permettant aux personnes désirant publier leurs évaluations de pouvoir le faire, rendre disponibles les outils aux intervenants du réseau ainsi qu’aux autres milieux intéressés.

Le projet tel que défini a été réalisé avec les ressources suivantes : les sept documentalistes du groupe de travail, deux stagiaires de l’École de bibliothéconomie et des sciences de l’information de l’université de Montréal (les stages de maîtrise sont de vingt-quatre jours au rythme de deux jours par semaine) et le support technique des Services documentaires de la Régie régionale de Montréal-Centre.

La conception de la grille

Le défi présent dans la conception d’une grille d’évaluation réside dans le choix des éléments pertinents, leur définition claire, la façon cohérente de les regrouper ainsi que le poids à accorder à chacun des regroupements. Il faut arriver à mesurer correctement ce que l’on veut évaluer, et laisser le moins de place possible à l’interprétation afin que l’outil puisse être utilisé par des personnes différentes dans des contextes différents.

C’est pourquoi la grille a été conçue pour une utilisation simple :

– un vocabulaire précis destiné à restreindre les multiples interprétations ;

– pour caractériser chaque site évalué, la grille d’analyse contient une partie générale d’identification et de présentation du site (cf. page ci-contre) ;

– les différents éléments qui font l’objet d’une évaluation sont regroupés en quatre sections : le contenu, la navigation, la présentation visuelle et l’accessibilité ;

– l’évaluation doit se faire en cochant des cases. Des points sont accordés en fonction des différents éléments de chacune des sections ;

– la pondération est faite de façon à privilégier la section « Contenu », étant donné la priorité accordée à la pertinence de l’information. En effet, l’objectif étant de produire un outil pour les centres de documentation spécialisés, les éléments de contenu devaient être prépondérants ;

– les icônes, qui aident les futurs utilisateurs dans la publication de leurs évaluations, illustrent le score obtenu par le site ayant été analysé.

La validation de l’instrument

Un autre défi est de s’assurer que la grille produite est valable et que son utilisation permet de donner une appréciation sur la qualité d’un site. Elle fut donc validée par les deux stagiaires qui ont effectué, en premier lieu, des tests sur une dizaine de sites afin d’ajuster l’outil. Les corrections faites, elles ont procédé à l’évaluation de cinquante sites sélectionnés parmi les sites francophones relatifs à différentes thématiques du domaine de la santé et des services sociaux.

Les répertoires utilisés pour identifier ces sites sont La toile du Québec et Carrefour.Net. Le temps requis pour chacune des évaluations se situe entre quarante-cinq minutes et une heure. L’objectif de cet exercice de validation vise à tester la fiabilité des résultats obtenus. Des écarts de notification auraient démontré une trop grande souplesse de la grille. Ce ne fut pas le cas, puisque la comparaison des scores obtenus pour les mêmes sites a permis de confirmer l’efficacité de l’outil.

Cependant, l’analyse des évaluations faites a mis en évidence l’importance d’augmenter la pondération pour ce qui a trait à la section « Contenu ». Les commentaires des stagiaires ont aussi confirmé le besoin d’ajouter à l’utilisation de la grille un guide d’accompagnement pertinent.

La diffusion et l’utilisation

Certaines constatations d’ordre plus général ont été faites après la validation de l’instrument :

– la grille est exportable à d’autres domaines que la santé et les services sociaux ;

– elle ne permet pas d’évaluer l’utilisation du multimédia, ce qui pourrait être considéré comme une faiblesse, si on veut évaluer des sites en santé où la plus-value est l’utilisation de ces nouvelles technologies ;

– l’utilisation du guide d’accompagnement est nécessaire pour assurer une meilleure qualité des évaluations. Ce document contient des précisions sur les divers éléments de la grille pour une compréhension commune de la terminologie utilisée.

La grille d’analyse des sites Web et son guide d’accompagnement ont été acheminés par courrier à 125 établissements et organismes du réseau de la santé et des services sociaux 3.

Pour l’instant, rien n’a permis de vérifier l’utilisation réelle de l’outil dans les établissements de la région. Cependant, quelques organisations nous ont transmis leurs commentaires positifs, d’autres l’ont utilisé ou prévoient de le faire dans le cadre de leurs projets. Voici quelques exemples :

– Santécom effectue une évaluation des sites avant de les intégrer dans sa « Bibliothèque virtuelle en santé publique ». On y signale la grille d’analyse comme un des outils à utiliser pour sa simplicité et son efficacité ;

– la revue L’Actualité médicale a publié en mars 1998 un article : « Comment évaluer un site médical », dans lequel les lecteurs sont invités à utiliser la grille publiée sur le site Web de la Régie régionale ;

– une équipe de chercheurs de l’université du Québec projette d’appliquer la grille à leur publication de bibliographie virtuelle dans le domaine des ressources humaines ;

– le centre hospitalier universitaire de Rouen a décidé d’annoncer dans son site Internet la parution de cet outil ;

– le conseil général du Val-de-Marne souhaite l’utiliser dans la mise en place d’une procédure d’évaluation des sites Web qu’il sélectionne.

D’autres applications peuvent être faites sans qu’elles nous soient signalées. En effet, les consultations de cette page d’information du site de la Régie sont fréquentes, mais nous ne pouvons en identifier la provenance précise. Même si cet outil a été conçu principalement pour soutenir les activités des centres de documentation et bibliothèques du réseau de la santé et des services sociaux, on peut facilement concevoir qu’il puisse être utilisé par d’autres milieux.

Janvier 1999