Diplômée d’une licence en science politique, d’un DUT en Info-com et d’un Master Enssib en Publication numérique, Claire Dandieu est actuellement chargée d’édition pour OpenEdition Journals après avoir été en charge du secrétariat d’édition pour le projet HIRMEOS de 2018 à 2019.
Ce rapport présente les résultats de l’expérimentation d’évaluation ouverte par les pairs post-publication qui s’est déroulée d’octobre 2018 à juin 2019. Elle a été menée dans le cadre du projet européen HIRMEOS coordonné par OpenEdition qui prévoyait, entre autres, l’implémentation d’un service d’annotations sur la plateforme OpenEdition Books.
Pour accompagner l’implémentation de cet outil sur la plateforme, une phase expérimentale a été mise en place. Le but de cette expérimentation était d’explorer, via l’annotation, de nouvelles pratiques d’évaluation ouverte par les pairs, post-publication, sur des monographies en sciences humaines et sociales diffusées en accès ouvert.
Après une rapide exposition du contexte d’expérimentation, nous revenons ici sur la dernière partie qui rend compte des conclusions et des résultats de ce rapport circonstancié, disponible dans son intégralité en version française et anglaise sur le blog OPERAS, the European Research Infrastructure for the development of open scholarly communication in the social sciences and humanities.
Sommaire
Remerciements Introduction– P.6 |
L’évaluation par les pairs L’évaluation ouverte par les pairs L’annotation HIRMEOS |
1- Présentation de l’expérimentation -P.12 | |
Expérimenter l’évaluation ouverte par les pairs post-publication – P.13
Acteurs de l’expérimentation – P.17
Coûts de l’expérimentation – P.20 |
—
—
|
2- Protocole d’expérimentation – P.22 | description et restitution des étapes de l’expérimentation |
Collaborer avec les éditeurs – P.22
Collaborer avec Hypothesis – P.28
Documenter – P.29 À faire – P.30
Communiquer, chercher des participants – P.31
— Suivi de l’expérimentation – P.37 |
—
Billets d’appel à participation
|
3- Résultats de l’expérimentation – P.37 | |
Réponses aux invitations – P.37
—
Retours des participants : auteurs et annotateurs – P.52
Sur la démarche d’une évaluation publique – P.59
Les lieux de communication scientifique – P.61
Le bilan de cette expérimentation : positif, négatif ? – P.63
|
–
Quelques résultats globaux
—
|
4- Principaux freins – P.69 | |
Le temps – P.69 La dimension publique – P.70 |
|
5- Recommandations – P.72 | |
Recommandations générales A destination des plateformes A destination d’Hypothesis A destination des éditeurs |
|
Bibliographie – P.75 |
Introduction
Ce rapport présente les résultats de l’expérimentation d’évaluation ouverte par les pairs post-publication qui s’est déroulée d’octobre 2018 à juin 2019. Elle a été menée dans le cadre du projet européen HIRMEOS qui prévoyait, entre autres, l’implémentation d’un service d’annotations sur la plateforme OpenEdition Books. Pour accompagner l’implémentation de cet outil sur la plateforme, une phase expérimentale a été mise en place. Le but de cette expérimentation était d’explorer, via l’annotation, de nouvelles pratiques d’évaluation ouverte par les pairs, post-publication, sur des monographies en sciences humaines et sociales diffusées en accès ouvert.
Les résultats de l’expérimentation sont présentés dans ce rapport suite à un travail d’accompagnement effectué par une secrétaire d’édition en charge du projet. Celle-ci, en assurant un suivi auprès des différents acteurs du projet, a pu mener une observation participante. L’analyse qui suit est en partie le résultat de cette expérience pragmatique, menée sur un panel de 13 ouvrages. Pour introduire ce rapport, nous allons tout d’abord réaliser un rapide état des lieux bibliographique pour faciliter la compréhension du cadre dans lequel s’insère ce projet. Nous présenterons ensuite le projet lui-même et décrirons les principales étapes. Enfin, nous présenterons les résultats obtenus et tenterons d’en tirer des conclusions et recommandations.
L’évaluation par les pairs
La littérature scientifique publiée ces dernières années nous a permis d’entrevoir les enjeux actuels autour de l’activité d’évaluation par les pairs et les raisons pour lesquelles des initiatives à l’intitulé “évaluation ouverte par les pairs” se développent. En effet, des travaux ont été consacrés à l’état des lieux du processus d’évaluation par les pairs, retraçant son historique et ses enjeux (Ross-Hellauer, 2017 ; Tenant et al., 2017). Nous présenterons donc ici les différentes caractéristiques qui nous ont semblé constitutives de cette pratique.
Dans un billet dédié à l’expérimentation d’évaluation ouverte par les pairs qui a été menée en 2016 par OpenEdition pour la revue VertigO, Julien Bordier, secrétaire d’édition, invoque la définition d’évaluation par les pairs issus du site l’Institut de l’Information Scientifique et Technique du CNRS :
“L’évaluation par les pairs désigne la validation d’un article par un comité de lecture composé de scientifiques, experts dans le même champ disciplinaire que le contenu de l’article. Ce processus est destiné à lui assurer une qualité scientifique.”
Cette définition fait alors référence à deux éléments : la fonction et les acteurs. Ainsi, la fonction de l’évaluation par les pairs est d’“assurer une qualité scientifique” à un article, c’est-à-dire de lui attribuer une qualité “scientifique” suffisante pour être publié. L’évaluation par les pairs est donc une étape nécessaire au processus de publication scientifique. Ensuite, les acteurs de ce processus, comme mentionné dans la définition ci-dessus et signifiés par le terme de “pairs”, sont des chercheurs experts du même champ disciplinaire et regroupés ou non en “comités de lecture”. Ainsi, le fait d’être expert du domaine est une condition nécessaire pour pouvoir être considéré comme “relecteur légitime”, ce qui implique une logique de sélection entre les relecteurs. Les relecteurs sélectionnés pour ce processus rendent généralement leurs rapports de relecture à l’éditeur qui informe par la suite l’auteur des conclusions qui en résultent.
L’évaluation par les pairs est donc un processus permettant de décider si oui ou non une soumission de publication scientifique est “valide”, si oui ou non elle est publiable et à quelles conditions de modification. Mais cette étape représente aussi l’occasion d’un échange entre plusieurs acteurs éditoriaux aux rôles et positions distincts: l’éditeur, qui prend en charge la gestion du processus et qui décide de la publication, l’auteur qui soumet le travail, et les relecteurs qui donnent leurs avis et suggèrent des pistes d’amélioration. Bien qu’il soit médié par l’éditeur, ce processus induit une conversation entre chercheurs, les uns faisant appel aux expertises des autres pour relire leurs textes, dans la lignée de la tradition de conversations épistolaires entre savants. Ainsi, l’enrichissement par les pairs apporte au processus de publication un caractère fondamentalement collaboratif.
L’évaluation par les pairs, bien qu’elle semble très installée dans le processus éditorial puisqu’il s’agit d’une étape quasi-systématique de la publication (la certification de l’évaluation par les pairs est une forme de garantie de qualité pour l’éditeur) est en fait une pratique qui a émergé récemment. C’est à partir du XIXème siècle que cette pratique commença à se formaliser, face à la nécessité de vérifier l’intégrité scientifique des publications (Tennant et al., 2017). Néanmoins, ce n’est qu’à partir du milieu du XXème siècle qu’elle va tendre à se systématiser pour devenir un processus incontournable. À ce moment-là, elle s’inscrit dans un mouvement de professionnalisation et de construction de la légitimité des éditeurs (Tennant et al., 2017).
L’évaluation ouverte par les pairs
Petit à petit, on voit apparaître une volonté d’ouvrir les processus d’évaluation par les pairs, de la rendre plus transparente. Si cette volonté existe dès les années 1960, notamment en anthropologie (Pontille, Torny, 2015), c’est notamment à l’ère numérique qu’un certain nombre de dysfonctionnements du système d’évaluation par les pairs sont révélés, l’une des raisons étant que les outils électroniques permettent de rendre davantage visibles les problèmes de fraude liés à l’opacité du système. Ajouté à cette raison, cette même opacité est accusée d’encourager les conflits d’intérêts.
Face à ces critiques multiples, des initiatives qui relèvent de ce que l’on appelle “évaluation ouverte par les pairs” émergent. Elles ont notamment commencé à être discutées à partir des année 1990, particulièrement dans le domaine des Science Technology Engineering and Mathematics (Bordier, 2015). Les expérimentations et les études se multiplient au sein des revues et institutions à partir des années 1990-2000.
Cette ouverture est donc proposée en réaction, par opposition, à un processus d’évaluation jugé défaillant. Tout comme pour l’évaluation par les pairs “classique”, l’évaluation ouverte par les pairs regroupe en fait une diversité de pratiques. En ce sens, il est difficile de le définir de manière univoque. Tony Ross-Hellauer a étudié ce concept et, en investiguant dans la littérature scientifique existante, a trouvé pas moins de cent-vingt définitions différentes de l’évaluation par les pairs ouvertes (Ross-Hellauer, 2017). Ross-Hellauer repère alors sept particularités, définies pour parler d’évaluation ouverte par les pairs : open identities, open reports, open participation, open interaction, open pre-review manuscripts, open final-version commenting, and open platforms. Les multiples projets émergents ces dernières années présentent, à différents degrés, tout ou partie des éléments précédents cités.
De manière générale, ces critiques arrivent à un moment où le système de publication est remis cause et questionné, car le web développe avec lui de nouvelles instances de publication, de nouvelles manières de publier, d’éditorialiser (Vitali-Rosati, 2014), et voit arriver de nouveaux acteurs. Ces nouveaux acteurs et ces nouvelles configurations engendrent des bouleversements dans les systèmes de validation scientifique.
Dans ce contexte, on voit notamment apparaître des logiques de décloisonnements et découplages des fonctions de publication. De nouveaux réagencements sont dès lors possibles, comme la création d’overlay journals (comme Episciences), ou bien l’intégration de fonctionnalités d’évaluation par les pairs au sein d’archives ouvertes (comme par exemple l’expérience de l’Open Peer Review Module (Perakakis et al., 2017)), ou la création de plateformes dédiées à l’évaluation par les pairs post-publication (PeerCommunity In, PubPeer, Publons, Peeriodicals, PREreview, Prelights, SciPost, etc.) et les éditeurs scientifiques se mettent également à tester l’évaluation ouverte par les pairs , publiant les rapport de relecteurs (à commencer par BioMed Central, dès 2001). Tout récemment (mars 2019), l’initiative ReimagineReview a vu le jour le jour dans le but de présenter les différentes initiatives scientifiques autour de l’évaluation par les pairs. Ce répertoire permet d’appréhender la diversité des configurations possibles autour de l’exploration de nouveaux processus d’évaluation par les pairs. C’est dans ce contexte que des outils d’annotations comme Hypothes.is s’insèrent.
L’annotation
L’annotation est une pratique scripturale dont les origines peuvent remonter aussi loin que l’on trouve des pratiques de lecture et d’écriture.
Tout comme le soulevait Christian Jacob en janvier 2019 pour introduire le workshop “Why does open annotation matters?” consacré aux annotations ouvertes , l’annotation peut tout d’abord être considérée comme comme un artefact sémiotique[1], puisqu’elle consiste en l’association d’une signification à un texte, une parole, ou autre objet de savoir. Ainsi, l’inscription du regard porté par un humain, l’inscription de sa réaction par rapport à la production d’un autre humain (différent selon le support auquel on se rapporte) regroupe un ensemble de réalités différentes, rassemblées derrière cette meta dimension, par rapport à une pensée qui les précède.
Il y a donc des expressions et définitions variées de ce que l’on entend par annotations, marginalias (Jahjah, 2014). Appliqué au support écrit, l’annotation peut alors être considérée comme une pratique d’appropriation personnelle du texte par le lecteur qui devient alors lecteur-scripteur. L’annotation peut dès lors servir des visées personnelles comme aide à la lecture, à la mémorisation et à la compréhension des textes. Par ailleurs, dans son récent billet “L’annotation comme conversation”, Marc Jahjah retrace une partie de l’histoire et des enjeux de l’annotation comme discussion et interroge cette utilisation possible, en remontant à l’époque médiévale et à la Renaissance pour expliquer le développement d’utilisations “personnelles” de l’annotation, conditions de l’introduction du dialogue entre annotateurs.
Notons par ailleurs que s’il s’agit avant tout d’une inscription spatiale de la trace du lecteur dans le texte il s’agit également d’une forme d’inscription dans le temps et l’un des intérêts peut aussi résider dans l’étude des variations de la pensée par la perception d’un texte au fil du temps.
En fonction des dispositifs, des finalités et des communautés impliquées, il serait passionnant d’établir une cartographie de l’annotation afin de l’appréhender dans sa complexité. Ce projet ambitieux dépasse le cadre de cette expérimentation, mais nous recommandons aux lecteurs de ce rapport qui souhaiteraient étendre leurs connaissances sur ce sujet de s’intéresser à la riche littérature scientifique sur le sujet, à commencer par les travaux de Marc Jahjah et Christian Jacob.
Plus récemment, avec les possibilités offertes par le web, les dimensions sociales de l’annotation trouvent des occasions de se développer et de nombreux projets d’annotation collaborative émergent, prenant par exemple pour objet des œuvres littéraires comme le projet Frankenbook (lecture collaborative du classique Frankenstein) de Mary Shelley ou le projet Pynchon wiki (création d’un wiki de lecture critique sur l’oeuvre de Pynchon).
Le milieu académique également se saisit de l’annotation, utilisant des dispositifs actuels dans le but de faire travailler ensemble un public (de chercheurs ou élargi) autour d’écrits savants. L’annotation peut alors être utilisée dans des projets d’enrichissement par l’indexation de corpus (comme le projet actuel Foucault Fiches de Lectures) mais aussi des projets de marginalias numériques, investies pour partager et discuter ses notes : Debate in the DH, The Marginal Syllabus et le projet Roger T. Pédauque pour en citer quelques-uns.
C’est ainsi que le l’annotation, par le partage de notes et la conversation autour de pensées personnelles devient un outil potentiel pour faire de l’évaluation par les pairs. S’intégrant dans les problématiques actuelles évoquées dans la partie précédente. Pour conclure cette partie et illustrer cette dynamique, voici quelques exemples de projets d’évaluation par les pairs à l’aide de l’outil d’annotation Hypothes.is :
- Bio-Med Central : lancent un nouveau programme d’évaluation par les pairs, In Review, à l’occasion duquel les soumissions des auteurs pourront être le lieu de récolte du feedback des communautés, via les annotations, et avant validation du processus d’évaluation par les pairs.
- Murmurations : La revue Murmurations utilise les annotations pour organiser un examen collégial ouvert, en utilisant différents groupes d’annotations en fonction du type d’annotation (groupe pour les éditeurs, pour les relecteurs, pour les auteurs).
- American Geophysical Union : Tout comme pour l’exemple précédent, l’outil est utilisé pour l’évaluation par les pairs en amont de la publication. Les annotations sont triées par type d’utilisateur (éditeur, relecteur, auteurs) et inclut des tags permettant d’établir une typologie d’importance des annotations (Minor, Major, etc). En fonction du type d’utilisateur il y existe des types de droits différents : les relecteurs ne voient que leurs propres annotations, les éditeurs les voient toutes, les auteurs voient seulement les annotations non confidentielles.
- Sens Public : la revue web Sens Public enfin utilise Hypothes.is comme outil de sa chaîne éditoriale, basée sur l’éditeur Stylo. Une partie du processus se fait au sein de d’espaces privés, permettant aux éditeurs, relecteurs et auteurs d’échanger directement. Il est également possible sur certaines publications d’utiliser les annotations publiques post-publication pour permettre au public d’échanger autour des textes
HIRMEOS
HIRMEOS (High Integration of Research Monographs in the European Open Science infrastructure) est un projet européen qui émane du projet d’infrastructure OPERAS. Son objectif est le déploiement, sur cinq plateformes européennes, de nouveaux services autour des monographies en sciences humaines et sociales diffusées en accès ouvert. Ont ainsi été intégrés aux plateformes respectives : des standards d’identification (ORCID, DOI, Funder Registry), un service de certification d’évaluation par les pairs (DOAB), des fonctionnalités d’indexation semi-automatique (NERD), un service de métriques alternatives et un service d’annotation. Chaque service représentait alors un work package du projet. Pour accompagner l’implémentation de cet outil sur la plateforme OpenEdition, une phase expérimentale a été lancée avec l’activation des annotations sur un panel de livres sélectionnés en accord avec les éditeurs. Un travail de secrétariat d’édition était alors prévu, avec l’objectif de faire participer les examinateurs et les auteurs potentiels à l’établissement d’une conversation scientifique, en bénéficiant d’un appui par un travail de secrétariat d’édition.
[1] https//www.hirmeos.eu/2018/11/05/hirmeos-workshops-on-annotation-and-metrics-for-oa-monograp%20hs-10-11jan-2019-paris/
Acteurs de l’expérimentation
Plusieurs acteurs ont pris part à cette expérimentation. Leur rôle et implication a été déterminant dans son déroulement. Dans cette partie, nous les présentons rapidement.
OpenEdition Books : une plateforme multi-éditeurs
OpenEdition Books est une plateforme de publication de monographies en Sciences Humaines et Sociales développée et maintenue par OpenEdition. OpenEdition offre aux éditeurs de livres avec qui il travaille un espace de publication personnalisé sur sa plateforme. Faire partie des nouveaux éditeurs de notre plateforme est soumis à candidature. Actuellement, plus de 7000 ouvrages sont en ligne, répartis au sein de plus de 90 éditeurs.
Les ouvrages publiés sur la plateforme correspondent aux versions « éditeur », c’est-à-dire qu’ils ont passé un processus de peer reviewing, ont été relus, corrigés et édités par leurs éditeurs respectifs. Ils sont disponibles sur OpenEdition Books dans les formats suivants : HTML, ePub, PDF.
Plusieurs modèles de diffusion coexistent sur la plateforme. Le modèle exclusif (aucun des formats n’est disponible en accès ouvert), le modèle accès ouvert freemium (seul le format HTML est disponible en accès ouvert) et le modèle accès ouvert total (tous les formats sont disponibles en accès ouverts). La majorité des livres d’OpenEdition Books disposent d’au moins un format en accès ouvert pour leur ouvrage, qu’ils soient en accès ouvert total ou partiel avec le modèle freemium. En ce qui concerne les formats non accessibles, des abonnements sont proposés aux bibliothèques qui offrent l’accès aux contenus à leurs utilisateurs et des publications sont vendues à l’unité aux particuliers qui le souhaitent.
En tant qu’infrastructure d’édition électronique, OpenEdition partage donc la responsabilité éditoriale des publications de sa plateforme avec les éditeurs membres de sa plateforme qui gèrent de manière autonome et indépendante leurs publications.
La relation qui lie OpenEdition à ses éditeurs est une relation de service et de confiance. L’une de ces manifestations est que la décision d’activer l’outil d’annotation Hypothes.is revient à ces éditeurs qui disposent de la liberté de décider d’offrir ou non ce service à leurs communautés d’auteurs et de lecteurs. Ainsi, l’activation de l’outil Hypothes.is dans le cadre d’HIRMEOS est proposée comme une option, un nouveau service à nos éditeurs, mais ne leur est pas imposée. Dans ce contexte, la proposition aux éditeurs d’activer Hypothes.is sur
OpenEdition Books s’accompagne d’une phase expérimentale (l’expérimentation HIRMEOS) aux multiples objectifs.
Hypothesis
Hypothesis est une organisation américaine à but non lucratif qui développe l’outil d’annotation Hypothes.is, choisi pour cette expérimentation. Il n’est habituellement pas nécessaire de s’associer à cette organisation pour intégrer Hypothes.is à une plateforme, car l’outil est open source. Son activation sur OpenEdition Books ne consistait qu’à intégrer une ligne de code JavaScript. Néanmoins, pour cette phase expérimentale, nous avons conclu un partenariat afin de bénéficier de fonctionnalités personnalisées : les publisher groups. Pendant quelques mois, Hypothesis a donc travaillé pour proposer à OpenEdition des groupes d’annotations spécifiques pour chaque éditeur, leur permettant de bénéficier de droits de modération et d’espaces d’annotations personnalisés à leur image (nom et logo apparents). Par ailleurs, des développements ont été faits pour qu’Hypothes.is s’adapte aux spécificités techniques de la plateforme OpenEdition Books. En tant que partenaire,
Hypothesis a également joué un rôle de communication, participant à la dissémination de cette expérimentation.
Les éditeurs
C’est en premier lieu aux éditeurs que l’expérimentation d’annotation a été proposée. En tant que plateforme, OpenEdition Books souhaite laisser aux éditeurs la liberté de choisir s’ils acceptaient d’activer ou non cette fonctionnalité ou non sur leurs contenus. De plus, participer à l’expérimentation nécessitait une implication de leur part. Nous souhaitions en effet les impliquer dans le processus de délimitation du projet expérimental, en leur ouvrant un droit de regard sur différents points :
- Possibilité de personnaliser/valider les chartes de bonne conduite ;
- Réflexions sur le type d’ouvrages à expérimenter ;
- Possibilité de modérer les annotations ;
- Communication auprès de leurs communautés sur l’expérimentation ;
- Suggestion de contributeurs pertinents.
Outre le fait que l’activation des annotations nécessitait obligatoirement leur accord, nous avons donc souhaité leur permettre de s’investir dans cette expérimentation, considérant les
annotations comme un service à valeur ajoutée dont ils pourraient par la suite se saisir de manière autonome pour leurs publications.
Voici les éditeurs ayant accepté de participer :
- ENS Editions : une maison d’édition académique qui publie 13 collections de livres et 12 revues issues de l’activité scientifique des centres de recherche de l’Ecole Nationale Supérieure. Elle publie 178 livres sur OpenEdition Books, répartis en 14 collections.
- Casa de Velázquez : elle fait partie des Écoles Françaises à l’Étranger. Elle est implantée en Espagne, à Madrid et dédiée aux activités créatrices et de recherche en sciences humaines et sociales et centrée sur la péninsule Ibérique, le Maghreb et l’espace atlantique. Elle publie 79 livres sur OpenEdition Books répartis en 2 collections.
- Presses de l’Enssib : une maison d’édition issue de l’activité de recherche de l’Enssib, Ecole Nationale Supérieure des Sciences de l’Information et des Bibliothèques. Elle publie 66 livres sur OpenEdition Books répartis en 4 collections.
- OpenEdition Press : l’éditeur de monographies d’OpenEdition, spécialisés dans les thématiques suivantes : Numérique et sociétés, Sciences humaines et sociales à l’heure de la mondialisation, Sciences et sociétés, Digital Humanities, Méthodes des Sciences humaines et sociales Il publie 23 livres répartis dans 5 collections.
Les auteurs
Tout comme pour les éditeurs, nous avons souhaité nous assurer que les auteurs étaient d’accord pour ouvrir leur ouvrage à expérimentation. Par ailleurs, nous considérons l’annotation comme l’occasion pour les auteurs de communiquer et recevoir les retours de leur lectorat. En ce sens, il nous a paru primordial de leur proposer de s’investir en répondant aux annotations de leurs, pairs, en apportant eux-mêmes des précisions et mises à jour de leurs recherches. Il leur était également proposé de suggérer des relecteurs et créer une annotation introductive sur leurs ouvrages. Enfin, ils pouvaient, s’ils le souhaitaient, participer à la communication du projet en relayant l’information dans leurs réseaux.
Les contributeurs
Qu’ils soient directement invités à participer ou qu’ils le fassent spontanément, ils apportent des critiques constructives aux documents, peuvent réagir aux annotations déjà présentes, enrichissent les documents avec des informations supplémentaires pertinentes.
La secrétaire d’édition
Dans le cadre du projet HIRMEOS, une secrétaire d’édition était chargée à temps plein, d’octobre 2018 à juin 2019, d’accompagner le bon déroulement de l’expérimentation. Plus particulièrement, son rôle était de trouver des participants, les accompagner et faire le relais entre les différents acteurs, communiquer sur l’expérimentation et rédiger le présent rapport présentant les résultats.
Résultats de l’expérimentation
Réponses aux invitations
Nous allons maintenant présenter quelques observations issues de l’étude des réponses aux invitations envoyées par mail. Mais avant cela, il convient de rappeler que la démarche d’invitation n’était pas celle d’une enquête où nous interrogions les participants sur leur avis de l’annotation ouverte. Nous leur demandions parfois de justifier leurs réponses, mais ce n’était pas systématique L’analyse développée ici est donc basée uniquement sur des réponses gratuites à la question : “Souhaitez-vous participer ?”. La partie qui suit restitue leurs éléments de réponse.
Sur les 385 personnes contactées, et suite aux divers relances, nous avons obtenu un taux de réponse de 52%. En comparaison, les personnes qui avaient été suggérées par les auteurs ont été 75% à répondre. Il semble qu’être recommandé et invité en partie par l’auteur augmente donc les chances de réponse.
Fig.4: Réponses à la question : Voulez-vous participer ? de toutes les personnes interrogées
Fig.5: Réponses à la question : Voulez-vous participer ? de personnes suggérées par les auteurs
Ensuite, sur les 193 répondants, nous avons obtenues trois catégories de réponses : 55 (28,5%) ont répondu positivement, 105 (54,4%%) négativement et 33 (17%) ne se sont pas prononcées. Si l’on observe les résultats du côté des personnes suggérées par les auteurs, le taux d’acceptation est plus important, puisqu’il passe à 40%.
Parmi les 55 personnes qui nous ont répondu qu’elles acceptaient de participer :
- 21 (38%) ont effectivement participé ;
- 6 (9%) ont évoqué des problèmes rencontrés liés à la prise en main de l’outil. La moitié d’entre eux n’ont finalement pas participé ;
- 9 (16%) nous ont dit qu’ils avaient déjà entendu parler de l’expérimentation ;
- et le fait d’avoir “déjà lu” (2) ou de “devoir lire” (2) les ouvrages proposés fut évoqués par certains comme élément leur choix de participer.
Parmi les 105 personnes qui ont refusé de participer :
- 17 répondants (15%) ont refusé de participer car ils ne se sentaient pas compétents sur le sujet. Par ailleurs, plusieurs nous ont indiqué ne pas se sentir suffisamment légitimes pour critiquer des pairs (plus expérimentés), qu’ils n’étaient pas à l’aise avec la dimension publique de l’expérience et plus particulièrement par rapport au concept d’évaluation.
- 4 personnes ont répondu ne pas être intéressées, sans donner d’éléments supplémentaires.
- Ensuite, bien qu’il s’agisse plutôt de cas isolés, une diversité de freins à la participation ont été évoqués pour justifier leur manque d’intérêt. Certains en profitaient également pour nous faire des suggestions. Voici donc quelques éléments abordés : l’absence d’annotations est peu motivant, apprendre un nouvel outil (numérique en plus) est contraignant, il serait préférable de sélectionner des livres plus récents, ou plus polémiques.
- La raison qui est le plus ressortie, en grande majorité, était celle du manque de temps (73 personnes). Le graphique qui suit présente les différentes raisons invoquées par les personnes invitées :
Fig.6: Raisons de la non-participation utilisées par les répondants
- Malgré que la majorité des répondants ait refusé de participer, ils ont tout de même été nombreux à exprimer leur intérêt pour l’expérimentation. Plusieurs nous ont dit qu’ils auraient tout de même été intéressés pour annoter, mais dans d’autres conditions : sur d’autres ouvrages (3 personnes) ou dans une autre visée, à usage pédagogique ou privé (2 personnes).
- Enfin, plusieurs personnes se sont montrées intéressées pour : avoir accès au rapport d’expérimentation, communiquer sur l’initiative auprès de leurs collègues, lire les annotations faites sur les ouvrages proposés.
Le manque de temps
En moyenne, 62% des personnes nous ayant répondu (120 personnes) ont justifié leur non participation (toutes catégories confondues) par le fait qu’elles n’avaient “pas le temps” de participer ou qu’elles étaient “très occupées” par d’autres activités. Ainsi, c’était l’argument le plus utilisé par les personnes ayant répondu “Non” ou “NSP”. Même les personnes ayant
répondu “Oui” ont été nombreuses à évoquer des contraintes de temps (40% d’entre elles). Tout comme cela avait été soulevé dans le rapport de Julien Bordier sur l’expérimentation réalisée avec la revue VertigO (Bordier; 2016), la réponse type des invités était la suivante : “Merci de m’inviter – c’est intéressant – mais je n’a pas le temps”.
Un projet intéressant
Ainsi, environ 40% des interlocuteurs (79 personnes) ont manifesté explicitement leur intérêt pour cette expérimentation. Ceux ayant répondu “Oui” ne sont que 29% à avoir explicitement formulé cet intérêt, mais leur décision de participer parle d’elle-même. Les deux autres groupes de répondants (“Non” et “NSP”) ont quand même tous deux 45% et 43% d’intéressés par la démarche.
L’intérêt pour les ouvrages sélectionnés
Environ 10% du total des interlocuteurs ont manifesté leur intérêt pour les livres qui leurs étaient proposés. Soit en disant qu’ils avaient déjà lu les livres, soit qu’ils avaient déjà prévu de les lire, ou tout simplement qu’ils étaient intéressés par le sujet. Au travers ces réponses, certains de nos interlocuteurs reliaient cette suggestion d’expérimentation à leur travail de lecture ordinaire, dans le cadre de leur activité professionnelle de chercheurs.
Références à l’auteur
Dans leurs réponses, une partie des répondants (5%) a fait référence aux auteurs des ouvrages pour lesquels ils étaient invités à annoter. Premièrement une partie des répondants (suggérés par les auteurs) ont tenu à ce que nous les remercions pour l’invitation (5 personnes), ou à les excuser pour leur refus de participer.
Dans d’autres cas, certains nous ont dit qu’ils avaient pris l’initiative d’échanger directement avec les auteurs au préalable (2 personnes) et d’autres nous ont demandé de leur confirmer si nous avions obtenu l’accord de l’auteur. Cela montre que les personnes invitées se préoccupent de la place que prend l’auteur dans cette expérimentation et qu’établir un contact direct avec eux peut sembler important. La qualité des échanges inter-personnels est importante dans les milieux de la recherche et la pratique d’annotation semble s’insérer dans ces dynamiques.
Enfin, 4 personnes nous ont informé de la proximité personnelle qu’ils avaient avec l’auteur. Les répondants ont alors formulé leur crainte de ne pas être suffisamment “objectifs” pour pouvoir critiquer leur collègues.
Questions posées
Enfin, les répondants ont été nombreux (une vingtaine) à nous adresser des demandes de précisions :
- Sur l’engagement que cela impliquait : s’il fallait s’inscrire et s’il y avait des implications de retour d’expérience (question posée 8 fois). Cet élément était souvent lié à la contrainte de temps des participants.
- Toujours dans cette logique de contrainte de temps, la question “Quelles sont les échéances pour participer ?” a été posée 11 fois. Une personne a également demandé qu’on lui confirme qu’elle pouvait annoter seulement un chapitre (n’ayant pas le temps d’annoter le livre entier).
- Plusieurs personnes (4) ont également demandé qu’on reformule ce qui leur était proposé et quelques questions ont été posées sur : l’intérêt de la démarche, le contexte du projet et la destination des annotation. Ces remarques ont également été abordées lors d’échanges téléphoniques ou visio-conférences qui ont été organisées avec 13 personnes parmi celles contactées, bien qu’ils ne soient pas comptabilisés dans les statistiques présentées ici qui se basent uniquement sur les réponses mails.
Annotations
Méthodologie d’analyse
Afin de mesurer les résultats de cette expérimentation, nous nous sommes évidemment intéressés aux annotations produites durant ces quelques mois. Afin d’en tirer des conclusions, ces annotations ont toutes été consultées, à l’occasion du suivi de l’expérimentation mais également lors de la phase de traitement des résultats. Voici la méthodologie adoptée.
Tout d’abord, les annotations réalisées par les participants ont été extraites et ajoutées à un jeu de données réalisé manuellement. Un tableur a été rempli régulièrement, dans le cadre du suivi des participations. Pour l’alimenter, nous faisions des recherches par publisher groups sur le site d’Hypothesis. Cette première technique n’était pas optimale car Hypothesis ne liste sur son site que les annotations de premier niveau, mais ne répertorie pas les réponses aux annotations. Nous avons donc dû vérifier, chapitre par chapitre, s’il y avait eu des réponses aux annotations. Nous nous sommes aidés du site Crowdlaaers [2] pour cela. Les analyses qui suivent font l’état des lieux des résultats au 19 juin 2019.
Tab.4: Ensemble de données de l’analyse des annotations
Date : | Date de publication de l’annotation. |
Doc_ID : | Identifiant du chapitre annoté : nous avons récupéré le bout d’URL contenant l’identifiant de l’éditeur et du chapitre. |
Book_Title : | Titre du livre auquel appartient l’annotation. |
Annotator_Type : | Si l’auteur de l’annotation était : un annotateur, un auteur, un modérateur. |
Annotator_ID : | Identifiant Hypothesis de l’auteur de l’annotation. Annotation : Corps du texte de l’annotation. |
Elements : | Mention des éléments utilisés par l’annotateur pour publier sont annotation : texte, image, hyperliens, tags, mise en forme, lien vers une autre annotation. |
URL : | URL de l’annotation. |
Anchor : | Type d’ancre de l’annotation : mot, référence, note de bas de page, extrait de phrase, paragraphe, Passage (plusieurs phrases), aucun (dans le cas d’une note de page), annotation (dans le cas d’une réponse à une annotation). |
Level : | Niveau d’annotation : le niveau 0 correspond à une annotation dont l’ancre est le texte, le niveau 1 à une réponse à un annotation, le niveau 2 à une réponse d’une réponse à une annotation, etc. |
Annotation_Type : | Codage manuel en fonction de différentes catégories et types d’annotations. Les types d’annotations étaient non exclusifs. |
Ce jeu de données nous a ainsi permis d’obtenir des données quantitatives pour mesurer ces résultats. Comme indiqué dans le tableau ci-dessus, nous avons réalisé un codage des annotations en les classant dans différentes catégories et types d’annotations (non exclusifs). Grâce à cela, nous avons pu apporter une dimension un peu plus qualitative à notre analyse, en tentant d’observer les comportements de nos participants. Cela nous a permis de dégager quelques tendances.
Avant de présenter ces résultats, il convient de noter les limites de notre démarche. N’étant pas spécialistes des différents champs disciplinaires représentés dans le panel d’ouvrages, nous étions parfois limités dans notre compréhension du corps de texte des annotations et devions rester prudents quant aux interprétations. L’analyse aurait été plus fine si elle avait été réalisée avec l’assistance de scientifiques issus des disciplines représentées (par exemple, nous aurions pu affiner davantage le type d’annotations “ajout d’élément : idée”).
Résultats de l’analyse
Quelques résultats globaux
Sur la période d’expérimentation, du 7 février 2019 jusqu’au 19 juin, nous avons comptabilisé un total de 259 annotations, principalement répartis sur la moitié des titres.
Fig.7: Annotations by book
Fig.8 : Qui annote ?
Nous avons identifié trois types d’annotateurs. Les auteurs des ouvrages, les lecteurs des ouvrages et le modérateur d’expérimentation (nous-mêmes, mais cela ne concerne qu’une annotation). Ces annotations ont en grande majorité (81,5%) été réalisées par des annotateurs lecteurs.
Fig.9: Nombre d’annotations publiées par jour pendant l’expérience
Fig.10: Évolution du nombre total d’annotations dans le temps
Les participations à cette expérimentation se sont faites par paliers. Le premier gros palier de participation a été observé environ un mois après le lancement. En effet, les plupart des participants ne sont pas venus participer immédiatement lorsque nous les contactions et plusieurs relances et échanges par mails (et parfois par téléphone) ont été faits avec la majorité d’entre eux avant qu’ils ne commencent à annoter. Cette tendance témoigne en partie de la nécessité de mobiliser et accompagner les participants. En revanche, la plupart des annotations étaient en général faites par les participants sur une période restreinte, en général sur quelques jours seulement.
Fig.11: Nombre d’annotations par catégorie
Après la présentation générale de quelques données quantitatives, nous allons développer les observations issues du codage d’annotations. La vue générale par catégories d’annotations, qu’offre le graphique ci-dessus, nous permet déjà de remarquer quelques tendances. Il ressort en premier lieu que les annotations ont permis d’enrichir les publications. En effet, les contributeurs ont utilisé Hypothes.is pour ajouter de nouveaux éléments aux textes publiés. Ensuite, si l’on regarde les annotations qui expriment un contenu critique, nous remarquons que les annotateurs ont davantage publié leur accord que leur désaccord à propos des idées énoncées. Les “suggestions” quant à elles, sans pour autant exprimer une critique directe, témoignent tout de même de l’expression d’un avis, d’une forme de jugement porté par le lecteur sur le texte. Enfin, deux catégories d’annotations, les catégories “questions” et “réponses” sont intéressantes à observer car elles nous informent sur la part d’interaction investie par les participants. Bien que ces catégories soient non exclusives et qu’elles mériteraient une analyse plus fine, nous pouvons tenter de les regrouper de la manière suivante :
Fig.12:Répartition des annotations par catégories
Analyse par catégories
- Enrichissements (92)
Pour cette catégorie, nous avons rassemblées les annotations dans lesquelles les annotateurs faisaient des ajouts concernant les idées du text. Nous avons ici étudié le type d’apport présent dans l’annotation. La plupart du temps, il s’agissait de l’ajout d’une nouvelle idée ou réflexion en lien avec celles du texte dans le but de le prolonger (57), mais cela pouvait également être l’ajout d’exemples (23) qui venaient illustrer les propos de l’auteur, de références (38), ou d’autres précisions dont le but était d’aider à la compréhension du texte (3). Nous avons également créé un type “mise à jour” (7) pour regrouper les annotations qui actualisent les propos énoncés dans la publication.
Enfin, dans une visée éditoriale, le type “correction” (5) regroupe les signalements avec proposition de modification qui ne sont pas relatives aux idées du texte mais plutôt à sa forme. Ainsi, les annotateurs se sont permis de corriger les éventuelles erreurs dans le texte.
Puisque nos catégories étaient non-exclusives, ces annotations pouvaient également être des critiques (positives ou négatives). Néanmoins la plupart du temps les annotations “enrichissements” étaient “neutres” et se suffisaient à elles-mêmes. En ce sens, le but recherché par l’auteur n’était pas forcément de justifier une prise de position vis-à-vis du texte (pour exprimer son accord ou désaccord), mais tout simplement de l’enrichir. Cette catégorie d’annotations nous montre donc le potentiel d’enrichissement des textes et de nouvelles discussions qu’offre la pratique d’annotation.
- Critiques positives (48)
Les critiques positives, dans leur écrasante majorité, avaient pour fonction d’exprimer l’accord avec les idées ou les démarches de recherche développées dans les textes. Par ces annotations, les participants venaient “valider” le contenu des livres. Elles étaient également investies pour exprimer l’intérêt porté au livre annoté et parfois-même pour complimenter l’auteur sur certains passages agréables à lire. Ces critiques positives étaient parfois argumentées et développées, les annotateurs profitaient de cette occasion pour poser des questions, ajouter des références ou d’autres idées, prolongeant ainsi celles présentes dans les publications.
- Critiques négatives (31)
De leur côté, les critiques négatives concernent l’expression d’un désaccord de l’annotateur à propos du texte. La plupart du temps, il s’agit de désaccord concernant des formulations et termes utilisés par l’auteur (11). Ces critiques servent alors à discuter de la manière de présenter les idées mais aussi de leur sens.
Parfois la critique des idées était agrémentée d’exemples ou par le développement d’une idée qui contredisait ou nuançait le texte. Dans ce cas, il s’agissait de critiques négatives que nous avons dénommées sous le type “contre-argument” (11), qui se positionnaient comme allant à l’encontre de ce qui était énoncé dans la publication.
Ensuite, quelques annotations interrogeaient en partie la démarche de recherche de l’auteur et sa méthodologie (5). Ces annotations provenaient toutes d’un même participant qui a adopté cette posture comme stratégie d’annotation. Plusieurs autres annotations signalaient un “manque dans la publication” (3) : il s’agissait d’annotations plus générales qui dénonçaient le fait qu’il manquait une référence importante ou des éléments de réflexion dans les ouvrages. Enfin, une seule critique négative non argumentée a été observée.
- Questions (41)
Nous avons ensuite pu observer une autre catégorie d’annotations, les questions. Celles-ci étaient explicitement posées. Pour la plupart, elles s’adressaient en premier lieu aux auteurs, qui étaient les mieux placés pour répondre des choix d’utilisation de termes ou d’agencements d’idées de leurs publications. Cependant, d’autres questions plus générales se prêtaient tout à fait à l’interaction entre annotateurs. Pour résumer, voici les différents types de questions recueillies :
- Question simple (29) : il s’agit de la majorité des question posées. Dans ce cas, l’annotateur remet en cause ou interroge les idées qui sont développées dans le texte en ouvrant d’autres pistes de réflexions ou exprimant de nouvelles idées.
- Question, demande de précisions (10) : l’annotateur demande de préciser le sens de ce qui a été énoncé dans le texte ou demande des compléments d’informations (exemples, références, etc.).
- Question, termes (3) : l’annotateur demande à l’auteur de justifier l’utilisation de certains termes ou formulations.
- Answers (62)
La catégorie “réponse” nous permet de mesurer la part d’annotations dédiées à la discussion. Cette catégorie représente près du quart des annotations totales (62 annotations, soit 24%).
Sur ces 62 réponses, une seule a été faite par nous, avec le compte utilisateur OE_Admin pour répondre à une annotation générale faite à propos de l’expérimentation. Sinon, la majorité des réponses ont été faites par les auteurs des livres (38). Pour le reste, il s’agit de réponses rédigées par des annotateurs (23).
Les annotations sont réparties en 3 niveaux de réponse :
- Niveau 1, réponse à une annotation (46) :
○ Réponses d’auteurs : En grande majorité, se sont les auteurs qui ont répondu aux annotations des participants. Cependant, il y a tout de même 11 annotations qui proviennent des annotateurs eux-mêmes.
○ Réponses d’annotateurs : ces annotations ont été faites pour répondre à une annotation introductive en montrant son intérêt pour la démarche expérimentale ou en rebondissant sur des éléments de réflexion présentés par l’auteur (2), pour compléter sa propre annotation (3), ou pour répondre à d’autres annotateurs (6).
- Niveau 2, réponse à une réponse d’annotation (13) : dans 12 cas sur 13, il s’agit d’annotateurs qui répondent aux réponses que leur ont faites les auteurs.
- Niveau 3, réponse à une réponse d’une réponse d’annotation (3) : seulement trois cas ont atteint ce niveau de profondeur de discussion et il s’agissait du cas particulier d’auteurs qui répondaient quasi-systématiquement, à toutes les annotations. Nous pouvons donc déjà observer que l’interaction entre annotateurs est limitée car elle ne concerne en tout que 8 annotations, c’est-à-dire seulement 12% des réponses.
- Suggestions (15)
Les annotations de la catégorie “suggestions” sont principalement adressées aux auteurs. La démarche était ici de formuler une sorte de critique un peu moins directe et présentée comme une proposition de l’annotateur, avec l’objectif d’améliorer la publication. Ces annotations ont été triées en deux types : un premier type concentré sur les idées du texte, un second sur leur présentation et agencement.
- Suggestion de précisions (11) : La majorité de ces suggestions appartiennent à ce type. Par ces remarques, les annotateurs pointent des besoins en termes de développements, explications, définitions, illustrations ou développement de pistes de réflexion.
- Suggestion éditoriale (4) : l’annotateur propose d’ajouter ou déplacer des éléments dans la publication (notes de base de page, glossaire, paragraphe)
- Autres (12)
- Invitation à annoter (5) : introduction de l’expérimentation par l’auteur.
- Remarque générale sur l’expérimentation et le dispositif (3).
- Présentation de sa démarche d’annotation (1) : Annotation introductive rédigée par un annotateur pour expliquer sa démarche.
- Critique générale de chapitre (1).
- Auto-réponse (1) : complément d’annotation à l’aide de la fonctionnalité de réponse.
- Correction d’une annotation précédente (1) : l’annotateur corrige son annotation précédente par la publication d’une nouvelle annotation.
Retours des participants : auteurs et annotateurs
Nous avons souhaité interroger les personnes ayant participé à l’expérimentation afin de connaître leur retour d’expérience. Ainsi, nous avons réalisé des entretiens avec cinq annotateurs et trois auteurs. Ajouté à ces entretiens, nous avons également obtenu des retours par écrit ou lors d’appels téléphoniques, auprès de six participants annotateurs. Ces retours d’expériences sont une précieuse source d’information et de résultats pour cette expérimentation, car ils nous permettent d’entrevoir les difficultés et freins à la participation, mais aussi les possibles intérêts de développer la pratique d’annotation au sein des communautés. De ces résultats, nous tenterons de détacher des conclusions et pistes de réflexion utiles pour de prochaines expérimentations.
Qui sont les participants ?
Tout d’abord, nous avons pu observer des participations provenant de vingt-cinq personnes différentes, hors auteurs. Quasiment toutes ont utilisé leur vrai nom ou étaient facilement identifiables. Seulement une est restée anonyme (nous n’avons pas réussi à l’identifier au travers de son pseudonyme). Pour les autres, nous avons pu obtenir les informations suivantes :
Fig.13: Qui sont les annotateurs participants ?
La moitié d’entre eux sont enseignants-chercheurs, 33,3% sont professionnels et 16,6% sont jeunes chercheurs. La majorité d’entre eux appartient au domaine des sciences de l’information et de la communication. Cela s’explique en partie par le fait que ces disciplines étaient surreprésentées parmi nos ouvrages sélectionnés. Mais nous pensons également que c’est dû au fait que les membres de ces discipline sont particulièrement susceptibles d’être intéressés car leurs objets de recherche entrent en cohérence avec l’objet de cette expérimentation. Les annotateurs étaient tous francophones, exerçant pour la majorité en France, mais aussi en Suisse et au Canada. Nous pouvons enfin observer que, contrairement aux résultats de l’expérience sur VertigO, cette expérience a réussi à susciter l’intérêt de professionnels, de personnes se situant hors du champ académique.
Fig.14: Qui sont les auteurs participants ?
De leur côté, les auteurs étaient en majorité tous chercheurs ou enseignants-chercheurs, mis à part un post-doctorant, deux autres experts et un ingénieur de recherche. Il y avait également de nombreux experts parmi les auteurs de chapitres pour les ouvrages collectifs.
Fig.15: Gender distribution of annotators dans authors
La majorité des participants, annotateurs ou auteurs, étaient des hommes.
Ces données sont évidemment à mettre en regard avec notre protocole expérimental. Ainsi, comme nous l’avons évoqué dans la partie 2, ne disposant pas d’une base de données préalable de chercheurs à contacter, nous avons principalement fait des recherches Internet pour trouver de potentiels annotateurs, et sollicité les suggestions des auteurs et des scientifiques contactés par mail. Pour que ces résultats ne comportent pas de biais, il aurait fallu adopter une démarche inclusive dès la phase préparatoire.
Motivations à participer
Parmi les annotateurs et auteurs interviewés, tous étaient attirés par la démarche proposée. Pour justifier cet intérêt, plusieurs raisons ont été invoquées :
- Certains annotateurs et auteurs connaissaient déjà l’outil Hypothes.is et lui portaient de l’intérêt. Cependant, ils envisageaient l’outil différemment, pour d’autres finalités. La perspective d’une évaluation post-publication autour d’un ouvrage en ligne était donc pour eux l’occasion d’explorer de nouveaux usages.
- Des participants étaient déjà sensibilisés à la question de l’évaluation des ouvrages post-publication. Certains annotateurs avaient par ailleurs déjà participé à des projet aux démarches comparables, comme par exemple des projets de livres liquides. De leur côté, les trois auteurs interrogés percevaient chacun de potentiels intérêts d’une conversation post-publication et notamment : d’avoir un retour de leur lectorat, d’enrichir leurs publications avec de nouveaux exemples et de faire des mises à jour.
- D’autres s’intéressaient plus généralement aux questions de participation et étaient curieux de tester le dispositif d’annotation dans cette visée.
- Enfin, certains portaient des projets aux logiques similaires et avaient l’objectif de tirer de cette expérimentation des conclusions constructives pour leurs propres projets, comme par exemple l’utilisation du dispositif d’annotation dans un cadre pédagogique. Avant-même de commencer l’expérimentation, plusieurs participants étaient donc en partie déjà convaincus de l’intérêt d’une annotation en ligne et collaborative.
A côté de cet intérêt pour la démarche d’annotation publique de livres, la lecture des ouvrages proposés aux potentiels annotateurs s’intégrait pour plusieurs d’entre eux dans leur travail ordinaire de recherche. Par exemple, le livre proposé était présent dans la bibliographie de l’un d’entre eux (qui devait mener un travail sur la thématique abordée) et un autre avait été sollicité pour rédiger un compte-rendu du-dit ouvrage.
Par ailleurs, le fait de connaître l’auteur à titre personnel était parfois une motivation. Par exemple, une personne allait devenir collègue avec l’auteur du livre qu’on lui proposait d’annoter. L’expérimentation était alors l’occasion pour lui de découvrir davantage le travail de recherche de son futur collègue. Une autre a accepté car l’auteur du livre proposé, qui avait suggéré de l’inviter comme annotateur, était un ami. C’est ainsi que nous pouvons remarquer que l’expérimentation s’insérait parfois dans les réseaux de sociabilité établis ou en construction.
Ajouté à cela, pour deux des auteurs avec qui nous nous sommes entretenus, la démarche de l’expérimentation proposée est en rapport avec leurs travaux de recherche. Ainsi, de par leurs thématiques de recherche, ils étaient déjà en partie disposés à participer.
Enfin, le fait que cette expérimentation se déroule dans un environnement familier (OpenEdition) en lequel ils avaient confiance, a donné du crédit à cette expérimentation et les a également convaincu pour certains d’y participer.
Habitudes de lecture et écriture numériques
En majorité, ce sont des personnes qui ne sont pas très actives dans les réseaux sociaux en ligne et n’ont pas forcément un profil de contributrices. Certaines ont d’ailleurs mentionné qu’ils ne se sentaient pas appartenir à une “culture numérique”. De plus, plusieurs ont un regard critique et une certaine méfiance pour les réseaux sociaux.
A l’inverse, nous avions tout de même quelques personnes, notamment parmi les auteurs, particulièrement actives sur les réseaux sociaux, notamment sur Twitter et sur les blogs.
En tous cas, pour l’ensemble d’entre elles, le format numérique semble s’être imposé pour la lecture quotidienne de publications scientifiques. Le numérique est ainsi un élément constitutif de leur univers de travail. Si certains manifestent encore leur “amour pour le papier”, voire le regrettent (certains dénoncent le fait qu’avec le numérique on “gagne en rapidité mais on perd de l’humain”), il reste indéniable que le support papier n’est désormais mobilisé chez nos participants que pour une minorité des lectures, notamment pour des textes particulièrement longs.
Enfin, échanger à propos de leurs pratiques de lecture et écriture numérique nous a permis de remarquer que certains d’entre eux utilisaient déjà des fonctionnalités d’annotation numérique au quotidien. Plusieurs outils ont ainsi été mentionnés : les fonctionnalités de notes dans Zotero, Dopbox et SwitchDrive, la suite GoogleDrive, les commentaires dans Word ou l’annotation de PDF.
Appréciation du dispositif technique
Globalement, le dispositif a été facilement pris en main par les utilisateurs qui l’ont trouvé “ergonomique” et “intuitif”. Cependant, trois difficultés principales ont été identifiées et méritent d’être notées car elles constituent de potentiels freins à la prise en main de l’outil et donc à la participation générale à cette expérimentation.
Tout d’abord, l’authentification n’a pas toujours été facile à saisir. Car les lieux d’inscription et d’authentification dans l’outil sont différents pour les utilisateurs : pour s’inscrire, ils devaient se rendre sur le site d’Hypothes.is et pour s’authentifier ils devaient se rendre sur le chapitre d’un ouvrage, ouvrir Hypothes.is et s’identifier. Ce passage d’une plateforme à l’autre était parfois compliqué à saisir pour les utilisateurs.
Ensuite, les utilisateurs devaient s’assurer qu’ils annotaient au bon endroit, dans le bon publisher group. L’ouverture du bon groupe éditeur n’étant pas automatisée certaines personnes ont annoté dans le groupe ‘Public’ d’Hypothesis, au lieu des groupes éditeurs, générant des frustrations de la part des utilisateurs qui ont dû déplacer leurs annotations, une à une, d’un groupe à l’autre.
Enfin, plusieurs annotateurs ont déploré le manque d’une vue vue globale des annotations faites sur l’ensemble d’un ouvrage (tous chapitres confondus). Ils auraient aimé accéder à un résumé leur permettant d’avoir une vue rapide sur l’ensemble des annotations produites et des annotateurs participants.
Stratégies d’annotation
Trois stratégies d’annotation ont été mentionnées par les annotateurs interrogés en entretiens :
- Il y avait tout d’abord ceux qui annotaient au fur et à mesure de leurs lectures. Certains d’entre eux se sont d’ailleurs saisi de la fonctionnalité “tag”, qui est une fonctionnalité permettant de gestion des annotations a posteriori.
- Il y avait ensuite ceux qui avaient déjà lus les livres et pris des notes au préalable. Ils ont relu leurs notes afin de sélectionner celles qui leur semblait intéressantes, dans l’optique d’une mise en partage publique. Notons que pour ces annotateurs, il fût intéressant de se confronter, parfois après plusieurs années, au regard qu’ils avaient porté sur ces mêmes publications.
- Certains annotateurs ont fait un premier travail de prises de notes personnelles, en privé (que ce soit sur support papier ou numérique) et ont ensuite sélectionné les annotations à publier. Ils profitaient parfois de cette expérimentation pour effectuer un autre travail de recherche (rédaction de compte rendu par exemple). Le travail de lecture et de prise de notes était donc réalisé dans un double objectif et les annotateurs ont préféré diviser ce travail en deux temps. Enfin, d’autres annotateurs n’étaient pas toujours à l’aise avec l’immédiateté de l’annotation en ligne et préféraient prendre le temps de préparer ces annotations à cause de leur “publicisation”. Par ailleurs, les trois auteurs interrogés ont également publié des annotations. Tout d’abord, deux d’entre eux avaient publié des annotations introductives, pour inviter leur lectorat à participer à l’expérimentation. Ensuite, ils ont tous trois grandement participé à cette expérience en répondant à une partie des remarques qu’ils avaient reçues (l’un d’entre eux répondait quasi-systématiquement). L’activité d’annotation fût chronophage pour l’un des interrogés. Il a ainsi expliqué que répondre lui prenait du temps car il prenait la peine de se renseigner sur son interlocuteur, afin de bien comprendre sa démarche et de pouvoir lui répondre au mieux. Un autre a expliqué que les annotations étaient l’occasion de donner aux lecteurs des références complémentaires.
Par ailleurs, il semble qu’annoter implique une pratique de lecture davantage cursive, attentive et linéaire que ce à quoi sont habitués les participants. En effet, les pratiques de lecture ordinaires de plusieurs d’entre eux sont davantage des lectures “rapides”, “sélectives” ou en “diagonale”. Ici, les annotateurs ne voulaient pas prendre le risque de poser une question sur un élément qui était développé quelques paragraphes plus loin. En ce sens le temps passé à rédiger les annotations n’était finalement, pour la majorité d’entre eux, qu’une partie minime comparée au temps consacré à la lecture des chapitres annotés.
Sur la démarche d’une évaluation publique
Les démarches d’annotation personnelles (en privé) et publiques sont très différentes. Celle faite publiquement pose la question de la réception du message. Et ce, d’autant plus que cette expérimentation était présentée comme une expérience de communication scientifique. L’exercice de communication impliquait donc deux parties : l’émetteur et le destinataire. Dans le contexte de cette expérimentation, la réception des annotations se faisait donc à deux niveaux : celui de l’auteur et celui des lecteurs.
Une question de légitimité
Puisque l’exercice proposé aux annotateurs était celui de critiquer les publications de leurs pairs, la question de la légitimité à critiquer s’est posée pour certains. Cette question de la légitimité s’est posée différemment, en fonction du statut de l’annotateur :
- Pour les thésards ou jeunes chercheurs, il pouvait être compliqué d’évaluer des pairs plus expérimentés. Cet acte critique leur demandait une assurance dont on ne dispose pas forcément en début de carrière. D’autant plus que l’instabilité professionnelle induit une forme de précarité chez les chercheurs dont l’avenir est encore incertain. Cette précarité peut alors les placer dans une position délicate, et limiter la liberté de ton que des annotateurs plus installés dans le champ scientifique peuvent se permettre.
- Par ailleurs, en tant que professionnels, certains étaient potentiellement moins impactés par cette crainte du jugement et des rapports d’autorité au sein d’un champ auquel ils n’appartiennent pas. Cependant, l’un d’entre eux évoquait tout de même l’habitude qu’il avait de recourir à une surconsommation de système de références afin de faire ses preuves auprès des chercheurs. Il s’agit alors ici en quelque sorte d’une recherche de reconnaissance de la part de ces annotateurs qui ont le sentiment de devoir en faire plus pour être reconnus comme interlocuteur légitime.
La relation annotateur/auteur
L’acte d’annoter une publication dans une perspective d’évaluation ouverte impliquait pour les annotateurs une forme de contrat de communication : en critiquant et donnant leur avis sur la publication, ils s’adressaient finalement à l’auteur, conscients que celui-ci allait lire les critiques et pouvait y répondre, d’autant plus qu’elles se faisaient au niveau-même de la publication. La stratégie adoptée par plusieurs annotateurs était donc de tenter d’employer un ton neutre et non professoral, d’éviter les postures surplombantes.
Pour certains participants, le dispositif était particulièrement intéressant car le caractère spécifique d’une annotation (attachée à un passage très précis du texte), couplé au fait qu’il s’agit d’une pratique jugée plus informelle (car pour l’instant moins codifiée et institutionnalisée qu’un compte rendu de lecture par exemple), leur permettait de formuler des critiques plus “personnelles”, de l’ordre de “l’intime”. Certains évoquaient la possibilité d’entrer en dialogue avec l’auteur comme l’opportunité d’accéder à une relation privilégiée, une forme d’intimité ordinairement inaccessible. Entrer en contact direct avec l’auteur était considéré pour ceux-là comme un “rêve de lecteur”.
De leur côté, les trois auteurs interrogés, en acceptant de participer à cette expérimentation, s’étaient en quelque sorte “engagés” à prendre la peine de répondre à des annotations. Mais surtout, pour eux, ce devoir de réponse et d’interaction est inhérent à leur position d’auteur. En effet, l’auteur reste dans sa position d’auteur, et interagir avec les lecteurs participe au maintien de ce rôle (si ce fût le cas pour nos trois auteurs interrogés, notons tout de même que d’autres auteurs ne se sont pas investis dans les réponses).
Par ailleurs, comme évoqué plus haut avec les stratégies d’annotations des auteurs, tout comme annoter une publication implique une démarche de lecture savante, qualitative, répondre à une annotation implique de s’intéresser à la démarche de l’autre (si cette personne ne fait pas partie du même réseau de connaissances), afin d’être capable de lui répondre correctement, de manière constructive et réfléchie. Pour reprendre les propos de l’un de nos interrogés, “si quelqu’un écrit une annotation intelligente, il va falloir y répondre !”. Autrement dit, si la démarche d’annotation implique une lecture savante, la réponse d’annotation impliquerait elle une démarche de communication savante.
La relation avec le public
L’enjeu était également de partager des annotations qui pouvaient intéresser un public élargi et pas seulement de faire un retour critique à l’auteur. Plusieurs participants ont donc rédigé leurs annotations avec l’objectif de partager aux futurs lecteurs des informations qui leur semblaient enrichissantes au regard des idées abordées dans les textes. La prise en compte du public de lecteur a ainsi parfois poussé nos participants à rédiger leurs annotations en adoptant une démarche de vulgarisation.
La question de la réception du message par un public large posé problème a à quelques annotateurs. L’aspect contraignant de l’évaluation publique était de ne pas pouvoir identifier clairement les personnes qui allaient lire les annotations. Certains participants ont considéré que le contrat de communication n’est pas assez défini. Lié à cette réflexion, quelques annotateurs ont eu des difficultés à comprendre la posture qu’ils devaient adopter, partagés entre deux démarches qui pouvaient sembler contradictoires : une démarche personnelle et intimiste vis-à-vis de l’auteur, et une démarche de publication, avec quelques craintes face aux risques de mauvaises interprétations et réutilisations de leurs annotations.
Enfin, il y avait plus spécifiquement la question de la réception des annotations par les autres annotateurs. Une personne interrogée nous a dit que sa première réaction suite à notre invitation fut d’aller voir s’il y avait déjà des annotations publiée et qui les avait faites. Deux types de postures se sont par ailleurs dégagées face à la possibilité d’interactions entre annotateurs :
- Ceux qui accueillaient positivement les réponses de leurs collègues et qui faisaient la démarche de répondre à certaines annotations qui les intéressaient. Dans la majorité des cas, les annotateurs étaient plutôt positifs face à cette possibilité d’interaction entre lecteurs.
- Dans le même temps, ils étaient également nombreux à affirmer être en premier lieu intéressés par un retour de l’auteur, auquel ils s’adressaient en priorité. Leur investissement dans cette expérimentation était en premier lieu orientée vers la rédaction d’annotations critiques vis-à-vis du texte, et non vers la rédaction d’annotation critiques par rapport aux annotations de leurs collègues.
Les lieux de communication scientifique
Afin de mieux comprendre les conditions de réussite de l’appropriation de l’outil d’annotation comme ’outil de communication scientifique, nous avons interrogé les participants sur leurs habitudes communicationnelles. Ainsi, nous nous sommes demandé : comment se déroule réellement la communication savante ? Les répondants ont alors évoqués plusieurs “lieux” de communication, nous présentant leurs spécificités et inconvénients.
Les réseaux sociaux
Pour certains, il s’agit du lieu au sein duquel des débats et conversations peuvent se tenir, autour d’actualités scientifiques. Cependant, certains annotateurs pointaient le fait que ces échanges sont centrés sur les posts produits dans le cadre de ces mêmes réseaux, davantage que sur les publications des chercheurs. Deux interrogés expliquaient également que les conversations et les posts sont davantage dirigés vers une représentation de soi plus qu’un réel débat d’idées savantes. D’autres infirmaient ce constat en défendant qu’il existe de réelles communautés sur Twitter et que de nombreux débats de leurs disciplines s’y tiennent. Enfin, les réseaux sociaux posent pour certains le problème de l’archivage et la pérennité des informations, car les échanges qui en sont issus finissent rapidement par se perdre dans le flux du réseau. Il s’agirait donc davantage d’échanges de l’instant, de l’immédiateté.
Les listes de diffusion
Ces listes thématiques d’échange par email rassemblent parfois d’importantes communautés de chercheurs autour de certaines disciplines. Grâce à leur capacité à rassembler des individus autour de sujets d’intérêt commun, elles constituent des canaux d’information intéressants. Cependant les personnes qui ont évoqué cet outil de communication avaient un avis mitigé. D’après elles, il s’agit en effet de bons canaux de diffusion de messages informatifs, mais qui sont finalement peu efficaces quand il s’agit d’échanger et de débattre.
Conférences et séminaires
Ce sont des lieux “traditionnels” et institutionnels de rencontre et d’échange de chercheurs qui, contrairement aux exemples précédents, ont l’avantage de se tenir en présentiel. L’un des désavantages évoqués par nos participants est que trop peu de temps est dédié aux échanges durant ces rencontres. Ces événements apparaissent davantage comme l’occasion de présenter son travail avec l’objectif de se rencontrer, socialiser et échanger par la suite. La conséquence est que les participants débattent finalement très peu. Ils réagissent aux présentations dans l’immédiateté, sur des travaux qu’ils ne connaissent pas toujours avant que l’orateur leur présente. Les colloques apparaissent finalement davantage comme des lieux de communication au sens d’image, de présentation de soi et de son travail.
Les compte-rendus de lecture, articles et monographies
Enfin, les publications scientifiques elles-mêmes sont présentées par certains participants comme des espaces de confrontations d’idées, ou le système de référence et citations et investi pour mener des dialogues entre chercheurs, par publications interposées. Des débats et réponses peuvent ainsi avoir lieu entre chercheurs, de manière publique, d’une publication à l’autre.
Finalement, il nous semble qu’il n’existe pas une manière de communiquer mais des manières de communiquer, définies au sein d’espaces de communication spécifiques, avec leurs spécificités, leurs règles, leurs codes et leurs communautés propres. S’il existe bien plusieurs opportunités pour les chercheurs de communiquer, nos auteurs interrogés, ainsi que plusieurs annotateurs, déplorent pourtant que davantage de place ne soit pas consacré à l’activité de discussion savante et que les injonctions à publier notamment prennent trop le pas sur des “autres” activités.
Le bilan de cette expérimentation : positif, négatif ?
D’après les retours des annotateurs, le système de communication par les annotations présentent divers atouts :
- L’acte d’annotation va de pair avec l’acte de lire attentivement. En ce sens, s’impliquer dans une pratique d’annotation induit de développer une lecture plus qualitative, une lecture savante.
- Il permet un véritable échange (un échange direct) avec l’auteur car il ne s’agit pas d’une critique unilatérale mais d’un système de communication où l’auteur peut répondre, au même niveau que celui qui commente.
- Le système d’annotation permet à des personnes qui ne sont pas des contributeurs classiques (qui ne se reconnaissent pas dans les médias de communication scientifiques proposés actuellement) de s’exprimer, malgré des rapports d’autorité non négligeables à prendre en compte.
- Cela permet également d’entrer en dialogue avec d’autres lecteurs, directement au niveau du texte. Certains avaient ainsi l’impression, avec cette expérimentation, d’avoir participer à un « réseau de lecteurs ». L’annotation aurait donc pour certains un effet socialisateur non négligeable.
- Grâce à ces annotations, les publications sont enrichies et les futurs lecteurs peuvent découvrir de nouvelles pistes, bénéficier des mises à jour présentes dans les annotations et réfléchir collectivement. La plupart des participants se sont ainsi montrés intéressés pour participer à l’avenir à des expérimentations similaires en tant qu’auteurs (et inversement du côté des auteurs). Plusieurs ont tout de même précisé qu’ils le feraient sous condition que les annotations soient encadrées (notamment avec de la modération). Ils se sont également montrés intéressés pour réitérer l’expérience en tant qu’annotateurs, maintenant qu’ils avaient exploré l’outil et découvert les possibilités qu’il offrait. Plusieurs autres conditions ont alors été évoquées par les participants : que cela s’intègre dans leur travail ordinaire de publication (et donc de lecture) et qu’ils aient la garantie qu’il y aura des retours des auteurs.
Les auteurs nous ont également fait part de l’appréciation des annotations qu’ils avaient reçues sur leurs publications. Le sentiment a été globalement très positif : les annotations ont été jugées pertinentes, enrichissantes par rapport au texte initial. Les mises à jour étaient intéressantes pour le lectorat et les remarques “intelligentes”.
Par ailleurs, prendre le temps de lire et comprendre les remarques des annotateurs permet aux auteurs d’interroger leurs propres concepts et ont montré du potentiel socialisateur de l’expérience. Les auteurs des ouvrages qui ont reçu des annotations provenant principalement de personnes qu’ils connaissaient déjà nous ont justement fait remarquer qu’ils auraient aimé voir intervenir des personnes se situant hors de leurs cercles de connaissances.
Retours des éditeurs
A l’occasion de la fin de l’expérimentation, nous avons également consacré un temps d’échanges avec les éditeurs pour faire le point sur leur participation, sur les résultats obtenus et sur les perspectives.
Investissement des éditeurs dans l’expérimentation
Concernant leur participation, pour commencer. En tant que plateforme, nous avons proposé dès le départ de porter ce projet expérimental d’annotations ouvertes. Bien qu’encouragés à s’investir dans cette expérience, il était convenu que cela n’impliquerait pas nécessairement une grande charge de travail du côté des éditeurs. Ainsi, les éditeurs participants nous ont finalement laissé une importante autonomie dans cette expérimentation, témoignant de la relation de confiance qui lie la plateforme OpenEdition à ses éditeurs. Par ailleurs, comme cela avait été évoqué au moment de chercher des éditeurs participants, la question de la charge de travail était un point décisif dans leur décision de participer (voir même tout simplement de prendre le temps de réfléchir à cette question). Tout comme pour les annotateurs invités à participer, cette question du temps à investir et de la charge de travail est alors à interroger. Pour cela, nous leur avons demandé s’ils pensaient que porter ce projet faisait partie de leurs missions d’éditeur. De cette interrogation, nous pouvons tirer quelques éléments intéressants, évoqués par certains éditeur interrogés.
Pour commencer, une de leurs priorités est déjà de porter les enjeux d’accès ouvert dans leur politique éditoriale. Cette pratique d’annotation ouverte constitue un stade “au dessus”, ce qui explique en partie qu’elle ne soit pas considérée comme un élément prioritaire.
Ensuite, cette expérimentation était parfois considérée comme une activité qui dépassait “le cadre strict” de leurs missions. Nous avons alors identifié trois éléments explicatifs liés à cette remarque :
Premièrement, et il s’agit d’un point primordial dans cette analyse, il convient de rappeler que nos objectifs étaient principalement exploratoires. En ce sens, l’expérimentation a été (à juste titre) assimilée par les éditeurs à une activité d’observation et de recherche. Elle comportait donc une dimension innovante et prospective et malgré les intérêts potentiels qui les ont fortement intéressés (et convaincus de participer), il paraissait difficile pour eux de s’impliquer davantage, puisque cette démarche exploratoire et cette pratique d’annotation sortaient en effet de leurs activités éditoriales ordinaires.
Ensuite, cette expérimentation était parfois assimilée à une activité de “prise en charge de la communication scientifique”, cette dernière étant considérée comme étant au-delà de leur périmètre d’activité. Or, nous avons vu que pour les participants (annotateurs et auteurs) les publications étaient elles-mêmes perçues comme des objets de communication savante.
Enfin, certains éditeurs présentaient leurs missions comme s’arrêtant à “la promotion et la diffusion de la recherche” telle qu’elle est produite par l’éditeur. D’une part, il ressort de nos entretiens avec les participants que l’un des enjeux était effectivement de contribuer à la diffusion des publications “telles qu’elles sont produites”, notamment en participant à la lecture savante, qualitative, qui doit rester l’un des principaux objectifs de publication scientifique. Par ailleurs, nous avons alors regardé les statistiques de consultations des ouvrages annotés, grâce à l’outil Matomo, afin de voir si cette expérimentation avait eu un impact positif en termes de “diffusion” et “promotion” des publications. Nous allons montrer dans la partie suivante les résultats obtenus en sélectionnant une vue représentant l’évolution des consultations (total des vues + visiteurs unique) sur un an et sur l’ensemble des chapitres, par ouvrage.
Résultat des annotations par publisher groups
- OPR Presses de l’Enssib
36 annotations (18 annotations, 19 réponses[3]) ont été publiées dans le groupe des Presses de l’Enssib. Ces annotations se sont principalement concentrées au sein de l’un des ouvrages qui a reçu environ 77% des participations. Il s’agit de l’ouvrage dont l’auteur était le plus actif. En effet, ce dernier avait communiqué sur l’expérimentation à son lancement et répondait quasi-systématiquement, et très rapidement, à chaque nouvelle annotation.
Fig.16: Evolution des visites de chapitres de livres expérimentés des Presses de l’Enssib au cours de l’année dernière
- OPR ENS Editions
63 annotations réparties de la manière suivante 11%, 19% et 69% par livre. Dans ce groupe, les annotations ont donc été un peu plus réparties mais se sont concentrés une fois de plus en majorité sur l’un des titres. De même que pour le publisher group précédent, le titre qui a rencontré le plus de succès est également celui dont l’auteur était le plus actif et qui avait suggéré une liste importante d’annotateurs potentiels qu’il souhaitait inviter à participer.
Fig.17: Évolution des visites de chapitres de livres expérimentés d’ENS Editions au cours de l’année dernière
- OPR Casa de Velázquez
Seulement deux annotations ont été réalisées dans ce groupe et il s’agissait d’annotations faites par l’un des auteurs. La participation a été plus difficile à engendrer pour ces titres, bien des personnes invitées à participer se soient montrées intéressées par les livres ainsi que par la démarche expérimentale. Cependant, nous pouvons voir que l’investissement d’un des auteurs et notamment son implication auprès de son université pour communiquer sur sa participation à l’expérience a tout de même eu un effet positif sur les statistiques de son livre.
Fig.18: Evolution des visites de chapitres de livres expérimentés de la Casa de Velázquez au cours de l’année dernière
- OPR OpenEdition Press
Il s’agit du groupe éditeur qui a généré le plus de participations, avec un total de 158 annotations publiées. Rappelons que ce groupe contenait un livre de plus que les autres éditeurs. Les annotations de ce publisher groups étaient principalement concentrées autour de deux titres qui rassemblent 76 des annotations.
Fig.19: Evolution des visites de chapitres de livres expérimentés d’OpenEdition Press au cours de l’année dernière
Ainsi, si nous observons les courbes d’évolution des consultations des livres de notre panel (le trait rouge représente le lancement de l’expérimentation en février) nous pouvons voir que l’annotation entraîne une hausse des visites sur les titres ayant eu le plus de succès dans cette expérimentation (ceux présentés en premier dans la liste des trois ou quatre courbes par éditeur). Cette tendance s’est également confirmée pour les titres ayant reçu peu d’annotations bien que cela soit un peu moins visible. Pour les livres qui reçoivent régulièrement de nombreuses visites, la comparaison des courbes avant-après est plus difficile à observer. Cependant, nous voyons bien que l’annotation a eu pour effet de “réveiller” les ouvrages qui étaient peu fréquentés les mois précédents.
[2] https://crowdlaaers.org/
[3] Les 19 réponses aux annotations qui témoignent de la dynamique sociale d’enrichissement des contenus – liste ci dessous- n’étant pas en ligne publiquement, nous pouvons vous les transmettre sur demande en nous contactant par mail à dlis@enssib.fr ou par notre compte Twitter.
▶ 1 Chapitre 6. Faciliter l’accès à l’information et à la connaissance books.openedition.org
▶ 4 Préface books.openedition.org
▶ 2 9. L’usage peut-il être le moteur de la politique documentaire du livre numérique en bibliothèque ? books.openedition.org
▶ 10 Chapitre 1. La documentation : un héritage à développer books.openedition.org
▶ 4 Conclusion. Une évolution à penser et à construire books.openedition.org
▶ 2 Chapitre 5. Des espaces numériques en évolution constante books.openedition.org
▶ 2 Mode d’emploi books.openedition.org
▶ 5 Chapitre 2. Les permanences documentaires books.openedition.org
▶ 7 Introduction books.openedition.org
Principaux freins
Compte tenu des délais, des contraintes liées à l’expérimentation et des retours faits par nos participants, nous pouvons dire que le bilan est relativement inégal d’un ouvrage à l’autre : en effet, si les résultats obtenus pour certains livres ont été positifs, d’autres n’ont pas ou peu reçu d’annotations. L’un des intérêts de cette expérimentation a donc été d’identifier différents freins potentiels à la participation et de tenter de déterminer s’ils étaient inhérents à notre démarche. Il apparaît finalement que ces freins sont principalement liés au champ académique lui-même.
Le temps
Le principal frein, évoqué en grande majorité par les chercheurs invités à participer, est celui du temps. Dans son rapport d’expérimentation, Julien Bordier souligne l’importance de ne pas sous-estimer le coût d’entrée que l’apprentissage d’un nouvel outil peut représenter, en fonction de l’aisance numérique de chacun. Selon les recommandations issues de l’expérience Vertigo, l’intégration de l’outil d’annotation dans la plateforme devait réduire ce coût d’entrée. Cependant, il semble que cela ait engendré une confusion sur la nature de l’outil. L’intégration d’Hypothes.is dans OpenEdition Books a en effet pu donner l’illusion qu’il s’agissait d’un nouvel outil développé par OpenEdition, alors qu’il s’agissait bien d’un outil dépendant d’une organisation distincte. Cela a généré une certaine confusion chez les utilisateurs, contraints d’effectuer des allers-retours entre les deux plateformes (inscription sur Hypothes.is, authentification sur OpenEdition Books, etc.). De même, le choix de créer
des groupes d’annotation spécifiques pour chaque éditeur (Publisher Groups) s’est avérée plus complexe que prévu. Bien que cette fonctionnalité comporte d’importants avantages pour les éditeurs et les auteurs (notamment des possibilités de modération), elle constituait une contrainte technique supplémentaire pour les annotateurs.
Par ailleurs, il s’est avéré que, en plus des contraintes de temps liées à la prise en main de l’outil, les chercheurs avaient peu de temps à consacrer à une lecture savante d’ouvrages ne s’insérant pas immédiatement dans leurs activités de recherche ordinaires. Une lecture savante suppose en effet une lecture attentive et cursive, et donc fortement chronophage.
La dimension publique
Les interviews ont permis d’identifier un autre frein important : celui de la dimension publique de l’expérience et, par conséquent, du risque d’exposition induit par la publication d’une annotation. Plusieurs participants estiment que la source de ce problème est structurelle, pointant une “hyperspécialisation” du monde scientifique. Il serait alors compliqué, tant pour l’auteur que pour l’annotateur, de risquer de dévaloriser un travail réalisé sur de nombreuses années. L’importance accordée à ce risque de dévalorisation est liée à la place prépondérante que prend l’activité de publication dans le travail des chercheurs. Surtout, c’est au niveau du système d’évaluation que se situent les enjeux principaux. Car la publication est l’activité phare qui va être étudiée et jugée par les instances qui vont évaluer les chercheurs. L’importance de l’injonction productiviste dans l’activité de publication est donc grande pour les chercheurs.
Le système de rétribution des chercheurs pour leur activité de publication n’est donc pas tant celui d’une économie financière, mais plutôt celui d’une économie symbolique dont dépend l’évolution de leur carrière. Du fait de cet enjeu autour de l’évaluation, un glissement conceptuel semblait parfois s’opérer lorsque nous discutions de cette expérimentation : évaluer une publication était parfois perçu par les chercheurs comme la prise de risque d’évaluer le chercheur lui-même, avec les conséquences que cela pouvait avoir sur sa carrière.
Certains participants nous ont alors confié que ces réticences pouvaient être exacerbées par la raréfaction des postes et l’augmentation du nombre de chercheurs en situation précaire, ce qui augmentait le coût associé au risque d’exposition.
Ajouté à cela, il est également ressorti de cette expérience que les relations entre chercheurs étaient régies par des rapports d’autorité. Les échanges entre chercheurs sont ainsi potentiellement influencés par la position qu’ils occupent au sein du champ scientifique, positions définies d’une part par leur statut (le risque de l’exposition semblant diminuer en fonction de l’élévation de statut puisque le risque de précarité chez les chercheurs expérimentés est moins fort que pour les post-doctorants et chercheurs), mais aussi et surtout par la place qu’ils occupent au sein des communautés et réseaux de socialisation.
Ces quelques remarques permettent de mieux comprendre pourquoi le concept de “jeux d’ego” est souvent revenu au cours de ces entretiens, au moment où nous évoquions la difficulté de publiciser les annotations.
Entre manque de temps, et risques de l’exposition, une piste à explorer pourrait être celle de la valorisation des activités de contribution à la conversation scientifique via les annotations. En étant pris en compte par les institutions qui évaluent le travail de recherche, l’activité de conversation via l’annotation pourrait peut-être gagner en reconnaissance et permettre une rétribution symbolique plus directe. Elle s’intégrerait alors dans les politiques actuelles qui visent à tendre vers une évaluation davantage qualitative que quantitative. Cependant, la communication scientifique semble sujette (comme toute organisation sociale) à des rapports d’autorité et à des biais qu’il faudra prendre en compte en amont, sous peine de prendre le risque de cristalliser davantage des problématiques déjà évoquées. Il semble nécessaire d’intégrer les communautés scientifiques dans ces processus, afin que le système d’évaluation soit pensé par et pour les chercheurs. Ainsi, les chercheurs seront les mieux placés pour dialoguer avec les institutions des conditions dans lesquelles l’intégration de pratiques comme l’annotation pourraient être bénéfiques ou non à valoriser.
Recommandations
Par rapport aux résultats obtenus et compte tenu des retours que nous ont faits les différents acteurs du projet, nous proposons une série de recommandations pour les prochaines expérimentations d’open peer review post-publication par l’annotation.
Recommandations générales
Nous l’avons vu, la principale difficulté rencontrée dans cette expérimentation étaient tout simplement de trouver des personnes qui accepteraient d’y participer. Pour cela, nous proposons tout d’abord de réfléchir autour des trois pistes suivantes :
- Construire des communautés : Cerner dès le départ les communautés potentiellement concernées, leurs besoins, leurs codes et habitudes de communication. Les impliquer dans le projet d’annotation en amont, en tant qu’acteurs (dans le cadre de cette expérimentation, il s’agissait principalement des auteurs). Nous attirons par ailleurs l’attention sur l’intérêt d’adopter une démarche inclusive dès le départ, pour se prévenir du risque de l’entre soi.
- Trouver des incitations : pour cela, les projets d’annotations doivent avoir des finalités, les annotateurs ont besoin d’objectifs concrets. Cela peut être le travail autour d’une nouvelle publication ou une rencontre par exemple. Ajouté à cela, il faudrait trouver des mécanismes qui permettraient de valoriser le travail réalisé par les participants. Par exemple, créer une publication à partir des annotations faites en inscrivant les participants comme co-auteurs ou bien partager les annotations les plus pertinentes sur les réseaux sociaux en mentionnant les auteurs.
- Accompagner et animer : mettre en place un système de régulation et des guidelines qui permettent d’exposer clairement le contrat de communication à respecter et les finalités de l’expérience, tout en laissant la possibilité aux communautés d’être actrices de ces codes. La simple activation de l’outil sur les publications n’est pas suffisante pour faire venir les annotations, ils est donc nécessaire d’aller les chercher. Bien que ça ne soit pas arrivé dans cette expérimentation, il faut en effet prévoir des mécanismes de gestion des conflits éventuels (la fonctionnalité de modération n’étant pas la seule à envisager).
Ensuite et surtout, l’annotation ne doit plus être considérée par les chercheurs comme un travail supplémentaire. Ainsi, la pratique d’annotation doit davantage être un support qui intervient dans des lieux de communication établis :
- Au sein de cours : comme annotation pédagogique
- En préparation, support ou prolongation d’évènements académiques, propices aux rencontres en présentiel : séminaires, colloques, workshops, etc.
- Au niveau des publications elles-mêmes : lors de la lecture des publications, en préparation d’un travail de publication comme la rédaction de comptes-rendus de lecture.
A destination des plateformes
Ensuite, l’unique recommandation que nous pourrions faire aux plateformes est tout simplement d’implémenter l’outil d’annotation dans leurs systèmes. En effet, nous nous sommes rendus compte à l’occasion des entretiens qu’une partie des participants utilisaient déjà des outils d’annotation dans leur travail au quotidien. Hypothes.is (tout comme d’autres outils) permet également à ses utilisateurs d’annoter en privé. Que l’outil devienne déjà pratiqué dans le cadre des lectures privées pourrait augmenter les chances de participation à des processus publics, réglant pour une partie le problème du coût d’entrée et d’apprentissage rencontré dans cette expérimentation.
A destination d’Hypothesis
Quelques difficultés de prise en main de l’outil ont pu être identifiés à l’occasion du suivi d’annotation et des retours d’expérience. Hypothesis développe un outil qui est initialement prévu et conçu pour annoter des pages webs. Ce retour pourra peut-être permettre d’optimiser certains éléments qui ont été problématiques pour :
- Simplifier le processus d’identification et authentification en le conduisant de bout en bout sur la page web qui est en train d’être annotée : en effet, dans notre cas les utilisateurs ont parfois été perturbés par les étapes d’inscriptions et authentification nécessaires à l’annotation
- Optimiser système des publisher group : c’est une recommandation qui fait déjà partie des réalisations d’Hypothesis dans le cadre de notre partenariat étant donné que la fonctionnalité a déjà en partie été adaptée à nos spécificités (scoping de nos URLs). Néanmoins, plusieurs erreurs d’annotations faites dans le mauvais groupe ont été recensées et il pourrait être pertinent de mieux automatiser l’ouverture d’un groupe défini, par défaut.
- Donner la possibilité de présenter toutes les annotations d’un livre (composé de chapitres aux URLs différentes) pour que les participants puissent parcourir l’ensemble des annotations, sur une même page.
- Répertorier les réponses et notes de page sur leurs sites au même titre que les annotations de premier niveau : dans une perspective de conversation, des réponses d’annotation sont du même niveau importance que les annotations de premier niveau.
A destination des éditeurs
Considérant la valeur ajoutée que représentent les annotations sur les publications et notamment la part d’enrichissements potentiels observés dans la présentation des résultats d’annotation, considérant le caractère social et la possibilité de créer des communautés de lecteurs autour des livres via l’annotation et considérant la possibilité offerte aux auteurs d’avoir un retour de leurs lecteurs, il nous semble que les éditeurs ont tout intérêt à proposer cette fonctionnalité à leurs auteurs et à s’en saisir comme outil de valorisation et d’enrichissement de leurs publications.
- Impliquer les auteurs : car ils connaissent leurs communautés mais également car ils sont les principaux intéressés pour avoir des retours et développer leurs réseaux. Enfin, car l’un des intérêts principaux de cette expérimentation pour les participants annotateurs est justement de pouvoir dialoguer avec les auteurs, qui sont les mieux placés pour répondre aux éventuelles remarques et questions.
- Intégrer cette pratique dans les politiques d’accès ouvert
- Intégrer l’annotation dans les workflows existants : compte tenu de la potentielle charge de travail de travail que représente le développement de la pratique d’annotation, l’objectif n’est pas de rajouter trop de temps de travail aux éditeurs mais plutôt de profiter du travail déjà réalisé et servant l’annotation. Par exemple, pour la recherche d’annotateurs : celle-ci revient à la constitution d’un réseau qui est une activité déjà pratiquée par les éditeurs pour les relecteurs. Les relecteurs feront ainsi de potentiels annotateurs et inversement. Par ailleurs, il paraît tout à fait approprié de proposer l’annotation comme outil parallèle aux compte-rendus de lecture.
- Enfin, nous recommandons la stratégie qui constituerait à mettre en place deux niveaux d’implémentation des annotations :
○ La simple activation, sur tous les contenus, comme outil de commentaire, et qui permettra aux lecteurs de repérer l’outil et s’y accoutumer
○ L’animation de communautés autour de certains titres spécifiques : que ce soit à l’occasion événements scientifiques, pour relancer l’intérêt autour d’un auteur (en activant les annotations sur ses autres titres) ou pour accompagner la publication elle-même, l’outil d’annotation permettra de valoriser certains ouvrages et de “faire vivre” le catalogue de l’éditeur. Les projets d’annotation sont l’occasion de fédérer des groupes de “lecteurs” autour d’un processus de lecture active et collective, un processus de lecture savante. Les publications sont ainsi enrichies, vivantes, elles évoluent avec leurs communautés et les contributions de chacun (“lecteurs”, auteurs, éditeurs).
Bibliographie
ASAPBIO. Peer review survey results. [online]. [Viewed 28 June 2019]. Available from: https://asapbio.org/peer-review/survey.
BORDIER, Julien, 2015. Évaluation ouverte par les pairs : polysémie et problématiques. 1/2. OpenEdition Lab [online]. 2015. [Viewed 28 June 2019]. Available from: https://lab.hypotheses.org/1453.
BORDIER, Julien, 2016. Évaluation ouverte par les pairs : de l’expérimentation à la modélisation [online]. Available from: https://hal.archives-ouvertes.fr/hal-01283582/document.
BOURDIEU, Pierre, 1976. Le champ scientifique. Actes de la Recherche en Sciences Sociales [online]. 1976. Vol. 2, no. 2, p. 88–104. DOI 10.3406/arss.1976.3454. [Viewed 28 June 2019]. Available from: https://www.persee.fr/doc/arss_0335-5322_1976_num_2_2_3454.
COPE, [no date]. Post-publication discussions and corrections | Committee on Publication Ethics. [online]. [Viewed 28 June 2019]. Available from: https://publicationethics.org/postpublication.
DANIEL, Johanna, 2015. Les outils d’annotation et l’édition scientifique de corpus textuels. L’exemple du projet “Les Guides de Paris (les historiens des arts et les corpus numériques). [Master’s thesis: under the direction of Jean-Baptiste Camps and Emmanuel Château]. Ecole nationale des Chartes. [online]. [Viewed 28 June 2019]. Available from: https://f.hypotheses.org/wp-content/blogs.dir/6605/files/2015/03/JDaniel_memoire_2014_vco r15.pdf.
GALLEZOT, Gabriel and NOYER, Jean-Max, 2012. De la numérisation des revues à l’expérimentation d’une édition de recherche processuelle. In: Technologies de l’information et intelligences collectives. hermes-lavoisier. p. 13. [online]. [Viewed 28 June 2019]. Available from: https://archivesic.ccsd.cnrs.fr/sic_00688414/document.
GÖRÖGH, Edit and ROSS-HELLAUER, Tony, 2019. Guidelines for open peer review implementation. Research Integrity and Peer Review. 27 February 2019. Vol. 4, no. 1, p. 4. DOI 10.1186/s41073-019-0063-9. [online]. [Viewed 28 June 2019]. Available from: https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-019-0063-9.
JACOB, Christian (ed.), 2007. Lieux de savoir., Espaces et communautés. Paris, France: Albin Michel. ISBN 978-2-226-17904-3.
JACOB, Christian (ed.), 2011. Lieux de savoir., Les mains de l’intellect. Paris, France: Albin Michel. ISBN 978-2-226-18729-1.
JAHJAH, Marc, 2012. Les Digital Humanities et la question de l’annotation collaborative. Marc Jahjah [online]. 2 November 2012. [Viewed 28 June 2019]. Available from: http://www.marcjahjah.net/680-digital-humanities-question-de-lannotation-collaborative.
JAHJAH, Marc, 2014. Les marginaliade lecture dans les «réseaux sociaux» du livre(2008-2014) : mutations, formes, imaginaires. [Thesis: under the direction of Christian Jacob]. Paris: Ecole des Hautes Etudes en Sciences Sociales. [online]. [Viewed 28 June 2019]. Available from: https://halshs.archives-ouvertes.fr/tel-01215403/file/Les%20marginalia%20de%20lecture%2 0dans%20les%20r%C3%A9seaux%20sociaux%20du%20livre.pdf.
JAHJAH, Marc, 2019. L’annotation comme “conversation” (1/2) : des humanistes aux acteurs du web. Marc Jahjah [online]. 28 May 2019. [Viewed 28 June 2019]. Available from: http://www.marcjahjah.net/3338-lannotation-comme-conversation-1-2-des-humanistes-aux-a cteurs-du-web.
KALIR, Remi and GARCIA, Antero, 2019. Annotation. MIT Press Open. MIT Press Open [online]. 2019. [Viewed 28 June 2019]. Available from: https://bookbook.pubpub.org/annotation
KING, Stuart RF, 2017. Consultative review is worth the wait. eLife. Vol. 6, p. e32012 [online]. 28 September 2017. [Viewed 28 June 2019]. DOI 10.7554/eLife.32012. Available from: https://elifesciences.org/articles/32012.
LE BÉCHEC, Mariannig, BOULLIER, Dominique and CRÉPEL, Maxime, 2018. Le livre-échange: vies du livre & pratiques des lecteurs. Caen, France: C&F éditions. ISBN 978-2-915825-76-3.
MAISONNEUVE, Hervé, 2018. PubMedCommons jette l’éponge : le PPPR (Post Publication Peer Review) a du mal à progresser ; il faut soutenir PubPeer. Rédaction Médicale et Scientifique [online]. 2018. [Viewed 28 June 2019]. Available from:
Page | 78
https://www.redactionmedicale.fr/2018/02/pubmedcommons-jette-l%C3%A9ponge-le-pppr-p ost-publication-peer-review-a-du-mal-%C3%A0-progresser.html.
MARSHALL, Catherine C., 1997. Annotation: from paper books to the digital library. In: Proceedings of the second ACM international conference on Digital libraries – DL ’97 [online]. Philadelphia, Pennsylvania, United States: ACM Press. 1997. p. 131–140. [Viewed 28 June 2019]. ISBN 978-0-89791-868-8. Available from: http://portal.acm.org/citation.cfm?doid=263690.263806.
PERAKAKIS, Pandelis, PONSATI, Agnes, BERNAL, Isabel, SIERRA, Carles, OSMAN, Nardine, MOSQUERA-DE-ARANCIBIA, Concha and LORENZO, Emilio, 2017. OPRM: Challenges to Including Open Peer Review in Open Access Repositories. The Code4Lib Journal [online]. 30 January 2017. No. 35. [Viewed 28 June 2019]. Available from: https://journal.code4lib.org/articles/12171.
PONTILLE, David and TORNY, Didier, 2015. From Manuscript Evaluation to Article Valuation: The Changing Technologies of Journal Peer Review. Human Studies. March 2015. Vol. 38, no. 1, p. 57–79. DOI 10.1007/s10746-014-9335-z. [online]. [Viewed 28 June 2019]. Available from: https://hal.archives-ouvertes.fr/hal-01143310/document.
ROOYEN, Susan van, DELAMOTHE, Tony and EVANS, Stephen J. W., 2010. Effect on peer review of telling reviewers that their signed reviews might be posted on the web: randomised controlled trial. BMJ. 16 November 2010. Vol. 341, p. c5729. DOI 10.1136/bmj.c5729. [online]. [Viewed 28 June 2019]. Available from: https://www.bmj.com/content/341/bmj.c5729.
ROSS-HELLAUER, Tony, DEPPE, Arvid and SCHMIDT, Birgit, 2017. Survey on open peer review: Attitudes and experience amongst editors, authors and reviewers. PLOS ONE. 2017. Vol. 12, no. 12, p. e0189311. DOI 10.1371/journal.pone.0189311. [online]. [Viewed 28 June 2019]. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0189311.
ROSS-HELLAUER, Tony, 2017. What is open peer review? A systematic review. F1000Research. 31 August 2017. Vol. 6, p. 588. DOI 10.12688/f1000research.11369.2. [online]. [Viewed 28 June 2019]. Available from: https://f1000research.com/articles/6-588.
SEATTER, Lindsey, 2019. Towards Open Annotation: Examples and Experiments. KULA: knowledge creation, dissemination, and preservation studies. 27 February 2019. Vol. 3, no. 1, p. 12. DOI 10.5334/kula.49. [online]. [Viewed 28 June 2019]. Available from: https://kula.uvic.ca/articles/10.5334/kula.49/.
TENNANT, Jonathan P., DUGAN, Jonathan M., GRAZIOTIN, Daniel, JACQUES, Damien C., WALDNER, François, MIETCHEN, Daniel, ELKHATIB, Yehia, B. COLLISTER, Lauren,
Page | 79
PIKAS, Christina K., CRICK, Tom, MASUZZO, Paola, CARAVAGGI, Anthony, BERG, Devin R., NIEMEYER, Kyle E., ROSS-HELLAUER, Tony, MANNHEIMER, Sara, RIGLING, Lillian, KATZ, Daniel S., GRESHAKE TZOVARAS, Bastian, PACHECO-MENDOZA, Josmel, FATIMA, Nazeefa, POBLET, Marta, ISAAKIDIS, Marios, IRAWAN, Dasapta Erwin, RENAUT, Sébastien, MADAN, Christopher R., MATTHIAS, Lisa, NØRGAARD KJÆR, Jesper, O’DONNELL, Daniel Paul, NEYLON, Cameron, KEARNS, Sarah, SELVARAJU, Manojkumar and COLOMB, Julien, 2017. A multi-disciplinary perspective on emergent and future innovations in peer review. F1000Research. 29 November 2017. Vol. 6, p. 1151. DOI 10.12688/f1000research.12037.3. [online]. [Viewed 28 June 2019]. Available from: https://f1000research.com/articles/6-1151.
URFIST-BORDEAUX, [no date]. Le peer review à l’ère de l’open science : enjeux et évolutions. [online]. [Viewed 28 June 2019]. Available from: http://weburfist.univ-bordeaux.fr/le-peer-review-a-lere-de-lopen-science-enjeux-et-evolutions
VITALI ROSATI, Marcello, 2016. Qu’est-ce que l’éditorialisation? Sens public. 2016. P. 1043383ar. DOI 10.7202/1043383ar. [online]. [Viewed 28 June 2019]. Available from: https://hal.archives-ouvertes.fr/hal-01599208/document.
W3C, 2017. Web Annotation Data Model. [online]. 2017. [Viewed 28 June 2019]. Available from: https://www.w3.org/TR/annotation-model/.
WAKELING, Simon, WILLETT, Peter, CREASER, Claire, FRY, Jenny, PINFIELD, Stephen, SPEZI, Valerie, BONNE, Marc, FOUNTI, Christina and MEDINA PEREA, Itzelle, 2019. ‘No comment’? A study of commenting on PLOS articles. Journal of Information Science. 24 January 2019. P. 016555151881996. DOI 10.1177/0165551518819965. [online]. [Viewed 28 June 2019]. Available from: https://journals.sagepub.com/doi/pdf/10.1177/0165551518819965.