Joachim Schöpfel est enseignant-chercheur (MCF-HC) en Sciences de l’information et de la communication à l’Université de Lille et membre du laboratoire GERiiCO. Après avoir dirigé l’UFR IDIST de 2009 à 2012 et l’Atelier National de Reproduction des Thèses de 2012 à 2017, il travaille aujourd’hui comme consultant indépendant dans le domaine de l’information scientifique. Adresse courriel : joachim.schopfel@univ-lille.fr

Ses intérêts scientifiques : le libre accès à l’information, les données de la recherche, les thèses et mémoires, la science ouverte.

• CV HAL : https://cv.archives-ouvertes.fr/joachim-schopfel 
• ORCID ID : 0000-0002-4000-807X

Introduction

Dans le contexte du plan national pour la science ouverte, Joachim a mené une étude avec des étudiants de Master 2 Gestion de l’Information et du Document en Entreprise (GIDE) de l’université de Lille et avec des collègues de GERiiCO pour mieux comprendre les politiques éditoriales des revues SIC dans le domaine des données de la recherche.

Cette étude permet d’évaluer dans quelle mesure les injonctions ministérielles en matière de science ouverte impactent ou non les politiques et les pratiques des revues de la discipline. Il s’agit de questionnements sensibles dans la mesure où elles touchent à l’évaluation même de la recherche.

Joachim a présenté ce travail dans le cadre d’un séminaire de l’axe Information, Sciences, Savoirs, Pratiques (I2SP) du LERASS. L’entretien ci-dessous vise à revenir et présenter les  objectifs, les périmètres et les principaux résultats de cette étude dont le manuscrit a été récemment soumis au comité de rédaction de la revue Balisages.

Le support de présentation communiqué lors du séminaire est accessible ici.

Entretien avec Joachim

L’objectif de ton étude était d’analyser la situation des SIC par rapport au développement de la science ouverte. Peux-tu nous en dire un peu plus ? Dans quelle mesure c’est un enjeu particulièrement important ?

Depuis quelques années, la science ouverte est devenue l’une des priorités de la politique scientifique de l’État français. Le plan national pour la science ouverte de 2018 a défini les grands axes et annoncé les mesures à mettre en place, dont la généralisation de l’accès ouvert aux publications et l’ouverture des données de recherche. Il s’agit d’un nouveau paradigme, l’affaire (selon les mots de Frédérique Vidal) de l’ensemble du monde de la recherche.

Du coup, avec d’autres collègues je me suis demandé où on en était dans notre propre discipline, par rapport à ce nouveau paradigme. Quels sont nos dispositifs et nos pratiques en matière d’open access et par rapport au partage des données ?

Dans un premier temps, nous avons analysé le degré d’ouverture de nos revues qualifiantes – combien sont en open access, selon quel modèle économique, avec quelles licences de diffusion etc. [1] Dans un deuxième temps, nous avons mené une étude sur les entrepôts de données de recherche dans nos domaines. [2]

Actuellement nous conduisons un projet de recherche sur ce que les laboratoires font avec et sur HAL, [3] et dans le cadre de ce projet, nous analysons plus particulièrement les publications et collections des laboratoires SIC. L’étude de cas de notre propre laboratoire fait partie de cet ensemble de recherche. [4]

Parmi les mesures du plan national pour la science ouverte figure la recommandation, dans le cadre du soutien public aux revues, « de l’adoption d’une politique de données ouvertes associées aux articles, le développement des articles de données et des revues de données ».

Nous nous sommes donc demandés, un peu comme pour l’open access, quelle était la situation de nos revues qualifiantes, si elles avaient commencé à mettre en place une telle « politique de la donnée », sous quelle forme, etc.

Comme pour les autres études, il s’agit d’une photographie instantanée, une sorte de polaroid qui reflète la situation actuelle.

L’enjeu pour les SIC est double. D’une part, rester dans la course dans un environnement qui est en train de changer rapidement et en profondeur, ceci aussi pour obtenir des financements de projet, des subventions pour les publications, etc. D’autre part, développer une « culture de la science ouverte », voire une « culture de la donnée » au sein de notre communauté.

Pour moi, personnellement, l’enjeu est de contribuer avec des résultats empiriques à ce développement.

As-tu pu identifier des études similaires sur le sujet ? Et si oui, quels résultats significatifs ou conclusions peut-on en tirer ?

Oui, il y a d’autres études sur la politique de donnée des éditeurs et des rédactions de revues scientifiques. Mais une seule étude, à ma connaissance, dans le domaine des library and information sciences. [5]

Les résultats sont contrastés. Certains éditeurs, certaines plateformes et revues sont plus avancées que d’autres, en particulier dans les domaines scientifiques regroupant de grands enjeux économiques et sociétaux comme la biologie et la médecine. Les éditeurs comme Elsevier et Springer Nature se positionnent très clairement sur ce secteur.

Taylor and Francis, dont six titres font partie de la liste des revues qualifiantes SIC, vient d’annoncer un partenariat avec la Research Data Alliance (RDA) ; pour eux, le partage de données devient la norme de la publication d’articles et ce partenariat avec la RDA leur permet de mettre en évidence l’objectif commun d’aider les chercheurs à partager ouvertement leurs données afin d’améliorer la « trouvabilité », la reproductibilité et la qualité de la recherche. [6]

Pour réaliser ton étude, tu t’es appuyé sur le référentiel élaboré par le Center for Open Science. Pourquoi ce choix ?

Pour cette étude, je souhaitais appliquer une démarche d’audit, à partir d’un référentiel reconnu et appliqué. Pour la petite histoire, le début de l’analyse a été mené dans le cadre d’un cours d’auditing avec des étudiants en deuxième année de Master Gestion de l’Information et du Document en Entreprise (GIDE) de l’université de Lille

Pour cette thématique précise, la politique de donnée des revues scientifiques, le référentiel du Center for Open Science [7] (« TOP factor ») [8] est le seul outil interdisciplinaire au niveau international – un outil qui a été utilisé par plusieurs équipes de recherche, qui a fait l’objet de plusieurs publications et qui a contribué à l’évaluation de plusieurs centaines de revues scientifiques. Avec les étudiants (et avec un peu d’aide de la part du Center for Open Science), on s’est donc formé à cet outil.

Quel est le panel des revues analysées ?

Le panel est l’actuelle liste des revues qualifiantes en sciences de l’information et de la communication (2018) [9]. En tout, il s’agit de 97 revues vivantes, publiées en France et dans d’autres pays, en français ou dans d’autres langues.

On y trouve des revues universitaires aussi bien que des revues publiées par Elsevier, Springer Nature et Taylor and Francis. Certaines sont en libre accès, d’autres non.

Peux-tu présenter plus en détail les critères d’évaluation ?

Le référentiel du Center for Open Science est composé de dix critères liés à la politique éditoriale de chaque revue, telle que formulée dans les instructions aux auteurs.

L’évaluation porte sur la présence de ces critères dans les instructions aux auteurs ou dans d’autres documents et informations accessibles sur le site de chaque revue. L’évaluation n’inclut donc pas d’analyse d’articles publiés.

Voici une description sommaire de ces critères.

1. Data citation. Instructions concernant la citation et le référencement de données de recherche.
2. Data transparency. Instructions concernant le partage des données liées à l’article.
3. Analysis code transparency. Instructions concernant le partage des logiciels utilisés pour la collecte ou l’analyse des données issues de la recherche à l’origine de l’article.
4. Materials transparency. Instructions concernant le partage d’autres ressources utilisées et mobilisées dans le cadre de la recherche à l’origine de l’article (questionnaire, trame d’entretien…).
5. Design & analysis reporting guidelines. Instructions concernant la description de la méthodologie de la recherche. Il s’agit de standards (règles) souvent disciplinaires pour décrire la conception et l’analyse des données.
6. Study preregistration. Instructions concernant le préenregistrement du projet d’étude (nombre de participants, hypothèses, analyses prévues…) sur un site dédié et fiable.[10]
7. Analysis plan preregistration. Instructions concernant le préenregistrement du plan d’analyse des données sur un site dédié.
8. Replication. Instructions concernant la publication d’articles à partir de la réutilisation de données de recherche.
9. Registered reports & publication bias. Instructions concernant le préenregistrement du projet d’étude sur le site de la revue, pour évaluation et sélection avant la réalisation de l’étude et avant la publication des résultats.
10. Open science badges. Utilisation des « badges » développés par le Center for Open Science pour signaler et valoriser le partage des données, etc. au niveau de chaque article (Open data, Open materials, Pregistered). [11]

Le référentiel décrit chaque critère d’une manière détaillée sur quatre niveaux : pas d’information ou un engagement simple (0 point) ; l’incitation explicite (1 point) ; l’obligation (2 points) ; l’obligation avec évaluation (3 points – sauf pour le critère 10). La somme des points correspond à l’indicateur TOP Factor.

En s’appuyant sur les critères d’évaluation définis par le Center for Open Science, des scores sont attribués aux revues ; ces derniers permettent de comprendre plus précisément à quel point les politiques éditoriales des revues sont conformes à la science ouverte. Peux-tu en dire un peu plus sur ces scores ? Comment les calcule-t-on ?

Chaque revue a été évaluée par deux personnes. Autrement dit, nous avons cherché sur les sites des revues des informations pour chaque critère du référentiel, et nous avons attribué des points à partir de la grille du référentiel du Center for Open Science. Nous avons ainsi réalisé presque 2,000 évaluations.

Quand les deux évaluations ne correspondaient pas (c’était le cas pour 7% des évaluations), nous avons fait une troisième analyse du site de la revue pour trancher. A l’issue de cette démarche, nous avons donc obtenu dix valeurs pour chaque revue, plus la somme, c’est-à-dire l’indicateur TOP Factor.

Pour certaines revues, nous avons pris contact avec la rédaction. Nous nous sommes également adressés au directeur du Center for Open Science pour clarifier un point précis dans l’application de la grille du référentiel.

Parmi les dix critères d’évaluation, tu as pu te rendre compte que certains sont plus avancés que d’autres ? Quels sont-ils ? Et que cela signifie-t-il plus pour les politiques éditoriales des revues SIC ?

Oui, trois critères surtout sortent du lot, si on veut : les instructions concernant la citation des données (critère 1), le partage des données (critère 2) et le partage d’autres ressources (critère 4).

Pour chacun de ces trois critères, nous avons trouvé entre 25 et 30 revues qui disent clairement et explicitement sur leur site ce qu’elles attendent de leurs auteurs. Parfois il s’agit d’une condition obligatoire, mais le plus souvent, la revue se limite à inciter plus ou moins fortement au partage des données et d’autres matériels, en précisant les modalités.

Quand on regarde de plus près, on constate qu’il s’agit le plus souvent d’une revue anglophone ; il n’y a que quatre revues françaises à avoir formulé une telle politique.

Quant à la politique éditoriale des revues SIC, cela veut dire qu’il reste de la marge. Mais cela signifie aussi qu’il ne faut peut-être pas adopter une politique de donnée forte et exigeante, développée dans d’autres secteurs et plus appropriée à d’autres domaines, en particulier les sciences de la vie et les sciences médicales.

Les résultats observés sont-ils une spécificité des revues SIC à ton avis ? Qu’en est-il des autres disciplines ?

D’une manière générale, les résultats montrent une grande diversité, à un niveau relativement bas. Plus de la moitié des revues n’ont aucun point. L’indicateur le plus élevé est 10 (sur 29). Mais si on fait la comparaison avec les revues sur le site du TOP Factor et avec d’autres études, on se rend compte que cette situation n’est pas spécifique aux revues en SIC.

Ce qui, en revanche, semble plus spécifique pour les SIC, c’est que d’une part, la proportion d’articles empiriques (avec des données) est moins élevée que dans d’autres domaines et que d’autre part, l’intérêt d’un préenregistrement des études et des méthodes d’analyses paraît moins important, puisqu’il y a moins d’enjeux scientifiques et économiques et moins de problèmes éthiques en SIC, comparativement avec la médecine ou la biologie.

Mais cela reste à étudier de plus près. Peut-être on complétera cette évaluation par une étude qualitative c’est-à-dire par une enquête auprès des éditeurs et des comités de rédaction des revues SIC pour en savoir davantage.

Cela signifie-t-il que les revues françaises manquent d’intégrité scientifique et de transparence ?

Non, on ne peut pas le formuler de cette façon. Tout ce qu’on peut dire, à partir des résultats de notre étude, c’est que ces revues sont plus ou moins avancées dans un domaine qui bouge vite. Il suffit de lire les Recommandations aux revues souhaitant définir une « politique de données » liées aux publications que le Comité pour la science ouverte (CoSO) a publiées en mars 2021 pour saisir l’intérêt d’une telle démarche. [12]

Les recommandations du CoSO s’adressent en particulier (je cite) « aux éditeurs de revues en sciences humaines et sociales, dans la mesure où ils se sont relativement moins emparés de ce sujet que leurs homologues en sciences, technologies et médecine ». Il s’agit donc en premier lieu d’un constat, d’un état des lieux, pas d’un jugement sur l’intégrité des revues.

Certes, à ce jour, une partie importante des revues qualifiantes SIC ne parlent pas des données, elles ne recommandent rien et n’exigent rien. Dans ce sens, elles manquent de transparence.

Pour moi, ce n’est pas un problème d’intégrité en soi, mais ça peut devenir un problème dans la mesure où le Ministère pousse les établissements, organismes et agences de financement vers une politique du partage et d’ouverture des données.

Si les revues n’adoptent pas de politique de données, si elles ne disent pas clairement aux auteurs ce qu’elles attendent en matière de gestion et de publication des données liées aux articles, elles risquent de se retrouver en décalage inconfortable par rapport à la stratégie scientifique de la France mais aussi, par rapport à l’offre commerciale des grands éditeurs.

Quels politiques et/ou dispositifs peuvent contribuer à remédier à cette situation ?

A mon avis, il y a plusieurs acteurs et plusieurs niveaux d’action. La section 71 du CNU pourrait ajouter l’existence d’une politique de donnée aux critères pour reconnaître une revue qualifiante, comme elle est en train de le faire pour le critère du libre accès.

Les plateformes CAIRN et OpenEdition pourraient développer des outils, des fonctionnalités et des modèles d’instructions aux auteurs dans ce sens.

Chaque éditeur, chaque comité de rédaction pourrait décider d’une telle politique, en s’inspirant de la pratique d’autres revues (benchmark) ou des recommandations du CoSO.

Les organismes et les établissements qui mènent une politique éditoriale active pourraient inclure le partage des données dans leurs contrats d’objectifs et de moyens.

En fait, je pense que tout le monde a déjà commencé à aller dans cette direction. Le train est parti. Si on faisait la même étude dans un ou deux ans, je suis convaincu que la situation aura changé et que la plupart des revues en SIC aura adopté une telle politique.

Références

[1] Joachim Schöpfel, Hélène Prost, Amel Fraisse. Plus ou moins open : Les revues de rang A en Sciences de l’information et de la communication. Revue française des sciences de l’information et de la communication, Société Française des Sciences de l’Information et de la Communication, 2019, Dossier : Information scientifique et diffusion des savoirs : entre fragmentations et intermédiaires, ⟨10.4000/rfsic.4706⟩. ⟨hal-02000938⟩

[2] Hélène Prost, Joachim Schöpfel. Les entrepôts de données en sciences de l’information et de la communication (SIC). Une étude empirique. Études de communication – Langages, information, médiations, Université de Lille, 2019, 52 (1), pp.71-98. Etudes de communicaiton

[3] HAL/LO – Valorisation sur HAL de la production des laboratoires dans l’environnement de la science ouverte http://gis-reseau-urfist.fr/hal-lo-valorisation-sur-hal-de-la-production-des-laboratoires-dans-lenvironnement-de-la-science-ouverte/

[4] Joachim Schöpfel, Hélène Prost, Amel Fraisse, Stéphane Chaudiron. Valoriser les publications d’un laboratoire universitaire dans l’environnement de la science ouverte : Retour d’expérience de la collection GERiiCO sur HAL. ICOA 2018 3e colloque international sur le libre accès, ESI Rabat, Nov 2018, Rabat, Maroc. ⟨hal-01940352⟩

[5] Jackson, B. (2021). Open Data Policies among Library and Information Science Journals. Publications, 9(2), 25. https://doi.org/10.3390/publications9020025

[6] Taylor & Francis strengthens its partnership with the Research Data Alliance (RDA), STM Publishing News, 30 juin 2021 http://www.stm-publishing.com/taylor-francis-strengthens-its-partnership-with-the-research-data-alliance-rda/

[7] Center for Open Science https://www.cos.io/

[8] TOP Factor https://www.topfactor.org/

[9] Cf. liste des revues reconnues de la section 71 du CNU https://www.conseil-national-des-universites.fr/cnu/#/

[10] Cf. par exemple EGAP https://egap.org/registry/ ou RIDIE https://ridie.3ieimpact.org/

[11] COS Open Science Badges https://www.cos.io/initiatives/badges

[12] CoSO Collège Donnée de la Recherche https://www.ouvrirlascience.fr/recommandations-aux-revues-souhaitant-definir-une-politique-de-donnees-liees-aux-publications/

Merci beaucoup Joachim pour ta contribution et cet entretien riche et passionnant. 

---

---