Repenser les stratégies d’évaluation des réseaux culturels
L’essai précédent, Prospective sur les réseaux culturels, a souligné le défi que représente la définition des réseaux transnationaux dans le secteur culturel et créatif (SCC) et a identifié comment l’imprécision de la définition empêche une compréhension globale de la culture des réseaux. Cette ambiguïté a également des répercussions sur la délimitation de l’influence que ces réseaux exercent à différents niveaux, notamment sur les politiques culturelles, les membres et le secteur culturel au sens large. Par conséquent, leur évaluation reste également sous-développée et sous-discutée jusqu’à présent.
L’aperçu historique des réseaux culturels proposé dans l’article précédent visait à rafraîchir le débat sur la mise en réseau en vue de mettre en lumière l’enchevêtrement complexe des réseaux, englobant à la fois les influences ascendantes et descendantes en jeu. Partant de la question de savoir à quoi servent les réseaux, ce deuxième essai se concentre sur la manière de saisir la pertinence des réseaux et leurs impacts à plusieurs niveaux d’une manière plus complète. En guise de conclusion, plusieurs étapes pratiques pour la mise en œuvre d’outils d’auto-évaluation des réseaux sont également présentées.
Normes d’évaluation ou innovation ? Introduction des micro-données
Les méthodes d’évaluation conventionnelles supposent un lien de causalité entre les valeurs et la mission des organisations et leurs résultats et impacts, souvent linéaire et direct. Ces méthodes tentent précisément de relier de manière linéaire et directe les actions de l’organisation et les résultats positifs sur leur zone d’influence ou leur secteur. Le principal problème de ces méthodes — selon les praticiens et les universitaires — est qu’il est très difficile de normaliser les procédures et les indicateurs permettant de saisir les impacts et d’évaluer les actions des organisations. En outre, ces méthodes étant strictement issues du monde de l’entreprise, elles reposent inévitablement sur des transformations économiques et monétaires, y compris lorsqu’elles traitent de phénomènes culturels. Cela s’applique difficilement au domaine des organisations culturelles, malgré les tentatives et les applications de ces méthodes dans le monde associatif. Sans compter que ces méthodes sont particulièrement consommatrices de temps et de ressources et extrêmement complexes à mettre en œuvre.
Un autre point critique dans l’application des méthodes d’évaluation conventionnelles au secteur culturel est l’hétérogénéité de ses organisations membres — c’est-à-dire les réseaux, mais aussi les entreprises, les organisations à but non lucratif, les fondations, les partenariats, les consortiums, les associations —, chacune ayant ses propres caractéristiques spécifiques et ses mécanismes internes, souvent flexibles dans leurs rôles et leur structure, et opérant dans des cadres divers (par exemple, UE vs. non-UE, national, etc.). Les techniques conventionnelles semblent donc mal adaptées à ce contexte.
Par exemple, les méthodes d’évaluation conventionnelles présentent des lacunes majeures dans la prise en compte des dimensions processuelle et interactive des organisations, qui se sont révélées être des dimensions fondamentales pour atteindre l’efficacité des réseaux. Un autre élément à prendre en compte dans l’évaluation des réseaux d’organisations culturelles et créatives, soutenus par le système de financement de l’UE, est la perspective souvent négligée du parrainage, pour prouver le rapport coût-efficacité de la subvention reçue.
Dans un contexte aussi complexe de parties prenantes, d’intérêts et de points de vue, il est pratiquement impossible de penser que l’on peut évaluer les réseaux avec succès à l’aide de méthodes standard. Il est nécessaire de changer la façon dont nous pensons ces réseaux et, par conséquent, les outils et les pratiques d’évaluation que nous mettons en œuvre. Ce que nous proposons dans cet essai est de considérer de nouveaux types de données, sur lesquels construire de nouvelles méthodes d’évaluation. Un exemple très intéressant qui émerge ces dernières années est celui de l’utilisation de données « non conventionnelles », voire de micro-données.
Un autre exemple est la tendance à soutenir les processus participatifs et les processus des parties prenantes dans l’évaluation des actions publiques. L’idée consiste à saisir des informations au niveau micro — voire individuel — auprès de personnes, d’organisations, de médias, et à les utiliser de manière intégrée pour obtenir une vision plus complète d’événements et d’expériences complexes et multi-acteurs. Une légitimation de cette approche peut être trouvée dans la recommandation de la Commission européenne d’utiliser de nouvelles formes de données (par exemple, les groupes de discussion, Google Analytics, les médias sociaux, l’analyse de la perception, etc.) pour étudier et (auto) évaluer un phénomène complexe comme les capitales européennes de la culture. Cela permet de tirer parti de l’omniprésence des nouvelles technologies disponibles à cette époque pour surmonter les limites imposées par les techniques d’évaluation conventionnelles et, en même temps, de prendre en compte les multiples points de vue et perspectives des différentes parties prenantes.
Une voie à suivre : Modèle d’auto-évaluation pour les réseaux
La possibilité d’utiliser des micro-données peut être appliquée non seulement au cas des politiques européennes, mais aussi aux projets à plus petite échelle et aux organisations bénéficiaires de subventions de l’UE, telles que les réseaux transnationaux. Leur spécificité — processus interactifs et dynamiques, multiplicité des parties prenantes, des intérêts et des valeurs — peut être bien évaluée grâce à l’utilisation de méthodes et de données non conventionnelles extrapolées au niveau du réseau individuel, mais aussi au niveau de l’acteur individuel (c’est-à-dire la personne, le groupe, l’organisation) qui traite avec ce réseau. Cela permettrait une compréhension extrêmement précise, complexe et complète des réseaux et de leur « performance » en fonction de la mission, des valeurs et des résultats.
L’évaluation participative a gagné du terrain pour promouvoir l’auto-évaluation, renforcer l’autodétermination, dans le but de contribuer à la création de politiques et de programmes mieux conçus. L’utilisation d’outils d’auto-évaluation génère une nouvelle compréhension partagée entre les différents acteurs concernés et permet des opportunités d’apprentissage entre les décideurs politiques et les praticiens autour de l’utilisation de l’outil lui-même. Dans le cas spécifique de l’évaluation des réseaux, les méthodes d’auto-évaluation offrent la possibilité de saisir plus en profondeur la complexité, l’ouverture et le dynamisme de la dynamique des réseaux, leur dimension temporelle, mais aussi d’équilibrer les diverses perspectives impliquées dans l’évolution des réseaux.
Le principe qui sous-tend l’utilisation de ces outils pour les réseaux consiste à reconnaître les pratiques des réseaux comme des activités sociales dans lesquelles les valeurs sont co-créées par l’engagement significatif de leurs membres. L’engagement actif des parties prenantes est non seulement souhaitable, mais aussi essentiel à l’évaluation et à l’auto-évaluation d’un réseau, et l’utilisation des microdonnées peut s’avérer cruciale. Ce type de données permet d’étudier les points de vue des différentes parties prenantes à différents niveaux : dans le cas d’un réseau, il peut s’agir d’un membre individuel du conseil d’administration ou d’une personne travaillant dans l’une des organisations membres, ou encore de l’ensemble du conseil d’administration ou de l’ensemble des membres. La capacité à collecter et à analyser ce type de données — sur la base des besoins et des caractéristiques spécifiques du réseau et en impliquant activement les acteurs du réseau — est le point de départ fondamental pour pouvoir analyser tous les impacts spécifiques, les résultats pratiques et les valeurs.
Conclusion
Compte tenu des progrès technologiques, de la complexité et de l’ambition croissantes des politiques et des organisations culturelles, et du besoin constant d’évaluer leur travail, l’une des priorités au niveau européen est d’intégrer de plus en plus de nouveaux types de données et de techniques d’analyse et d’évaluation dans les activités financées par l’Europe. Ceci est également lié à l’hypothèse selon laquelle l’adoption de nouvelles approches participatives de l’évaluation des politiques publiques et de leurs instruments pourrait conduire à plus de démocratie.
Dans le cadre de cet essai, nous avons présenté comment la participation directe des parties prenantes et les microdonnées peuvent être très utiles pour évaluer les réseaux (et autres organes/situations) avec de multiples parties prenantes et intérêts. Un bon moyen d’obtenir ces données — et une meilleure compréhension de celles-ci — est de faire participer les parties prenantes à différents niveaux à la production et à la collecte des données elles-mêmes.
En conclusion, l’implication des parties prenantes est ici proposée comme essentielle pour passer à une approche d’évaluation basée sur le processus, dans laquelle les outils d’auto-évaluation servent à l’apprentissage progressif entre les diverses parties concernées. Dans un tel processus, la mise en œuvre d’outils d’auto-évaluation semble susceptible d’apporter plusieurs avantages, tels que : l’implication active des parties prenantes à différents niveaux dans l’évaluation de leur réseau conduit à l’autonomisation des acteurs en ce qui concerne leur propre travail et l’avenir de leur organisation ; l’auto-évaluation, basée sur le processus, permet l’apprentissage entre les différentes parties prenantes impliquées ; la personnalisation du processus d’évaluation et de ses résultats est basée sur les particularités et les besoins de chaque réseau spécifique ; la possibilité de modifier l’orientation de l’évaluation « en cours de route » est assurée par une relative simplicité ; et l’utilisation de données fraîches et toujours à jour.
À l’approche d’une conclusion définitive décrivant les étapes pratiques d’un processus d’auto-évaluation pour les réseaux, les principaux défis incluent : le temps à investir pour comprendre la stratégie du réseau ; la nécessité d’un haut niveau de qualification pour mener à bien l’évaluation ; la participation (et idéalement la collaboration totale) du réseau à tous les niveaux ; et la coordination pour comparer différents réseaux sur des indicateurs similaires.
Étapes pratiques de la mise en œuvre des stratégies d’auto-évaluation
-
Impliquer le(s) chercheur(s)
-
Déterminer la portée, les objectifs précis et la valeur stratégique du processus d’évaluation
-
Définir le temps (durée et disponibilité) et les ressources à allouer à l’évaluation
-
Collaborer à l’identification d’indicateurs supplémentaires potentiels, spécifiques aux besoins du réseau
-
Concevoir et déployer une première enquête (t1) pour saisir les spécificités et l’état du réseau et collecter les données nécessaires
-
Phase de suivi : créer un échange direct avec les membres (dialogue) et mettre en œuvre une analyse du contexte et des circonstances externes
-
Concevoir et mettre en œuvre une enquête de suivi (t2) et une collecte de données conséquente
-
Analyse des données
-
Inclure des informations qualitatives supplémentaires
-
Visualisation des résultats
-
Répéter les points 6–7 autant de fois que la stratégie l’exige (processus d’évaluation continu : t3, t4,… tn)
Références
-
European Commission (2018), European Capitals of Culture (ECoC) 2020-2033: Guidelines for the cities’ own evaluations of the results of their ECOC. https://culture.ec.europa.eu/sites/default/files/2021-04/ecoc-guidelines-for-cities-own-evaluations-2020-2033.pdf
-
Mereghetti, C. (2022). Innovare la valutazione d’impatto sociale di iniziative culturali. DigitCult-Scientific Journal on Digital Cultures, 7(2), 53-69
-
Scioldo, C. (2022), ‘Transnational Networks between European Governance and Local Chance in the Cultural and Creative Sector, if not for harmonizing Policy, then what?’ (Doctoral Dissertation, forthcoming 2024)