Newsletter no. 37, November 2023

Editorial

Stefan Rieder
Präsident der SEVAL

 

Themen

• Aktivitäten und Mitteilungen der SEVAL / Activités et communications de la SEVAL
• Internationales / Internationale
• Aus- und Weiterbildung / Formations et formations continues
• Informationen aus den Arbeitsgruppen / Informations de la part des groupes de travail
• Agenda / Agenda
• Publikationen / Publications

 

Aktivitäten und Mitteilungen der SEVAL / Activités et communications de la SEVAL

---

SEVAL-Kongress 2023: Bericht über die methodischen Workshops am Donnerstagnachmittag

Autorin: Mélanie Attinger, mit Beiträgen der Organisatorinnen und Organisatoren der methodischen Workshops.

Sprache(n): Deutsch / Französisch (je nach Hauptsprache der Beiträge)

Seit über zehn Jahren werden am Nachmittag vor dem Jahreskongress der SEVAL Methodenateliers angeboten. In den methodischen Ateliers stellen die Evaluatorinnen und Evaluatoren innovative oder interessante methodische Aspekte vor. Der Schwerpunkt liegt dabei auf den Methoden und nicht auf dem Inhalt oder den Ergebnissen der Evaluation. Methodenateliers ermöglichen es den Personen, die Evaluationen durchführen, ihre Methoden und Forschungstechniken konstruktiv sowie kritisch zu diskutieren. Auftraggeberinnen und Auftraggeber können sich für ihre nächsten Ausschreibungen von den methodischen Ansätzen inspirieren und auf dem Laufenden halten lassen. Der Austausch mit Fachleuten aus dem Bereich der Evaluationsforschung ermöglicht gegenseitige Bereicherungen.

Die ursprünglich alle zwei Jahre stattfindenden Methodenateliers sind sehr erfolgreich und werden sowohl von den Personen, die sie organisieren, als auch von denen, die daran teilnehmen, sehr geschätzt. Die Umfrage im Anschluss an den Kongress im letzten Jahr ergab, dass die Ateliers häufiger durchgeführt werden sollten. Aus diesem Grund begann auch der Kongress 2023 am Donnerstagnachmittag mit neun methodischen Ateliers zu verschiedenen Themen in Deutsch, Englisch und Französisch. Die Teilnehmerinnen und Teilnehmer hatten die Möglichkeit, im Laufe des Nachmittags vier Ateliers zu besuchen.

Der vorliegende Bericht gibt ihnen eine Zusammenfassung der Ateliers. Außerdem sind die Präsentationen auf der SEVAL-Website hier verfügbar.

Der Erfolg der Methodenateliers ist in erster Linie auf die hohe Qualität der Organisation zurückzuführen. Ein herzliches Dankeschön an die Personen, die mit viel Engagement einen Workshop vorgeschlagen und durchgeführt haben. Der Mehrwert der Methodenateliers liegt auch in der Fülle des Austauschs; daher vielen Dank an die Teilnehmerinnen und Teilnehmer für ihre aktive Rolle!

Der Bericht über die Jahrestagung 2023 zum Thema «Der Beitrag von Evaluationen zu einer evidenzbasierten öffentlichen Politik» wird in der Zeitschrift LeGes veröffentlicht, die im Dezember 2023 erscheinen wird.

***

Congrès SEVAL 2023 : Compte rendu des ateliers méthodologiques du jeudi après-midi

Auteure: Mélanie Attinger, avec les contributions des organisatrices et organisateurs des ateliers méthodologiques

Langue(s): Français / Allemand (selon la langue principale des interventions)

Depuis plus de dix ans, des ateliers méthodologiques sont proposées l’après-midi précédant le congrès annuel de la SEVAL. Dans les ateliers méthodologiques, les évaluatrices et évaluateurs présentent des aspects méthodologiques innovants ou intéressants. L’accent est ainsi porté sur les méthodes et pas sur le contenu ou les résultats de l’évaluation. Les ateliers méthodologiques permettent aux personnes réalisant les évaluations de discuter leurs méthodes et techniques de recherche de façon constructive ainsi que critique. Les mandantes et mandants peuvent s’inspirer et se tenir au courant des approches méthodologiques pour leurs prochains appels d’offres. Les échanges avec les spécialistes du domaine de la recherche en évaluation permettent des enrichissements mutuels.

Initialement organisés tous les deux ans, les ateliers méthodologiques ont un grand succès et sont très appréciés tant par les personnes qui les organisent que celles qui y participent. Le sondage réalisé suite du congrès de l’année dernière a mis en évidence une demande pour la réalisation d’ateliers de manière plus fréquente. Pour cette raison, l’édition 2023 du congrès a également débuté le jeudi après-midi avec neufs ateliers méthodologiques sur des thèmes variés et ce en français, en allemand et en anglais. Les participant·e·s ont eu la possibilité de suivre quatre ateliers au cours de l’après-midi.

Le présent compte-rendu vous donne un résumé des ateliers. De plus, les présentations sont disponibles sur le site internet de la SEVAL ici

Le succès des ateliers méthodologique tient tout d’abord dans la grande qualité de l’organisation. Un grand merci aux personnes qui se sont impliquées avec engagement pour proposer et présenter un atelier. La plus-value des ateliers méthodologiques réside également dans la richesse des échanges; merci donc aux participantes et participants pour leur rôle actif!

Le compte-rendu du congrès annuel 2023 sur le thème de la contribution des évaluations à des politiques publiques fondées sur les preuves sera publié dans la revue LeGes à paraître en décembre 2023.

---

Methodenateliers 2023 /

Ateliers méthodologiques 2023

MA01 – Ausschreibung von Evaluationen

Stefan Rieder und Reinhard Zweidler stellten den Stand der Arbeiten der Arbeitsgruppe Ausschreibungen vor. Die Arbeitsgruppe befasst sich seit 2021 mit wiederkehrenden, oft kontrovers diskutierten Fragen rund um die Ausschreibungen von Evaluationen. Diese Fragen betreffen einerseits formale Aspekte (z.B. Fristen, Art der Ausschreibung) und andererseits auch inhaltliche Aspekte von Ausschreibungen (z.B. Vorgaben zu Methoden, Vorgaben zum Budget, Berichtsstruktur, Formulierung von Eignungs- und Zuschlagskriterien). Die Arbeitsgruppe hat die Thematik aufgenommen und als Ausgangspunkt gute und weniger gute Beispiele von Ausschreibungen gesammelt. Basierend darauf wurden im Methodenatelier Herausforderungen bei der Ausschreibung von Evaluationen präsentiert und Möglichkeiten geschildert, wie die Herausforderungen in der Praxis bewältigt werden können. Die Arbeitsgruppe plant, ein Vademecum zur Ausschreibung von Evaluationen zu erstellen.

Im Methodenatelier wurde angeregt über die Thematik diskutiert. Dabei zeigte sich, dass die von der Arbeitsgruppe aufgenommenen Themen einen breiten Kreis von Auftraggebenden wie Auftragnehmende beschäftigen. Es wurde angeregt, dass das geplante Vademecum auf die einzelnen Schritte einer Ausschreibung eingehen und auch die Handlungsspielräume der ausschreibenden Stelle aufzeigen solle. Auch wurde vorgeschlagen, zusätzlich zu den Bundesämtern auch die Beratungsbüros für öffentliche Beschaffung anzusprechen. Am 05.12.2023 wird zudem im Rahmen des Netzwerks Evaluation der Bundesverwaltung eine Veranstaltung mit den Bundesämtern durchgeführt, um deren Bedürfnisse umfassend abzuholen.

Organisation und Redaktion: Stefan Rieder (Interface Politikstudien Forschung und Beratung) und Reinhard Zweidler (EBP Schweiz AG)

***

MA02 – Evaluationsforschung 2.0: Wie ChatGPT und weitere KI-Programme unsere Arbeit bereichern können

Im Methodenatelier «Evaluationsforschung 2.0» haben Lukas Oechslin (Interface Politikstudien) und Stefan Schütz (ETH Zürich) vorgestellt, wo und wie ChatGPT und andere KI-Tools den Arbeitsalltag in der Evaluationsforschung erleichtern können. Die folgenden Anwendungsbereiche und Inhalte wurden dabei vertieft:

Literaturrecherche

Für das Auffinden der Literatur ist die kostenlose Version ChatGPT derzeit noch ungeeignet. Eine mögliche Alternative stellt die KI «ConnectedPapers» dar.

ChatGPT kann die Recherche jedoch durch die automatische Zusammenfassung von Fachartikeln und durch das Auffinden von relevanten Informationen erheblich beschleunigen.

Datenanalyse

Mit ChatGPT kann die Auswertung von unbekannten Textdaten automatisiert werden, um Muster, Schlüsselbegriffe und Themen zu identifizieren (Mining). Ausserdem kann das Modell Sentimentanalysen durchführen, um Stimmungen in Texten zu erfassen.

ChatGPT kann in verschiedenen Programmiersprachen ein Gerüst für einen Analysecode erstellen, auch aufbauend auf deskriptivem Text.

Umfrageerstellung und -auswertung

ChatGPT kann als kreatives Werkzeug dienen, um Fragestellungen zu generieren oder vorformulierte Fragen zu variieren.

Darüber hinaus kann das Programm bei der Auswertung z.B. von Befragungen helfen, indem es etwa Freitextantworten voranalysiert, klassifiziert oder diese in grafische Elemente wie Word-Clouds transformiert.

Berichterstellung und Präsentation

ChatGPT kann dazu genutzt werden, Textbausteine für Berichte zu generieren oder sogar eine vorläufige Version eines gesamten Berichts zu erstellen.

Auch für Übersetzungen und/oder stilistisch angepasste Umformulierungen sind ChatGPT oder alternative Werkzeuge wie z.B. Grammarly oder DeepL wertvoll.

Zudem kann ChatGPT bei der Präsentation von Ergebnissen unterstützen, indem das Programm z.B. Visualisierungsideen vorschlägt oder automatisch und den Adressatinnen und Adressaten  angepasst ein «Executive Summary» generiert.

Gemäss den Atelierverantwortlichen kann KI ein hilfreiches Tool im Evaluationsalltag darstellen. Wichtig ist dabei aber, verschiedene Schwächen der aktuellen Modelle (wie Verzerrungen und Voreingenommenheit, Falschinformationen und sogenanntes «Fantasieren», Token-Limitierungen, fehlende Quellenangaben) kritisch zu reflektieren und den Datenschutz einzuhalten. ChatGPT und andere Anwendungen von künstlicher Intelligenz können bei unserer Arbeit wertvolle Unterstützung leisten, die Verantwortung für eine hohe Qualität von Evaluationen liegt jedoch nach wie vor bei uns Fachexpertinnen und -experten.

Organisation und Redaktion: Lukas Oechslin (Interface Politikstudien Forschung und Beratung) und Stefan Schütz (ETH Zürich)

***

MA03 – Methodische Erkenntnisse aus der grossen Evaluation der Winter-Energiespar-Initiative

Sarah Hafner hat ihr Methodenatelier im Programm des SEVA-Kongresses so vorgestellt:

Der Bund lancierte Ende August 2022 die Winter-Energiespar-Initiative. Diese zielte darauf ab, eine Mangellage von Gas und/oder Strom für den Winter 2022/2023 zu verhindern. Die Winter-Energiespar-Initiative umfasste:

• die Energiesparkampagne «Energie ist knapp. Verschwenden wir sie nicht». Diese landesweite Kampagne mit konkreten Energiesparempfehlungen richtet sich an die Bevölkerung und Wirtschaft (nicht-verschwenden.ch).
• die Energiespar-Alliance, die sich aus Unternehmen und Organisationen zusammensetzt, welche die Energiesparkampagne aktiv auf ihren Kanälen weiterverbreiten und sich mit eigenen freiwilligen zusätzlichen Energiespar-Massnahmen engagieren (https://alliance2022-23.ch).

Ecoplan wurde vom Bundesamt für Energie (BFE) mit der Evaluation der Winter-Energiespar-Initiative beauftragt. Die Evaluation fand im Zeitraum von Januar 2023 bis Juli 2023 statt. Dabei war die Konzeption, Umsetzung sowie die Wirksamkeit der Initiative zu beurteilen. Zudem waren Empfehlungen für die Weiterentwicklung der Winter-Energiespar-Initiative 2023/24 zu erarbeiten.

Bei der Evaluation wurde ein so genanntes «Mixed Methods-Design» eingesetzt, wobei eine Triangulation auf zwei Ebenen stattfand; (i) auf der Ebene der Datenerhebung und (ii) auf der Ebene der Datenauswertung und Interpretation. Die angewendeten Methoden beinhalten beispielsweise eine Dokumenten- sowie Literaturanalyse, Interviews, die Durchführung von zwei Fokusgruppen sowie eine repräsentative Bevölkerungsbefragung. Das verwendete «Mixed Methods-Design» soll im Methodenatelier vorgestellt werden.

Organisation: Sarah Hafner, Ecoplan

***

MA04 – Cyberadministration, expériences d’une législation expérimentale

La cyberadministration peut se définir comme l’intégration des technologies numériques dans le fonctionnement et l’organisation de l’État ainsi que dans les relations que celui-ci entretient avec les citoyens et l’économie. Son développement est un défi à la fois d’ordre technique mais aussi juridique. Il requiert une activité créatrice de la part de l’administration comme du législateur. Les deux doivent se laisser convaincre d’expérimenter de nouvelles choses et accepter d’avancer par étapes, en allant parfois du détail au principe, du particulier au général, de la variété à l’homogénéité, de l’expérience à la règle. D’ordinaire, l’élaboration d’une loi poursuit néanmoins un cheminement différent, plus linéaire qu’itératif. La loi est rédigée sur la base d’une analyse prospective uniquement et entre en vigueur avant que l’objet qu’elle régule ne soit mis en exploitation. Plus l’objet régulé est complexe, plus le risque existe cependant que la loi ne dise pas correctement ce que fait l’objet et que l’objet ne fasse pas exactement ce que dit la loi. Le recours à la législation expérimentale peut constituer un remède à ce problème. On débute avec un projet pilote dont les grandes lignes sont tracées dans une ordonnance expérimentale d’une durée de vie limitée. La phase pilote permet de récolter en conditions réelles les enseignements nécessaires à l’élaboration d’un projet de loi, notamment grâce à la réalisation d’une analyse rétrospective. Le projet de loi soumis au Parlement a ainsi l’avantage d’être plus dense et plus précis. C’est de cette manière que le canton de Fribourg procède actuellement dans le but de créer un référentiel cantonal de données d’identification. Suivant le principe «Once-Only», le but est de gérer de manière centralisée pour l’ensemble de l’administration les données d’identification des administrées et administrés plutôt que chaque organe continue de gérer individuellement un tel registre. Ce faisant, on libère l’administration de tâches redondantes et sans réelle plus-value. Le projet pilote «référentiel cantonal» a débuté avec l’adoption en 2019 de l’ordonnance pilote concernant la mise en œuvre du référentiel cantonal de données de personnes, organisations et nomenclatures (RSF 184.16). Il est actuellement arrivé à la phase d’élaboration d’un projet de loi qui sera prochainement mis en consultation.

Organisation et rédaction: Michael Montavon (Service de législation de l’Etat de Fribourg)

***

MA05 – Usefulness and acceptability of evaluation recommendations through participatory steps

Un article portant sur le thème de l’atelier est en préparation pour une publication dans la revue LeGes fin 2023 ou début 2024. L’article sera publié en anglais dans la catégorie «reflets de la pratique» et les auteurs seront: Bernard M., Schulz C., Troxler R. Un résumé de l’atelier méthodologique est ici présenté en français et en allemand.

Utilité et acceptation des recommandations de l’évaluation par le biais d’étapes participatives

L’utilité est l’un des principes fondamentaux d’évaluations de qualité (SEVAL 2016, Standards d’évaluation de la Société Suisse d’évaluation), qu’il s’agisse d’évaluations sommatives ou formatives. Selon le Standard C3, les recommandations doivent être fondées et concrètes, adressées à leur destinataires et réalisables par ces derniers. En particulier dans le cas d’évaluations de projets, de programmes, de stratégies ou de partenariats en plusieurs phases, pour lesquels des enseignements doivent être tirés pour la planification et les actions ultérieures, il est important que les recommandations de l’évaluation soient perçues et acceptées comme pertinentes et utiles par les parties prenantes.

L’atelier méthodologique a présenté le recours à des étapes participatives pour développer des recommandations dans le processus d’évaluation. Il a permis aux participantes et participants de réfléchir à l’amélioration de l’utilité et l’acceptation des recommandations d’évaluation grâce au recours adéquat à des étapes participatives. L’audience a également échangé sur les bonnes pratiques ainsi que les risques liés à l’intégration d’étapes participatives dans la définition des recommandations.

L’un des principaux enseignements de la discussion a été qu’il est important de déterminer dès le tout début d’une évaluation (phase de démarrage), les méthodes qui seront utilisées pour élaborer les recommandations et si les démarches participatives ou l’implication des parties prenantes sont appropriées à cet effet. Les échanges ont également mis en évidence l’importance de tenir compte de l’objectif et de la portée de l’évaluation au moment de décider des étapes participatives et de présenter de manière transparente la contribution de ces étapes au rapport d‘évaluation et, en particulier, aux recommandations. La prise en compte adéquate de ces enseignements est essentielle pour limiter les risques discutés, en particulier l’instrumentalisation des évaluateurs et évaluatrices pour mettre en avant les priorités de certains acteurs dans les recommandations, l’absence d’une réelle participation et les malentendus sur la contribution du processus participatif au développement des recommandations.

Nützlichkeit und Akzeptanz von Evaluationsempfehlungen durch partizipative Schritte

Die Nützlichkeit ist eines der Grundprinzipien von qualitativ hochwertigen Evaluationen (SEVAL 2016, Evaluationsstandards der Schweizerischen Evaluationsgesellschaft), unabhängig davon, ob es sich um summative oder formative Evaluationen handelt. Laut Standard C3 müssen Empfehlungen fundiert und konkret sein, sich an ihre Adressatinnen und Adressaten richten und von diesen umsetzbar sein. Insbesondere bei Evaluationen von mehrphasigen Projekten, Programmen, Strategien oder Partnerschaften, aus denen «lessons learned» für die weitere Planung und Umsetzung abgeleitet werden sollen, ist es wichtig, dass die Empfehlungen der Evaluation von den Adressatinnen und Adressaten als relevant und nützlich wahrgenommen und akzeptiert werden.

Das Methodenatelier stellte den Einsatz von partizipativen Schritten zur Entwicklung von Empfehlungen im Evaluierungsprozess anhand von zwei konkreten Beispielen vor. Dadurch konnten die Teilnehmenden reflektieren, inwieweit die Nützlichkeit und Akzeptanz von Evaluationsempfehlungen durch den angemessenen Einsatz von partizipativen Schritten verbessert werden kann. Das Publikum tauschte sich auch über «good practices» sowie über die Risiken aus, die mit der Einbindung von partizipativen Schritten bei der Formulierung von Empfehlungen verbunden sind.

Eine der wichtigsten Erkenntnisse aus der Diskussion war, dass es wichtig ist, bereits ganz zu Beginn einer Evaluation (Inception Phase) festzulegen, anhand welcher Methoden die Empfehlungen entwickelt werden sollen und ob partizipative Schritte bzw. die Beteiligung von Akteuren dafür geeignet sind. Der Austausch machte auch deutlich, wie wichtig es ist, den Zweck und die zugrundeliegende Motivation der Evaluation bei der Entscheidung über die partizipativen Schritte zu berücksichtigen und den Beitrag dieser Schritte zum Evaluationsbericht und insbesondere zu den Empfehlungen transparent darzustellen. Die angemessene Berücksichtigung dieser Lernerfahrungen ist entscheidend für die Eindämmung diskutierter Risiken, speziell der Instrumentalisierung der Evaluierenden um die Prioritäten gewisser Akteure in den Empfehlungen in den Vordergrund zu stellen, dem Fehlen einer echten Beteiligung und Missverständnisse über den Beitrag des partizipativen Prozesses zur Entwicklung der Empfehlungen.

Organisation et rédaction: Carsten Schulz, Magali Bernard et Roman Troxler (KEK – CDC)

***

MA06 – Wie kann das Konzept der Blue Marble Evaluation praktisch umgesetzt werden?

Christoph Glauser und Reinhard Zweidler haben ihr Methodenatelier im Programm des SEVA-Kongresses so vorgestellt:

Das Konzept der Blue-Marble-Evaluation, das von Michael Quinn Patton entwickelt wurde, basiert auf der Idee, dass Evaluationen nicht bloss einzelne Programme oder Projekte betrachten, sondern auch die Auswirkungen des Evaluationsgegenstandes auf globale Herausforderungen wie Klimawandel, Armut oder Ungleichheit berücksichtigen sollten. Dadurch wird es möglich, Projekte und Programme besser auf ihren Beitrag zur Bewältigung der drängenden Probleme der Menschheit hin zu beurteilen. Ein erstes Impulsreferat geht der Frage nach, wann, wie und in welchem Umfang dieser Anspruch auf ganzheitliche Betrachtung eingelöst werden könnte. Der zweite Impuls stellt die Evaluation des Projekts «IMI fliegt» vor. «IMI fliegt» wurde vom Frauenhaus in Biel solidarité femmes initiiert und bezweckt, Folgen von häuslicher Gewalt frühzeitig zu erkennen, von Fachleuten adäquat bearbeiten zu lassen und so weiterer Gewalteskalation vorzubeugen. Die Evaluation wurde nach dem Blue-Marble-Ansatz konzipiert und ging auch insofern neue Wege, als sie bisher als unmessbar geltende «soft factors» zumindest vergleichbar macht mit mess- und bezifferbaren Folgekosten von häuslicher Gewalt für die Gesellschaft.

In der anschliessenden Diskussion suchen wir einerseits den Austausch mit Kolleginnen und Kollegen, die in ihrer Arbeit auch schon Bezug auf Blue-Marble genommen haben. Die Autoren von Blue Marble Evaluationen schlagen auch eine «Assemblage» von ganz verschiedenen Methoden vor, was die klassische Form der Evaluation teilweise in Frage stellt. Andererseits möchten wir herausarbeiten, welche konkreten Herausforderungen sich stellen könnten, wenn wir nach diesem Ansatz arbeiten wollen, insbesondere im Hinblick auf Auftragsdefinition, Evaluationsfragestellungen, Evaluationsdesign, Datenerhebung und -auswertung sowie Berichterstattung.

Organisation: Christoph Glauser (IFAA) und Reinhard Zweidler (EBP Schweiz AG)

***

MA07 – Évaluation de la mise en œuvre de l’éducation numérique dans le système scolaire vaudois

L’atelier méthodologique avait pour but de présenter l’évaluation continue d’un projet de réforme dans l’enseignement vaudois visant à introduire l’éducation numérique tout au long du cursus scolaire obligatoire et postobligatoire. Des établissements pilotes ont été sélectionnés dans le canton afin de tester et améliorer le contenu de l’éducation numérique en vue de sa généralisation dans le reste des établissements scolaires vaudois. Ce projet réunit des acteurs gouvernementaux et académiques avec des compétences et responsabilités variées. Ont été présentés les différentes méthodes utilisées depuis le début de l’évaluation en 2018 ainsi que les obstacles rencontrés. Du côté méthodologique, une approche mixte est appliquée; elle inclut par exemple des études de cas, des focus groups, des enquêtes en ligne ou des entretiens d’experts.

Les obstacles rencontrés ont notamment mené, au cours des années, à la redéfinition du modèle d’effets du projet ainsi qu’à des réorientations de l’évaluation. En effet, outre l’évaluation des effets du projet sur ses bénéficiaires finaux (élèves, enseignantes et enseignants), il était devenu essentiel de se concentrer sur la collaboration entre les partenaires du projet. Le manque de définition et les différents conflits ont depuis le début rythmé le contenu ainsi que l’avancée de l’évaluation. La volonté politique autour d’un projet peut avoir des répercussions variées: d’un côté, lorsque trop ancrée, il arrive qu’elle ralentisse l’évaluation, de l’autre, elle peut agir en tant que puissant moteur permettant aux partenaires d’œuvrer à son bon fonctionnement.

Organisation et rédaction: Stéphane Bonny et Tereza Cahlikova (IDHEAP, Université de Lausanne)

***

MA08 – Evaluation de la mobilité partagée comme composante stratégique d’une politique de transports ou de mobilités pour la transition écologique

Les enjeux de transition écologique en matière de mobilités nécessitent des objectifs de réduction de gaz à effet de serre (GES) importants dans une temporalité à 30 ans avec pour conséquence la démonstration de résultats significatifs sur une base régulière. Dans ce contexte, une organisation cohérente de la mobilité partagée renforce son attractivité et contribue aux changements de comportements. Son évaluation régulière sert à ajuster les modalités de son évolution. Toutefois, un certain nombre de prérequis contribuant à formaliser le cadre de son évaluation sont lacunaires : la définition est approximative, les statistiques du transport des personnes en général sont incomplètes sur ce sujet, quant à sa place dans la notion d’interfaces multimodales, elle manque de clarté. Nous proposons une démarche en trois étapes. La première étape, réaliser un état des lieux de la mobilité partagée — circonscrit à une région définie (ville, agglomération ou canton) — et délimiter le champ de ses activités sur la base de cinq enjeux : report modal, distribution spatiale, accessibilité, gouvernance et viabilité économique. La deuxième étape, établir des scénarios aux objectifs différenciés sur une courte période de quatre ou cinq années. Mettre en œuvre le scénario validé et tenir un monitoring (en dialogue avec l’administration compétente ou selon les cas l’autorité organisatrice et les prestataires). La troisième étape, proposer une évaluation et des recommandations fondées permettant de dévoiler les optimisations potentielles de la mobilité partagée et la pertinence de l’intégrer avec ses objectifs dans une vision 2030 des politiques de mobilités.

Organisation et rédaction: Nathalie Raya Etter, Pascale Roulet Mariani (bureau cevAde) en collaboration avec Claudine Morier (laoulia)

***

MA09 – Prüfung der Wirksamkeit der CO2-Sanktionen für neue Personen- und Lieferwagen

Andrea Häuptli hat ihr Methodenatelier im Programm des SEVA-Kongresses so vorgestellt:

Im Rahmen der Evaluation der Wirksamkeit der CO2-Sanktionen für neue Personen- und Lieferwagen konnten anhand von statistischen Auswertungen unterschiedliche Fehlanreize identifiziert werden. Dies war unter Einbezug der Vollzugsdaten des BFE möglich. Das Atelier beschreibt den Prozess der Identifikation von Analysemöglichkeiten und deren Umsetzung.

Organisation: Andrea Häuptli (Eidgenössische Finanzkontrolle)

---

Erfahrungsbericht eines jungen Evaluators, Philipp Zogg

Wir setzen den Dialog mit jungen Evaluatoren und Evaluatorinnen fort. In dieser Ausgabe berichtet Philipp Zogg, der für das Büro PrivatePublicConsulting arbeitet, wie er das Evaluieren erlernt hat und wie er sich dafür einsetzt, diesen Beruf bei jungen Leuten zu fördern.

1) Philipp, wie bist du auf die Evaluation gestossen?

Während meines Studiums habe ich leider nie etwas über Evaluation gehört. Eine entscheidende Rolle spielte meine Masterarbeit, die ich mit dem WWF Schweiz zum Nutzen seiner Unternehmenspartnerschaften verfasste. Es war eine bereichernde Erfahrung, mit wissenschaftlichem Vorgehen einen Mehrwert für die Praxis zu schaffen. Nach meinem Abschluss habe ich nach Stellen gesucht, die eine solche Tätigkeit beinhalten – und bin auf ein Praktikum im Evaluationsbereich bei der EFK gestossen. Da hat es mir den Ärmel reingenommen.

2) Was gefällt dir an der Evaluation?

Ich finde es sehr motivierend, an angewandten Fragestellungen zu arbeiten und diese fundiert zu beantworten. Dabei komme ich immer wieder mit interessanten Themen und Aspekten in Berührung, die mir ansonsten unbekannt geblieben wären. Die Arbeit ist zudem sehr abwechslungsreich; das Gegenteil einer Routinestelle, in der stets die gleichen Aufgaben anfallen. Das erfordert eine Offenheit und Neugierde sowie die Bereitschaft, immer wieder Neues zu erlernen. Dies gefällt mir sehr, weil ich mich so auch persönlich laufend weiterentwickeln kann.

3) Wie weckst du Berufungen bei jungen Menschen?

Bei unseren Besuchen an Universitäten berichten wir von unserer konkreten Arbeit und was uns daran gefällt. Die obigen Punkte sprechen auch die eine oder andere Student*in an. Viele finden es motivierend, dass es eine Tätigkeit gibt, in welcher sie die Instrumente und Techniken aus ihrem Studium praktisch anwenden können. Wir zeigen zudem auf, wie divers das Arbeitsumfeld einer Evaluator*in sein kann – z.B. in einem privaten Büro mit Fokus auf die Schweiz oder den Entwicklungskontext, in einer Aufsichtsstelle wie der PVK oder EFK oder auch in einer Evaluationsstelle innerhalb der Verwaltung oder einer NGO.

4) Was sind die Herausforderungen für den Evaluator und die Evaluatorin von morgen?

Trotz der diversen Möglichkeiten für Evaluator*innen gibt es nicht viele Einstiegsstellen für Studienabgänger*innen – und jene, die es gibt, sind ihnen oft nicht bekannt. Zudem gibt es kein bestimmtes Profil und keinen klaren Weg, wie man Evaluator*in werden kann. Diese Punkte versuchen wir mit den Aktivitäten der Swiss JEE und dem neuen SEVAL-Stipendium anzugehen. Ein prägender Aspekt für die Arbeit aller Evaluator*innen, ob angehend oder arriviert, liegt wiederum in der laufend fortschreitenden Digitalisierung. Es bieten sich dadurch stets neue Zugänge zu Datenerhebungen, Auswertungsmöglichkeiten und Darstellungsformen der Resultate an. Wir sind gefordert, diese Möglichkeiten in unser Repertoire aufzunehmen und sinnvoll zu nutzen.

***

Témoignage d’un jeune évaluateur, Philipp Zogg

Nous poursuivons le dialogue avec les jeunes évaluateurs et évaluatrices. Dans ce numéro, Philipp Zogg, qui travaille pour le bureau PrivatePublicConsulting, nous fait part de son apprentissage de l’évaluation et de son engagement à promouvoir ce métier auprès des jeunes. 

1) Philipp, comment as-tu découvert l’évaluation ?

Pendant mes études, je n’ai malheureusement jamais entendu parler d’évaluation. Mon travail de master, que j’ai rédigé avec le WWF Suisse sur les avantages de ses partenariats d’entreprise, a joué un rôle décisif. C’était une expérience enrichissante de créer une valeur ajoutée pour la pratique grâce à une approche scientifique. Après avoir obtenu mon diplôme, j’ai cherché des postes impliquant une telle activité – et je suis tombé sur un stage dans le domaine de l’évaluation au CDF. C’est là que ça m’a remonté les manches.

2) Qu’est ce qui te plaît dans l’évaluation ?

Je trouve très motivant de travailler sur des questions appliquées et d’y répondre de manière fondée. J’entre régulièrement en contact avec des thèmes et des aspects intéressants que je n’aurais pas connus autrement. Le travail est également très varié, tout le contraire d’un poste de routine où les tâches sont toujours les mêmes. Cela demande une ouverture d’esprit et de la curiosité, ainsi que la volonté d’apprendre sans cesse de nouvelles choses. Cela me plaît beaucoup, car je peux ainsi me développer personnellement.

3) Comment suscites-tu des vocations auprès des jeunes ?

Lors de nos visites dans les universités, nous parlons de notre travail concret et de ce qui nous plaît. Les points ci-dessus parlent aussi à l’un·e ou l’autre étudiant·e. Beaucoup trouvent motivant qu’il existe une activité dans laquelle ils et elles peuvent mettre en pratique les outils et les techniques de leurs études. Nous montrons également à quel point l’environnement de travail d’un·e évaluateur et évaluatrice peut être varié – par exemple dans un bureau privé axé sur la Suisse ou le contexte de développement, dans un organisme de surveillance comme le CPA ou le CDF ou encore dans un service d’évaluation au sein de l’administration ou d’une ONG.

4) Quels sont les défis de l’évaluateur et de l’évaluatrice de demain ?

Malgré les diverses possibilités pour les évaluateurs et les évaluatrices, il n’y a pas beaucoup de postes d’entrée pour les jeunes diplômé·e·s – et ceux qui existent ne leur sont souvent pas connus. De plus, il n’existe pas de profil spécifique ni de voie claire pour devenir évaluateur ou évaluatrice. Nous essayons d’aborder ces points avec les activités de Swiss JEE et la nouvelle bourse de la SEVAL. L’un des aspects les plus marquants du travail de tous les évaluateurs et évaluatrices, qu’ils et elles soient débutant·e·s ou confirmé·e·s, est la numérisation en constante évolution. Elle offre de nouveaux accès à la collecte de données, aux possibilités d’évaluation et aux formes de présentation des résultats. Nous sommes appelés à intégrer ces possibilités dans notre répertoire et à les utiliser à bon escient.

---

Prix SEVAL 2023: Bravo an die PreisträgerInnen 2023!

Die Jury des Prix SEVAL zeichnete in diesem Jahr die Arbeit von Simon Endes, Eliane Kraft und Sarina Steinmann (Ecoplan AG) aus. Ihre Arbeit mit dem Titel «Erhebungsinstrumente körperlicher Aktivität. Methodische Ansätze für die Evaluationspraxis in der Gesundheitsförderung», wurde von Gesundheitsförderung Schweiz in Auftrag gegeben. Mit diesem Preis würdigt die SEVAL einen Beitrag zur Weiterentwicklung von Theorie und Praxis der Evaluation und zeichnet diesmal eine praktische Arbeit aus.

Die Arbeit überzeugte die Jury durch ihre hohe Praxisrelevanz: es soll Evaluierenden und Projektleitenden als Hilfestellung dienen, das geeignete Erhebungsinstrument für ihre Evaluationspraxis auszuwählen, wenn es darum geht, die körperliche Aktivität verschiedener Zielgruppen zu messen. Zu diesem Zweck wird ein Entscheidschema vorgeschlagen, das ein besonders originelles und innovatives Element darstellt. Die Arbeit basiert auf einer Literaturrecherche zu verwendeten Instrumenten in bestehenden Evaluationen und Studien sowie auf Interviews und einer Fokusgruppe mit ExpertInnen aus der Schweiz und Deutschland und hat damit auch einen starken wissenschaftlichen Hintergrund. Schliesslich trägt auch die Art und Weise, wie sie verfasst und aufbereitet wurde, dazu bei, sie allen Interessierten zugänglich zu machen.

Im Namen der Jury gratulieren wir den Preisträgerinnen und Preisträger herzlich! Die Arbeit von Simon Endes, Eliane Kraft und Sarina Steinmann kann auf der SEVAL-Website eingesehen werden.

Wenn Sie sich um den Prix SEVAL 2024 bewerben möchten, können Sie Ihre Arbeit jetzt an secretariat@seval.ch schicken! Informationen und Reglement finden Sie hier

***

Prix SEVAL 2023 :

Bravo aux lauréat·e·s 2023!

Le jury du prix SEVAL a récompensé cette année le travail de Simon Endes, Eliane Kraft et Sarina Steinmann (Ecoplan AG). Leur travail, intitulé « Instruments de recueil de données sur l’activité physique. Approches méthodologiques pour la pratique d’évaluation dans la promotion de la santé », a été mandaté par Promotion Santé Suisse. Avec ce prix, la SEVAL salue une contribution au développement de la théorie et de la pratique de l’évaluation, et récompense cette fois-ci un travail pratique.

Ce travail a convaincu le jury par sa grande pertinence pratique : il a pour but d’aider les évaluatrices et évaluateurs et les responsables de projet à choisir l’outil d’enquête approprié à leur pratique d’évaluation lorsqu’il s’agit de mesurer l’activité physique de différents groupes cibles. Pour cela, un schéma décisionnel est proposé, ce qui représente un élément particulièrement original et innovant. Basé sur une revue de littérature sur les instruments utilisés dans les évaluations et études existantes, ainsi que sur des interviews et un focus group avec des spécialistes de Suisse et d’Allemagne, ce travail possède également un fort ancrage scientifique. Enfin, et la manière dont il a été rédigé et présenté contribue à le rendre accessible à toutes les personnes intéressées.

Au nom du jury, nous félicitons chaleureusement les lauréat·e·s ! Le travail de Simon Endes, Eliane Kraft et Sarina Steinmann peut être consulté sur le site internet de la SEVAL.

Si vous souhaitez également tenter votre chance pour le prix SEVAL 2024, vous pouvez dès à présent envoyer votre travail à secretariat@seval.ch ! Informations et règlement ici

 

Internationales / Internationale

---

Réseau francophone de l’évaluation (RFE) : FIFE2023 

Le Réseau francophone de l’évaluation (RFE) a organisé le 5^e Forum international francophone de l’évaluation (FIFE2023) à Luxembourg, sur le thème Évaluation et révolution numérique. Cette édition, organisée par le RFE, la Société luxembourgeoise de l’évaluation et de la prospective (SOLEP) et ses partenaires luxembourgeois, a attiré 186 participant·e·s en provenance de 25 pays. Les personnes présentes ont eu accès à un choix vaste de séquences (108 heures de travaux concentrés sur trois jours) et ainsi apprendre, partager, développer leurs connaissances et débattre sur les sujets tels que « le numérique au service de la gouvernance de l’évaluation ? », « L’évaluation des ODD à l’épreuve des technologies numériques » ou encore « Technologies numériques et pratiques de l’évaluation ». Claudine Morier, représentante de la SEVAL auprès du RFE a, dans ce cadre, animé un atelier sur le thème des standards d’évaluation, en se basant largement sur l’expérience suisse. L’atelier a connu un franc succès et provoqué des débats intéressants sur la pertinence de développer ses propres normes nationales.

***

Réseau francophone de l’évaluation (RFE): FIFE2023

Das Réseau francophone de l’évaluation (RFE) hat das 5. internationale frankophone Forum der Evaluation (FIFE2023) in Luxemburg zum Thema Evaluation und digitale Revolution organisiert. Die Veranstaltung, die vom RFE, der Société luxembourgeoise de l’évaluation et de la prospective (SOLEP) und ihren luxemburgischen Partnern organisiert wurde, zog 186 Teilnehmer und Teilnehmerinnen aus 25 Ländern an. Die Teilnehmer hatten Zugang zu einer breiten Auswahl an Sequenzen (108 Stunden konzentrierte Arbeit in drei Tagen) und konnten so lernen, sich austauschen, ihr Wissen erweitern und über Themen wie «Digital im Dienste der Governance der Evaluierung?», «Die Evaluierung der SDGs auf dem Prüfstand der digitalen Technologien» oder auch «Digitale Technologien und Evaluierungspraktiken» diskutieren. Claudine Morier, Vertreterin der SEVAL beim RFE, leitete in diesem Rahmen einen Workshop zum Thema Evaluierungsstandards, wobei sie sich weitgehend auf die Erfahrungen der Schweiz stützte. Der Workshop war ein großer Erfolg und führte zu interessanten Debatten über die Relevanz der Entwicklung eigener nationaler Standards.

---

Die Webseiten der Evaluationsgesellschaften in der Schweiz und weltweit finden Sie hier 
Les sociétés d’évaluation en Suisse et dans le monde peuvent être consultées ici  

 

Aus- und Weiterbildung / Formations et formations continues

---

Veranstaltungen finden Sie auf unserer SEVAL-Webseite 

Vous trouvez les manifestations sur notre site web

 

Informationen aus den Arbeitsgruppen / Informations de la part des groupes de travail

---

SEVAL Dialogreihe für Evaluierende und Auftraggebende startet am 23.11.2023!

Eine von Beginn weg gute Zusammenarbeit zwischen Evaluierenden und Auftraggebenden ist ein wichtiger Erfolgsfaktor für eine gelingende und wirkungsvolle Evaluation. Die SEVAL organisiert eine Dialogreihe zur Förderung des Austauschs zwischen Auftraggebenden und Evaluierenden, zur Verbesserung ihrer Zusammenarbeit und zur Weiterentwicklung von Kompetenzen in verschiedenen Phasen einer Evaluation.

Die SEVAL Arbeitsgruppen Kompetenzen, Standards und Ausschreibungen laden alle Interessierten zur ersten von vier Veranstaltung ein:

«Von der Evaluationsidee zum Pflichtenheft“

Termin: Donnerstag, 23. November 2023, 17.00-19.00 Uhr mit anschliessendem Apéro

Ort: Zentrum für universitäre Weiterbildung, Universität Bern (UniS, Schanzeneckstr. 1, Bern)

Inhalt: Im Austausch zwischen Evaluierenden und Auftraggebenden werden Fragen diskutiert, die für die Erstellung des Pflichtenhefts zentral sind: Was kann ich von der Evaluation erwarten? Wie gehe ich vor, um Evaluationszweck, -gegenstand und –fragen zu bestimmen? Wie viel Zeit und Kosten muss ich einkalkulieren? An welchen Standards können wir uns orientieren? Welche Kompetenzen benötigen wir? Etc.

Anmeldung:  bis 9.11.2023 an evaluation.zuw@unibe.ch (wenn möglich in Tandems von Evaluierenden und Auftraggebenden!)

Die Dialogreihe wird in 2024 fortgesetzt und fokussiert in chronologischer Reihenfolge auf die folgenden Themen: „Vom Pflichtenheft zum Vertrag“, „Vom Vertrag zum Evaluationsbericht“, „Vom Bericht zur Valorisierung“.

Wir freuen uns auf einen spannenden Austausch!

---

«Hybride Lehrveranstaltungsformen und Evaluation»

AG Hochschulentwicklung und Evaluation

Lunch Talk (online) – Donnerstag, 23. Nov. 2023, 12-13 Uhr

«Hybride Lehrveranstaltungsformen und Evaluation»

Moderiertes Podiumsgespräch und anschliessend offene Diskussionsrunde.

Auf dem Podium:

• Prof. Dr. Gabi Reinmann, Leitung und Professorin für Lehren und Lernen an der Hochschule, Universität Hamburg
• Godela Dönnges, Evaluationsbeauftragte, Direktionsstab, Fachstelle Qualität und Evaluation, ZHAW Gesundheit
• Prof. Dr. André Fringer, Institut für Pflege, ZHAW Gesundheit
• Vertretung der Arbeitsgruppe Hochschulentwicklung und Evaluation:

Dr. Marie-Theres Schönbächler, Zentrum für Bildungsevaluation, PHBern

• Moderation:

Dr. phil. Jennifer Hofmann, Lehrentwicklung UZH, Dozentin ZHAW und Fernuni Schweiz

Ist hybride Lehre das zukünftige Erfolgsmodell?

Welche Konsequenzen ergeben sich für die Evaluation?

Diese Fragen werden von den Expert:innen beleuchtet und anschliessend in einer offenen Runde diskutiert. Eingebunden werden auch die Ergebnisse aus der Arbeitsgruppe Hochschulentwicklung und Evaluation.

Interessierte sind herzlich eingeladen, sich verbindlich für die Veranstaltung anzumelden. Zur Anmeldung 

---

Tätigkeitsericht der Beratungsstelle

Den aktuellen Bericht der SEVAL-Beratungsstelle finden Sie hier

***

Rapport d’activité du Service de conseil

Le rapport actuel du Service de conseil de la SEVAL peut être consulté ici

 

Agenda / Agenda

---

Veranstaltungen finden Sie fortlaufend auf unserer SEVAL-Webseite

Vous trouvez les manifestations continuellement sur notre site web

---

Zur Erinnerung: wenn Sie als Mitglied der SEVAL an einer Veranstaltung teilnehmen möchten und anschliessend einen kurzen Betrag dazu veröffentlichen, welche Erkenntnisse Sie aus dieser Veranstaltung gewonnen haben, können Sie für Ihre Transportkosten, Unterkunft und Registrierung eine Entschädigung von max. CHF 1’000.- beantragen. Ihren schriftlichen Beitrag veröffentlichen wir im Newsletter. Bitte kontaktieren Sie in der Phase der Vorbereitung Ihrer Reise das SEVAL-Sekretariat secretariat@seval.ch

Rappel : si vous êtes membre de la SEVAL et vous souhaitez participer à l’une ou l’autre des manifestations, vous pouvez obtenir un dédommagement de vos frais de transports, d’hébergement et d’inscription (max. CHF 1’000.-) en rédigeant une note avec les enseignements tirés de la manifestation. Votre contribution sera publiée dans la SEVAL-Newsletter. Merci de vous dresser à l’avance au secrétariat SEVAL secretariat@seval.ch.

 

Publikationen / Publications

---

Die Rubrik Publikationen bietet eine Plattform, um auf Neuerscheinungen zum Thema Evaluation oder auf Publikationen von Seval-Mitgliedern (Evaluationsberichte, Bücher, Artikel in Büchern oder Fachzeitschriften etc.) aufmerksam zu machen. Entsprechende Hinweise nimmt die Redaktion jederzeit gerne entgegen: secretariat@seval.ch
La rubrique publications offre une plate-forme pour rendre le public intéressé attentif à des nouvelles parutions dans le domaine d’évaluation ou à des publications des membres de la Seval (rapports d’évaluation, livres, articles dans des livres ou revues spécialisées etc.). Indications peuvent à tout moment être adressées à la rédaction : secretariat@seval.ch