Editorial
Über den Tellerrand hinausschauen
Fachleute laufen Gefahr zu stark in ihrem unmittelbaren Umfeld verhaftet zu sein. Dies führt zwar zur Entwicklung und Aneignung spezifischer Fähigkeiten, deren Nutzen unbestritten ist. Manchmal geht die Innenorientierung in einem Beruf, einer Disziplin oder einer Organisation aber zu Lasten der Offenheit und der Kommunikationsfähigkeit gegen aussen. Auch die Mitglieder der Evaluationsgemeinschaft schmoren manchmal zu stark im eigenen Saft. Daher tut es gut, ab und zu über den eigenen Tellerrand hinauszuschauen. Dieses Ziel verfolgt auch der nächste SEVAL-Kongress unter dem Titel «Image und Wahrnehmung der Evaluation: Sind wir zu technokratisch?» Man könnte den Titel auch noch etwas weiterführen und fragen, «Sind wir Teil des Problems oder sind wir Teil der Lösung?». Solche und weitere selbstkritische Fragen werden in den Beiträgen dieses Newsletters aufgenommen: Neben der Ankündigung des nächsten SEVAL-Kongresses wird auf die Veranstaltung zur Wirkung der Entwicklungszusammenarbeit am ZUW hingewiesen. Die nächste Ausgabe der bisher sehr erfolgreichen Dialogreihe der AG Kompetenzen wird angekündigt. Über den Tellerrand hinaus hat auch Alkuin Kölliker geschaut, der über die Jahreskonferenz der UK Evaluation Society 2023 berichtet. Diese hat sich unter anderem mit der Frage der Transdisziplinarität und Ethik in der Evaluation beschäftigt.
Haben Sie neue Impulse gesetzt, die anregen über den Tellerrand hinauszuschauen? Wenn ja, geben Sie Ihre Arbeit doch beim Prix-SEVAL bis spätestens am 2. April ein. Alle Informationen dazu finden Sie ebenfalls in diesem Newsletter.
Ich wünsche Ihnen eine interessante Lektüre.
Stefan Rieder
Präsident der SEVAL
Themen
- Aktivitäten und Mitteilungen der SEVAL / Activités et communications de la SEVAL
- Internationales / Internationale
- Aus- und Weiterbildung / Formations et formations continues
- Informationen aus den Arbeitsgruppen / Informations de la part des groupes de travail
- Agenda / Agenda
- Publikationen / Publications
Aktivitäten und Mitteilungen der SEVAL / Activités et communications de la SEVAL
Save-the-date
SEVAL-Kongress 2024
Der Jahreskongress 2024 wird gemeinsam von der SEVAL und GREVAL am 29. und 30. August 2024 in Freiburg organisiert und steht unter dem Arbeitstitel
Image und Wahrnehmung der Evaluation: Sind wir zu technokratisch?
Der Kongress beginnt am Donnerstagnachmittag mit Methodenateliers, aber auch mit anderen Gelegenheiten zum Austausch und zur Begegnung. Der Freitag wird mit der Generalversammlung der SEVAL eröffnet, gefolgt von Präsentationen und interaktiven Teilen in verschiedenen Formaten.
Das Organisationskomitee bereitet ein dynamisches und partizipatives Programm für Sie vor. Wir freuen uns darauf, Ihnen bald mehr darüber zu vermitteln.
Organisationskomitee: Mélanie Attinger, Eric Moachon, Claudine Morier, Cornelia Hänsli-Marrei, Christian Rüefli
***
Save-the-date
Congrès SEVAL 2024
Le congrès annuel 2024 est organisé conjointement par la SEVAL et le GREVAL. Il se tiendra les 29 et 30 août 2024 à Fribourg sous le titre provisoire
Image et perception de l’évaluation : Sommes-nous trop technocrates ?
Le congrès débutera le jeudi après-midi avec des ateliers méthodologiques mais aussi d’autres opportunités d’échange et de rencontre. La journée du vendredi s’ouvrira avec l’assemblée générale de la SEVAL et sera suivie de présentations ainsi que de parties plus interactives dans des formats variés.
Le comité d’organisation vous prépare un programme participatif et dynamique. Nous nous réjouissons de vous en dire plus prochainement.
Comité d’organisation : Mélanie Attinger, Eric Moachon, Claudine Morier, Cornelia Hänsli-Marrei, Christian Rüefli
Prix SEVAL 2024
Prix SEVAL 2024: Reichen Sie Ihre Arbeiten jetzt ein!
Sie haben kürzlich eine wissenschaftliche Arbeit mit einem Bezug zur Evaluation verfasst und sind der Meinung, dass diese einen Beitrag zur Weiterentwicklung von Theorie und Praxis der Evaluation oder zur Verwendung von Evaluation liefert? Oder einen Evaluationsbericht, der sich durch einen innovativen Ansatz oder Methoden auszeichnet und andere Teams inspirieren könnte? Dann ist der Prix SEVAL genau das Richtige für Sie! Er wurde von der SEVAL geschaffen, um die wissenschaftliche Auseinandersetzung mit Evaluationen zu fördern. Es können sowohl wissenschaftliche Arbeiten wie auch Evaluationsstudien ausgezeichnet werden.
Arbeiten können ab sofort beim SEVAL-Sekretariat eingereicht werden (secretariat@seval.ch). Einsendeschluss ist der 2. April 2024. Sie können auf Deutsch, Französisch, Italienisch oder Englisch verfasst sein.
Der Prix SEVAL wird einmal jährlich anlässlich des SEVAL-Jahreskongresses verliehen. Der Preis ist mit CHF 3000.– dotiert und beinhaltet auch die Veröffentlichung eines Beitrages in LeGes.
Die offizielle Ausschreibung, das detaillierte Reglement, sowie weitere Informationen zum Prix SEVAL finden Sie hier
Die SEVAL und die Mitglieder der Jury freuen sich auf Ihre Arbeiten!
***
Prix SEVAL 2024 : soumettez vos travaux dès maintenant !
Vous avez rédigé récemment un travail scientifique en lien avec l’évaluation et vous estimez que celui-ci contribue au développement de la théorie et de la pratique de l’évaluation, ou pour l’utilisation d’évaluations ? Ou alors un rapport d’évaluation qui se distingue par une approche ou des méthodes innovantes, et qui peut inspirer d’autres équipes ? Alors le Prix SEVAL s’adresse à vous ! Il a été créé par la SEVAL afin d’encourager les discussions scientifiques sur le thème de l’évaluation, et peut être attribué aussi bien à des travaux scientifiques qu’à des rapports d’évaluation.
Vous pouvez dès à présent soumettre votre travail en l’envoyant au secrétariat de la SEVAL (secretariat@seval.ch). Le délai pour l’envoi des travaux est le 2 avril 2024. Ils peuvent être rédigés en français, allemand, italien ou anglais.
Le Prix SEVAL est remis une fois par année, lors du congrès annuel de la SEVAL. Il est honoré par un montant de CHF 3000.– et prévoit par ailleurs la publication d’un article dans LeGes.
L’annonce officielle, le règlement détaillé ainsi que des informations supplémentaires concernant le Prix SEVAL sont disponibles ici
La SEVAL et les membres du jury se réjouissent de recevoir vos travaux !
Internationales / Internationale
Alkuin Kölliker von der Eidgenössischen Finanzkontrolle nahm am Kongress 2023 der britischen Evaluationsgesellschaft teil, der dem folgenden Thema gewidmet war:
Rising to Challenges.
How does Evaluation rise to the challenge of competing issues, crisis and uncertainty?
Das Programm findet ihr hier und den Bericht hier
Danke Alkuin, dass du die wichtigsten Erkenntnisse mit uns geteilt hast!
***
Alkuin Kölliker du Contrôle fédéral des finances a participé au Congrès 2023 de la Société d’évaluation du Royaume-Uni consacré au thème suivant :
Rising to Challenges
How does Evaluation rise to the challenge of competing issues, crisis and uncertainty?
Vous trouverez le programme ici et un compte rendu ici
Merci Alkuin de nous faire partager les principaux enseignements que tu retiens !
Die Webseiten der Evaluationsgesellschaften in der Schweiz und weltweit finden Sie hier
Les sociétés d’évaluation en Suisse et dans le monde peuvent être consultées ici
Aus- und Weiterbildung / Formations et formations continues
Veranstaltungen finden Sie auf unserer SEVAL-Webseite
Vous trouvez les manifestations sur notre site web
Informationen aus den Arbeitsgruppen / Informations de la part des groupes de travail
SEVAL Erfahrungsaustausch zu Wirkungen der internationalen Zusammenarbeit am 29. Februar 2024
Die Rolle des Deutschen Evaluierungsinstituts der Entwicklungszusammenarbeit (DEval) und Wirksamkeitsmessung der Schweizer IZA
Wann: 29. Februar 2024, 14:00 – 16:30h, anschliessend Apero
Wo: Zentrum für Universitäre Weiterbildung der Universität Bern, Gebäude UniS, Schanzeneckstr. 1, Raum S-201
Die SEVAL AGs Internationale Zusammenarbeit und Kompetenzen laden gemeinsam mit der Eidgenössischen Finanzkontrolle (EFK) alle Interessenten zu einem spannenden Austausch mit Prof. Dr. Jörg Faust, Direktor des DEval und Simone Ledermann, Leiterin der Parlamentarischen Verwaltungskontrolle der Schweiz (PVK) und Silvana Hogg, Leiterin der Fachstelle Evaluation und Controlling der DEZA, ein!
Das DEval wurde 2012 vom Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) gegründet. Kernaufgabe des DEval ist es, die Aktivitäten der deutschen Entwicklungszusammenarbeit zu analysieren und zu bewerten – unabhängig, praxisorientiert und auf der Grundlage wissenschaftlicher Erkenntnisse. Damit agiert das Institut an der Schnittstelle von Politik, Wissenschaft und Praxis mit dem übergeordneten Ziel, der Entwicklungszusammenarbeit nützliche Evidenz zur Verfügung zu stellen. Eine weitere Aufgabe besteht darin, die vorhandenen Methoden und Standards der Evaluierung weiterzuentwickeln, um die Evaluierungspraxis zu verbessern. Zudem arbeitet das DEval daran, die Evaluierungskapazitäten in den Partnerländern der deutschen Entwicklungszusammenarbeit zu stärken. Nicht zuletzt unterstützt es die Verbreitung des in den Evaluierungen generierten Wissens. Dadurch sollen Lernprozesse gefördert und Entscheidungen in der Entwicklungszusammenarbeit erleichtert werden.
Weitere Informationen: Aufgaben und Ziele | DEval – Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit gGmbH
Um die parlamentarische Oberaufsicht zu verstärken, hat das Parlament 1990 beschlossen, mit der Parlamentarischen Verwaltungskontrolle (PVK) einen professionellen Dienst einzurichten, der für die Geschäftsprüfungskommissionen (GPK) Evaluationen durchführt. Die PVK nahm ihre Tätigkeit 1991 auf und konnte somit 2021 ihr dreissigjähriges Bestehen feiern.
Die Fachstelle Evaluation und Controlling der Direktion für Entwicklung und Zusammenarbeit (DEZA) fördert die Evaluationstätigkeit der DEZA und unterstützt die Direktion in ihrer strategischen Steuerung. Weitere Informationen: Evaluation and Controlling (admin.ch)
Ablauf und Inhalte:
- In einem Inputreferat wird Prof. Faust zur Entstehung, den Zielen und dem Zweck des DEval und seinem Nutzen für die Öffentlichkeit berichten. Methodische Herangehensweisen und erforderliche Kompetenzen insbesondere für Wirkungsmessungen werden anhand von Beispielevaluationen des DEval vertiefend betrachtet. U.a. führt das DEval ein Forschungs- und Beratungsprojekt zur Initiierung von rigorosen Wirkungsevaluierungen sowie zur systematischen Nutzung von rigoroser Evidenz in der deutschen Entwicklungszusammenarbeit durch.
Weitere Informationen: Unsere Methodenprojekte | DEval – Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit gGmbH
- Im Januar 2022 beauftragten die Geschäftsprüfungskommissionen der eidgenössischen Räte (GPK) die Parlamentarische Verwaltungskontrolle (PVK), die Wirksamkeitsmessung in der IZA zu evaluieren. Die PVK untersuchte die Wirksamkeit der IZA nicht selbst, sondern befasste sich vielmehr mit der Art und Weise, wie die drei für die IZA zuständigen Verwaltungseinheiten – die Direktion für Entwicklung und Zusammenarbeit (DEZA), das Staatssekretariat für Wirtschaft (SECO) und die Abteilung Frieden und Menschenrechte (AFM) – die Wirksamkeit ihrer Interventionen anhand von Evaluationen messen und darüber Rechenschaft ablegen. Simone Ledermann wird zur Ausgangslage, der methodischen Herangehensweise und den Ergebnissen dieser PVK Evaluation berichten. Der Bericht ist hier veröffentlicht: Evaluationsberichte PVK (parlament.ch)
- Silvana Hogg, Leiterin der Fachstelle Evaluation und Controlling der DEZA, wird die Ansicht der IZA Evaluationsdienste inkl. geplanter Massnahmen zum PVK-Bericht vorstellen.
- In der abschliessenden Paneldiskussion tauschen sich Jörg Faust (DEval), Simone Ledermann (PVK), Reto Thönen (DEZA) und Stefanie Krapp (IPDET) gemeinsam mit dem Publikum zu spezifischen Fragen hinsichtlich der Wirkung der IZA und Rolle der Evaluation aus, u.a. was sind die Möglichkeiten und Grenzen der Wirkungsmessung in der IZA, wie kann das Mikro-Makro-Paradoxon angesichts der Komplexität überwunden werden, was sind aktuelle Trends in der Evaluation von komplexen Themen (Klimafinanzierung, Digitalisierung, KI/Big Data, erforderliche Kompetenzen, etc.)?
Wir freuen uns auf einen spannenden Austausch!
Für die SEVAL AG Kompetenzen: Stefanie Krapp, ZUW/Uni Bern
Für die SEVAL AG IZA: Kimon Schneider, NADEL/ETH Zürich
Für die EFK: Mathias Rickli
Anmeldung bis 26.02.2024, 12h, an: evaluation.zuw@unibe.ch
***
SEVAL Dialogreihe zwischen Evaluierenden und Auftraggebenden
1. Dialogveranstaltung: „Von der Evaluationsidee zum Pflichtenheft“
23.11.2023, 17:00-19:00h, Zentrum für universitäre Weiterbildung/Uni Bern
Veranstalter: SEVAL AGs Kompetenzen, Standards, Ausschreibungen
Eine von Beginn weg gute Zusammenarbeit zwischen Evaluierenden und Auftraggebenden ist ein wichtiger Erfolgsfaktor für eine gelingende und wirkungsvolle Evaluation. Im Rahmen der SEVAL-Veranstaltung „Aus- und Weiterbildung in der Evaluation – Quo Vadis?“ im April 2022 wurde insbesondere die Qualifizierung von Auftraggebenden als dringlichen Bedarf identifiziert, um dies zu gewährleisten. Die AG Kompetenzen der SEVAL organisiert daher eine vierteilige Dialog-Reihe zur Förderung des Austauschs zwischen Auftraggebenden und Evaluierenden, zur Verbesserung ihrer Zusammenarbeit und zur Weiterentwicklung von Kompetenzen in verschiedenen Phasen einer Evaluation:
- Von der Evaluationsidee zum Pflichtenheft, 23.11.2023
- Vom Pflichtenheft zum Vertrag, 23.05.2024
- Vom Vertrag zum Evaluationsbericht, Herbst 2024
- Vom Bericht zur Valorisierung, Frühjahr 2025
Evaluierende und Auftraggebende wurden eingeladen, sich als „Tandem“ oder individuell zur ersten Dialogveranstaltung am 23.11.2023 am Zentrum für universitäre Weiterbildung der Universität Bern anzumelden. 16 Evaluierende und 15 Auftraggebende sind der Einladung nachgekommen, darunter 7 „Tandems“. Der Fokus der Veranstaltung lag auf zentralen Aspekten bei der Erstellung des Pflichtenhefts, u.a.: Was kann ich von der Evaluation erwarten? Wie gehe ich vor, um Evaluationszweck, -gegenstand und –fragen zu bestimmen? Wie viel Zeit und Kosten muss ich einkalkulieren? An welchen Standards können wir uns orientieren? Welche Kompetenzen benötigen wir?
Eine Zusammenfassung der Veranstaltung durch Teilnehmende kann HIER angeschaut werden.
Die AG Standards verwies zu Beginn der Veranstaltung auf die SEVAL Standards mit besonderer Bedeutung bei der Erstellung von Pflichtenheften: A1 Ergebnisoffenheit und Unvoreingenommenheit, A4 Nutzungsorientierung, A5 Angemessenes Verhältnis von Aufwand und Nutzen, A6 Sicherstellung der erforderlichen Kompetenzen, A7 Qualitätssicherung, B1 Klärung von Gegenstand, Zweck, Evaluationsfragestellungen und Nutzung.
In Arbeitsgruppen wurden aus der jeweiligen Perspektive von Evaluierenden und Auftraggebenden sowohl positive Erfahrungen also auch Herausforderungen bei Ausschreibungen und explizit bei der Erstellung des Pflichtenhefts thematisiert.
Positive Erfahrungen:
Inhalte Pflichtenheft: Gut ausbalanciert (nicht zu wenig, nicht zu viel vorgegeben), je präziser, desto besser, so kurz wie möglich, so lange wie notwendig, ein Kostendach, das Raum für Innovation und zusätzliche Leistungen lässt, zweckmässige und ausreichend umfassende Erläuterung des Gegenstands und des Kontextes der Evaluation, verständliche Evaluationsfragen, die im Einklang mit dem Budget stehen, Hinweise auf verfügbare Informationsgrundlagen (Daten, Dokumente, Studien, Literatur), klarer Zeitplan, Vorhandensein eines Wirkungsmodells.
Prozess der Ausschreibung: telefonische Rückfragen, gemeinsamer Prozess der Auftragsklärung zwischen Auftraggebenden und Evaluierenden, Responsivität der Ausschreibenden (Schnelligkeit, Gehalt, Tonfall), Transparenz der Bewertungskriterien.
Negative Erfahrungen/Herausforderungen:
Inhalte Pflichtenheft: Unklarer Zweck der Evaluation, oder der dargelegte Zweck stimmt nicht mit den Erwartungen überein, Budgetrahmen nicht angegeben, Vorgaben zu Leistungen nicht präzise genug vs. zu ausführliches Pflichtenheft, Vorgabe von Methoden vs. Offenlassen, (zu) viele und detaillierte Evaluationsfragen (Dilemma zwischen Breite und Tiefer der Analyse, oft schwer, alles im Budgetrahmen unterzubringen), unrealistische Zeitpläne, zu wenig Informationen.
Prozess der Ausschreibung: zahlreiche Formalitäten zum Verfahren und zu Eignungs- und Zuschlagskriterien, zu starre Orientierung an Leitlinien des BBL, fehlende Möglichkeit Feedback von Evaluierenden vor einer Ausschreibung einzuholen, Preis-Leistung schwer abschätzbar/bewertbar.
Weitere Herausforderungen ergaben sich, wenn die Problemanalyse und ein Wirkungsmodell vor dem Start eines Programms fehlten/ungenügend waren, wenn Ergebnisoffenheit ausdrücklich nicht gewünscht war, weil die Evaluation politisch motiviert war, wenn der Informationsbedarf der Auftraggebenden und die Fragestellungen nicht klar waren, wenn es zu viele Ansprüche mit zu kleinem Kostendach gab.
Darüber hinaus wurde eine Reihe von Fragen gestellt und diskutiert, u.a.:
Wie kann die Qualität der Pflichtenhefte verbessert werden? – Es braucht v.a. Zeit, um ein gutes Pflichtenheft zu erarbeiten. Oft herrscht Zeitdruck und das Pflichtenhaft ist widersprüchlich, damit sinkt die Qualität der Offerten. Es sollte einen Bezug zum Budget geben und die Auftraggebenden müssen wissen, welche Fragen beantwortet werden können und was methodisch mit welchen Ressourcen umgesetzt werden kann. Die Evaluierenden müssen klar zurückmelden, was möglich ist und was nicht.
Wer soll das Pflichtenheft schreiben? Die Person, die das Dossier betreut? – Zunächst sollte abgeklärt werden, welche Good Practices es ggf. in anderen Abteilungen der beauftragenden Organisation gibt. Ein Tandem aus Personen mit Fachwissen und mit Evaluationswissen wäre ideal, oder ein Sparring Partner, der/die einen anderen Blick auf das Dossier hat als der/die Projektverantwortliche.
Sind Kostendächer bei Evaluierenden gerne gesehen? – Grundsätzlich ja. Kein Kostendach zu haben erweckt den Eindruck, dass sich die Auftraggebenden wenig Gedanken gemacht haben.
Wie kommen die Auftraggebenden zu den Kostenschätzungen? – Beispielsweise hat das BAG interne Methodentabellen, die zeigen, wie viel man wofür etwa ausgehen muss (Durchführung von Interviews, Fokusgruppen, Workshops, Bericht etc.). Dafür muss man als Auftraggebende aber bereits klare methodische Vorstellungen haben.
Wie viel Offenheit verträgt ein Pflichtenheft? – Grundsätzliches muss klar geregelt sein (Gegenstand, Fragestellungen, Kostendach), aber es sollte genügend methodischen Spielraum geben. Pflichtenhefte, die nicht superkonkret sind, bieten mehr Raum für Kreativität.
Schliesslich konnte die AG Ausschreibungen Feedback auf ihren Produktentwurf eines Vademecums für Ausschreibungen erhalten, insbesondere zum Bedarf und den Themen, die ein Vademecum vorrangig ansprechen sollte. Geplant ist, mit dem Vademecum ein Hilfsmittel zur Verfügung zu stellen, das Handlungsspielräume bei Ausschreibungen aufzeigt, gute Beispiele nennt und Unterstützung bei Problemen bietet.
Die Veranstalter:innen ziehen ein positives Fazit der ersten von vier «Episoden» des Austauschs zwischen Evaluierenden und Auftraggebenden. Ein konstruktiver Dialog zu den Erfahrungen und Herausforderungen in der Startphase einer Evaluation aus der jeweils anderen Perspektive hat stattgefunden und wichtige Punkte, die auf dem Weg von der Evaluationsidee zum Pflichtenheft zu beachten sind konnten herauskristallisiert werden. Ein wichtiger Schritt zum gegenseitigen Verständnis, aber auch zur Wissenserweiterung bei Auftraggebenden in dieser entscheidenden Phase.
O-Töne von Teilnehmenden sind HIER zu hören!
Die nächste Episode “Vom Pflichtenheft zum Vertrag“ folgt am 23.05.2024!
zum Flyer
Uhrzeit: 17-19h, anschliessend Apero
Veranstaltungsort: Zentrum für universitäre Weiterbildung, Universität Bern, Gebäude UniS, Schanzeneckstr. 1, Raum A-119.
Es sind alle Teilnehmenden der ersten Veranstaltung, aber auch neue Auftraggebende und Evaluierende herzlich eingeladen!
Anmeldung bis 13. Mai 2024: evaluation.zuw@unibe.ch
Stefanie Krapp, Bereich Evaluation am ZUW/Uni Bern
Günter Ackermann, Qualität und Evaluation
AG Kompetenzen der SEVAL
***
Série de dialogues SEVAL entre les évaluateurs/-trices et les mandants
1ère réunion de dialogue : “De l’idée d’évaluation au cahier des charges”
23.11.2023, 17:00-19:00h, Centre de formation continue universitaire/Uni Berne
Organisateur : SEVAL Groupes de travail Compétences, Standards, Appels d’offres
Une bonne collaboration entre évaluateurs/-trices et mandants dès le début est un facteur de succès important pour une évaluation réussie et efficace. Dans le cadre de la manifestation de la SEVAL “Formation et formation continue en évaluation – Quo Vadis ?” en avril 2022, la qualification des mandataires a été identifiée comme un besoin urgent pour garantir cela. Le groupe de travail Compétences de la SEVAL organise donc une série de dialogues en quatre parties pour promouvoir l’échange entre les mandants et les évaluateurs/-trices, améliorer leur collaboration et développer les compétences à différentes étapes d’une évaluation :
- De l’idée d’évaluation au cahier des charges, 23.11.2023
- Du cahier des charges au contrat, 23.05.2024
- Du contrat au rapport d’évaluation, automne 2024
- Du rapport à la valorisation, printemps 2025
Les évaluateurs/-trices et les mandants ont été invités à s’inscrire en tant que “tandem” ou individuellement à la première réunion de dialogue qui a eu lieu le 23 novembre 2023 au Centre de formation continue universitaire de l’Université de Berne. 16 évaluateurs/-trices et 15 mandants ont répondu à l’invitation, dont 7 “tandems”. La manifestation s’est concentrée sur les aspects centraux de l’élaboration du cahier des charges, notamment : Que puis-je attendre de l’évaluation ? Comment procéder pour déterminer le but, l’objet et les questions de l’évaluation ? Combien de temps et de coûts dois-je prévoir ? Quels sont les standards auxquels nous pouvons nous référer ? De quelles compétences avons-nous besoin ?
Un résumé de la manifestation par les participant·e·s peut être visionné ICI.
Au début de la manifestation, le groupe de travail Standards a fait référence aux standards SEVAL ayant une importance particulière dans l’élaboration des cahiers des charges : A1 Absence de préjugés vis-à-vis des résultats et impartialité, A4 Approche centrée sur l’utilisation et l’appropriation, A5 Rapport approprié entre coût et utilité, A6 Garantie des compétences requises, A7 Assurance-qualité, B1 Clarification de l’objet d’évaluation, de la raison d’être, des questions de l’évaluation et de l’utilisation.
Les groupes de travail ont abordé, du point de vue des évaluateurs/-trices et des donneurs d’ordre, les expériences positives ainsi que les défis rencontrés lors des appels d’offres et, plus précisément, lors de l’élaboration du cahier des charges.
Expériences positives :
Contenu du cahier des charges : bien équilibré (ni trop ni trop peu prédéfini), plus c’est précis, mieux c’est, aussi court que possible, aussi long que nécessaire, un plafond de coûts qui laisse de la place à l’innovation et aux prestations supplémentaires, une explication appropriée et suffisamment complète de l’objet et du contexte de l’évaluation, des questions d’évaluation compréhensibles et en accord avec le budget, des références aux bases d’information disponibles (données, documents, études, littérature), un calendrier clair, l’existence d’un modèle d’impact.
Processus d’appel d’offres : demandes de précisions par téléphone, processus commun de clarification du mandat entre le donneur d’ordre et l’évaluateur/-trice, réactivité du donneur d’ordre (rapidité, teneur, ton), transparence des critères d’évaluation.
Expériences/défis négatifs :
Contenu du cahier des charges : but de l’évaluation peu clair, ou le but présenté ne correspond pas aux attentes, cadre budgétaire non indiqué, prescriptions sur les prestations pas assez précises vs cahier des charges trop détaillé, prescription de méthodes vs laisser ouvert, questions d’évaluation (trop) nombreuses et détaillées (dilemme entre l’étendue et la profondeur de l’analyse, souvent difficile de tout faire rentrer dans le cadre budgétaire), calendriers irréalistes, informations insuffisantes.
Processus d’appel d’offres : nombreuses formalités concernant la procédure et les critères de qualification et d’attribution, orientation trop rigide vers les lignes directrices du BBL, impossibilité de demander un feedback aux évaluateurs/-trices avant un appel d’offres, rapport qualité-prix difficile à estimer/évaluer.
D’autres défis sont apparus lorsque l’analyse des problèmes et un modèle d’impact faisaient défaut/étaient insuffisants avant le lancement d’un programme, lorsque l’ouverture des résultats n’était expressément pas souhaitée parce que l’évaluation était motivée par des considérations politiques, lorsque le besoin d’information des mandants et les questions posées n’étaient pas clairs, lorsqu’il y avait trop d’exigences avec un plafond de coûts trop faible.
En outre, une série de questions ont été posées et discutées, notamment
Comment améliorer la qualité des cahiers des charges ? – Il faut surtout du temps pour élaborer un bon cahier des charges. Souvent, le temps presse et le cahier des charges est contradictoire, ce qui diminue la qualité des offres. Il devrait y avoir un lien avec le budget et les donneurs d’ordre doivent savoir à quelles questions il est possible de répondre et ce qui peut être mis en œuvre méthodiquement et avec quelles ressources. Les évaluateurs/-trices doivent indiquer clairement ce qui est possible et ce qui ne l’est pas.
Qui doit rédiger le cahier des charges ? La personne qui s’occupe du dossier ? – Il convient tout d’abord de déterminer quelles sont les bonnes pratiques qui existent éventuellement dans d’autres départements de l’organisation mandante. L’idéal serait de former un tandem composé de personnes ayant des connaissances techniques et de personnes ayant des connaissances en matière d’évaluation, ou d’avoir un sparring partner qui a un autre regard sur le dossier que le ou la responsable du projet.
Les évaluateurs/-trices apprécient-ils/elles les plafonds de coûts ? – En principe, oui. Ne pas avoir de plafond de coûts donne l’impression que les donneurs d’ordre n’ont pas beaucoup réfléchi.
Comment les mandants parviennent-ils à estimer les coûts ? – L’OFSP dispose par exemple de tableaux méthodologiques internes qui montrent combien il faut dépenser pour quoi (réalisation d’interviews, de groupes de discussion, d’ateliers, de rapports, etc.) Mais pour cela, il faut que le mandant ait déjà une idée claire de la méthode à utiliser.
Quel degré d’ouverture un cahier des charges peut-il supporter ?– Les principes de base doivent être clairement définis (objet, questions, plafond des coûts), mais il devrait y avoir suffisamment de marge de manœuvre méthodologique. Les cahiers des charges qui ne sont pas super concrets offrent plus de place à la créativité.
Enfin, le groupe de travail Appels d’offres a reçu un feed-back sur son projet de vade-mecum sur les appels d’offres, notamment sur les besoins et les thèmes qu’un vade-mecum devrait aborder en priorité. Il est prévu de mettre à disposition avec le vade-mecum un outil qui montre les marges de manœuvre dans les appels d’offres, cite les bons exemples et offre un soutien en cas de problèmes.
Les organisateurs tirent un bilan positif du premier des quatre “épisodes” d’échange entre évaluateurs/-trices et mandants. Un dialogue constructif a eu lieu sur les expériences et les défis de la phase de démarrage d’une évaluation dans la perspective de l’autre partie, et les points importants à prendre en compte pour passer de l’idée d’évaluation au cahier des charges ont été mis en évidence. Une étape importante pour la compréhension mutuelle, mais aussi pour l’élargissement des connaissances des mandants dans cette phase décisive.
Pour écouter les témoignages des participant·e·s, cliquer ICI !
Le prochain épisode “Du cahier des charges au contrat” suivra le 23.05.2024 !
voir Flyer
Heure : 17-19h, suivi d’un apéritif
Lieu : Centre de formation continue universitaire, Université de Berne, bâtiment UniS, Schanzeneckstr. 1, salle A-119.
Tous les participants et toutes les participantes de la première manifestation, mais aussi les nouveaux mandants et évaluateurs/-trices, sont cordialement invité·e·s !
Inscription jusqu’au 13 mai 2024 : evaluation.zuw@unibe.ch
Stefanie Krapp, Bereich Evaluation am ZUW/Uni Bern
Günter Ackermann, Qualität und Evaluation
AG Kompetenzen der SEVAL
***
AG Forschung
Die SEVAL AG Forschung startet in die neue Arbeitsphase mit einem Onlinetreffen am 22. Februar., an dem wir u.a. unsere Arbeitsschwerpunkte für die nächste Zeit definieren werden. Interessenten sind herzlich eingeladen und melden sich bitte bei Lars Balzer evaluation@lars-balzer.info
***
Groupe de travail Recherche
Le groupe de travail de la SEVAL Recherche démarre une nouvelle phase de travail avec une réunion en ligne le 22 février 2024, au cours de laquelle elle définira entre autres les priorités de travail pour la période à venir. Les personnes intéressées sont cordialement invitées à s’inscrire auprès de Lars Balzer evaluation@lars-balzer.info
Agenda / Agenda
Veranstaltungen finden Sie fortlaufend auf unserer SEVAL-Webseite
Vous trouvez les manifestations continuellement sur notre site web
Zur Erinnerung: wenn Sie als Mitglied der SEVAL an einer Veranstaltung teilnehmen möchten und anschliessend einen kurzen Beitrag dazu veröffentlichen, welche Erkenntnisse Sie aus dieser Veranstaltung gewonnen haben, können Sie für Ihre Transportkosten, Unterkunft und Registrierung eine Entschädigung von max. CHF 1’000.- beantragen. Ihren schriftlichen Beitrag veröffentlichen wir im Newsletter. Bitte kontaktieren Sie in der Phase der Vorbereitung Ihrer Reise das SEVAL-Sekretariat secretariat@seval.ch
Rappel : si vous êtes membre de la SEVAL et vous souhaitez participer à l’une ou l’autre des manifestations, vous pouvez obtenir un dédommagement de vos frais de transports, d’hébergement et d’inscription (max. CHF 1’000.-) en rédigeant une note avec les enseignements tirés de la manifestation. Votre contribution sera publiée dans la SEVAL-Newsletter. Merci de vous dresser à l’avance au secrétariat SEVAL secretariat@seval.ch.
Publikationen / Publications
Die Rubrik Publikationen bietet eine Plattform, um auf Neuerscheinungen zum Thema Evaluation oder auf Publikationen von Seval-Mitgliedern (Evaluationsberichte, Bücher, Artikel in Büchern oder Fachzeitschriften etc.) aufmerksam zu machen. Entsprechende Hinweise nimmt die Redaktion jederzeit gerne entgegen: secretariat@seval.ch
La rubrique publications offre une plate-forme pour rendre le public intéressé attentif à des nouvelles parutions dans le domaine d’évaluation ou à des publications des membres de la Seval (rapports d’évaluation, livres, articles dans des livres ou revues spécialisées etc.). Indications peuvent à tout moment être adressées à la rédaction : secretariat@seval.ch