Das kleine Einmaleins der Lehrevaluation
Eine Mini-Review

Das kleine Einmaleins der Lehrevaluation

Lehre
Édition
2019/08
DOI:
https://doi.org/10.4414/phc-f.2019.10111
Prim Hosp Care Med Int Gen. 2019;19(08):235-237

Affiliations
Klinischer Dozent der Universität Zürich, CAS Hochschuldidaktik UZH

Publié le 31.07.2019

Haben Sie sich schon beim Ausfüllen eines Evaluationsformulars über die Formulierung der Fragen gewundert? Entsprachen Ihre Antworten nicht immer der Wahrheit? Haben Sie keine Lust, an Umfragen teilzunehmen? Ist Ihnen schon der Gedanke gekommen, dass Sie zur Beantwortung der Frage nicht genügend qualifiziert waren? Diese Mini-Review beschreibt stichwortartig die Problematik der Lehrevaluation aus verschiedenen Perspektiven, sowohl aus Sicht der Evaluierenden als auch der Evaluierten. Daraus leiten sich zehn Besonderheiten ab, die bei der Formulierung der Fragen für Evaluierende hilfreich sind.

Es braucht keiner Studien, um zu wissen, dass sich Studierende über ihre Erfahrungen mit Dozierenden austauschen und die Wirksamkeit des Unterrichts kritisieren [1]. Studierende weisen jedoch Defizite auf, wenn sie Aussagen über Sachverhalte machen müssen, die sich ausserhalb ihrer Vorerfahrungen befinden. Als Beispiele dafür werden Elemente der Pädagogik oder die fachliche Kompetenz der dozierenden Person erwähnt [2]. Obwohl die Validität der Beurteilungen der Lehrleistung von Dozierenden durch Studierende bezweifelt werden darf [3], dienten sie bislang oft als Grundlage für wichtige Entscheidungen. Leider gibt es heute noch keinen klaren Konsens, wie effektive Lehre und Lehrkompetenz definiert ist [4]. Die Beurteilung der Dozierenden durch Studierende kann bekanntlich problematisch sein, weil die Einschätzungen subjektiv sind und durch persönliche Meinungen und Emotionen beeinflusst werden [5]. Es gibt Hinweise, dass die Beurteilung der Studierenden stark davon abhängt, wie leicht der Kurs war. Sogar nicht rationale Faktoren wie sexuelle Ausstrahlung der Dozierenden kann eine Rolle spielen [6]. Zudem wurde paradoxerweise in ­gewissen Fällen beobachtet, dass die Performance der Studierenden invers mit deren Beurteilung der Leistung der Dozierenden korrelieren kann [7]. Neben der Unterrichtsleistung der Lehrperson scheinen die Eigenschaften der/des Dozierenden wichtige Determinanten der Lernergebniszufriedenheit zu sein [8, 9]. Weitere wichtige Kriterien für Studierende scheinen der Eindruck der Lehrkompetenz, die Kommunikationsfähigkeit, die innere Einstellung, die Sympathie und ein angemessener Humor zu sein (10]. Innovation und Engagement fördern nachweislich die Zufriedenheit der Studierenden [11]. Der akademische Status der dozierenden Person scheint auch relevant zu sein [12]. Positiv auf die Ergebniszufriedenheit bei Studierenden wirkten sich auch karriererelevante Inhalte, Image und Tradition aus [11, 13].

Gemeinsamkeiten und Unterschiede von Fragebögen

Die unterschiedlichen Fragebögen der Universitäten zur Evaluation der Dozierenden weisen Gemeinsamkeiten auf. Zum Beispiel werden Standards wie Führungskompetenz, Respekt, Sachkompetenz, Förderung der Lernumgebung und Selbstreflexion oft verwendet [14]. Andere Beispiele von Evaluationen der Leistung der Dozierenden beinhalten explizite Lehrinhalte und implizite Elemente wie die Art mit der sie umgesetzt wurden [15]. Andere Fragebögen wiederum legen den Schwerpunkt auf Planung, Kursvorbereitung, Organisation, Monitoring, Prüfung, Follow-up, familiäre und gesellschaftliche Reichweite und professionelle Verantwortung [16]. Fragen zum Inhalt können professionelles Lehrverhalten fördern [17], wenn sie die Verständlichkeit der vermittelten Inhalte thematisieren. Diese Art der Fragen verbessern zudem die Beurteilung der Lernfortschritte und Lernerfahrungen der Studierenden [18]. Zukunftsweisende webbasierte Evaluationen der Lehrleistung der Dozierenden können die Popularität der Umfragen verbessern [19–22].
Die Bedeutung der konzeptionellen Unterscheidung zwischen Lehre und Lehreffektivität wird oft diskutiert. Weil die Lehreffektivität nicht nur von der Lehrperson abhängt, ist eine Unterscheidung zwischen Lehr-fokussierter und Lern-fokussierter Evaluation wichtig [23]. Die Lehr-fokussierte Evaluation basiert auf dem Kursinhalt, den Aktivitäten, dem Lehrmaterial, der Lehrtechnik und den persönlichen Eigenschaften der dozierenden Person, wohingegen sich Lern-fokussierte Evaluation auf der Effektivität der Lehre konzentriert. Dabei evaluieren die Studierenden ihre Erwartungen, ihre Wahrnehmungen, die Angemessenheit der Lernaktivitäten, den Lehr- und Zeitaufwand [24]. Die Lehreffektivität hängt ab von der physischen Aktivität, der klaren Stimme der dozierenden Person, von positiven Erfahrungen, dem Lehrstil, Ausmass der ­Extrovertiertheit, Sympathie, der Interaktionsfähigkeit, dem Alter, Humor, der angemessenen Arbeits­belastung, Präsentationsart, dem Ausmass der Vorbereitung der dozierenden Person und der Bereitschaft, Fragen zu beantworten [23]. Sehr umfangreiche Fragebögen beinhalten Themenschwerpunkte wie innere Haltung gegenüber den Studierenden, Präsentationsart, die Beurteilung der Leistung der Studierenden, die Arbeitslast und Feedback. Das sind weitere Gründe, warum nicht nur die Lehrperson selber evaluiert werden sollte, sondern getrennt davon auch die Effektivität der Lehre [24].

Wer soll die Dozierenden evaluieren?

Einige Wissenschaftler behaupten, dass die eigene ­Lehrleistung und die eigene Lehreffektivität im Vergleich zur Fremdeinschätzung grundsätzlich besser eingestuft wird [25]. Diesem Problem könnte mittels geführter ­Reflexion unter der Leitung einer Supervision oder ­eines Mentorings begegnet werden. Dabei werden Überzeugungen und Annahmen in Frage gestellt. Leider gibt es noch zu wenig Evidenz, dass Reflexion die Behandlung von Patienten verbessert [26]. Noch immer ist die Frage nicht geklärt, wer die Dozierenden evaluieren soll. Sind es die Peers, die Supervisoren, die Studierenden oder eine Kombination von allem [5]?
Portfolios als Möglichkeit zur Evaluation der Leistung von Dozierenden oder Studierenden sind noch nicht etabliert, obwohl sie durchaus zur Beurteilung der klinischen Untersuchungsfertigkeit sinnvoll sein könnten [27]. Die Inter-Rater-Zuverlässigkeit von Portfolios wird aber als gering eingestuft [27], weil zu Beginn des klinischen Unterrichts nicht immer eine hohe Kompetenz zur stufengerechten Selbstreflexion gegeben ist [28]. Weil Portfolios nicht nur ihren Sinn für Ausbildungszwecke haben [29], dienen sie auch als Kompetenznachweis [30]. Die Selbstreflexion findet in der ­medizinischen Ausbildung bereits breite Anwendung, besonders wenn es darum geht, die Fähigkeit zu er­werben, ein therapeutisches Verhältnis in einer Arzt-Patienten-Beziehung aufzubauen [31]. Wir wissen aber auch, dass die Voraussetzung für eine aussagekräftige Selbstreflexion gute metakognitive Fähigkeiten und Achtsamkeit darstellen [31].
Böse Zungen behaupten, dass es mangels genauer Definitionen nie zuverlässige Messungen der Unterrichtseffektivität geben wird [32]. Umso mehr könnten verschiedene Gedanken bei der Erstellung von Fragebögen hilfreich sein (s. Kasten).

Was muss bei der Erstellung von ­Evaluationsbögen ­beachtet werden?

– Studierende evaluieren Dozierende sowieso. ­Welche Information ist für die Lehre nützlich?
– Studierende beurteilen Sachverhalte anhand ihrer Vorerfahrungen. Welche Fragen berücksichtigen ­diesen Umstand?
– Allgemeine Fragen über die Unterrichtseffektivität haben einen grossen Interpretationsspielraum. ­Welche sind von didaktischer Relevanz?
– Lehr-fokussierte und Lern-fokussierte Charakteristika können befragt werden. Welche ergänzen sich gegenseitig auf sinnvolle Art?
– Die horizontale und die vertikale Evaluation kann kombiniert werden. Welche Charakteristika sind aus beiden Perspektiven interessant?
– Der Evaluationszeitpunkt ist relevant. Wurde der Befragung genügend Raum gegeben?
– Manchmal macht es Sinn, Durchschnittswerte der verschiedenen Charakteristika zu bilden. Wozu sollen diese verwendet werden?
– Die Kommentare der Studierenden dürfen nicht ausser Acht gelassen werden. Wurden diese im ­passenden Kontext beurteilt?
– Extrapolationen von Angaben einzelner Studierender auf die Gesamtheit sind unter Umständen notwendig. Wurde dieses Vorgehen als solches klar deklariert und hinreichend begründet?
– Bestehende Evaluationsfragen müssen manchmal in die eigene Lehrevaluation integriert werden. Wurde die Vergleichbarkeit der Art, Stufe, Grösse, Funktion und Disziplin der Ausbildungsveranstaltung berücksichtigt?
Dr. med. et scient. med. Vladimir Sibalic MD
Facharzt für Allgemeine Innere Medizin
Parkstrasse 16
CH-9000 St. Gallen
vladimir.sibalic[at]gmx.ch
 1 Becker, W. E., Bosshardt, W., & Watts, M. (2012). How departments of economics evaluate teaching. The Journal of Economic Education,43,325–333. http://dx.doi.org/10.1080/00220485.2012.686826.
 2 Boring, A. (2015). Gender biases in student evaluations of teachers (working paper). OFCE-PRESAGE-SCIENCES PO and LEDa-DIAL.
 3 Dunn, K. A., Hooks, K. L., & Kohlbeck, M. J. (2016). Preparing future accounting faculty members to teach. Issues in Accounting Education,31,155–170. http://dx.doi.org/10.2308/iace-50989.
 4 Spooren, P., Brockx, B., & Mortelmans, D. (2013). On the validity of student evaluation of teaching: The state of the art. Review of Educational Research,83,598–642. http://dx.doi.org/10.3102/0034654313496870.
 5 Glass, V.G., Martinez, A.B., Politics of Teacher Evaluation, Paper commissioned by the Center for Research on Accountability and Teacher Evaluation, Western Michigan University. Presented at its Cross-cutting Theory Conference, June 4–6,1993.
 6 Felton, J., Koper, T.P., Mitchell, J., Stinson, M., Attractiveness, easiness and other issues: student evaluations of professors on Ratemyprofessors.com, Assessment & Evaluation in Higher Education, Vol. 33, No. 1 (2008), pp. 45–6.
 7 Kozub, M.R., Student Evaluations Of Faculty: Concerns And Possible Solutions, Journal of College Teaching & Learning, Volume 5, Number 11 (2008).
 8 Ginns, P., Prosser, M., & Barrie, S. (2007). Students’ perceptions of teaching quality in higher education: The perspective of currently enrolled students. Studies in Higher Education, 32, 603–615. http://dx.doi.org/10.1080/03075070701573773.
 9 Malik, M. E., Danish, R. Q., & Usman, A. (2010). The impact of service quality on students’ satisfaction in higher education institutes of Punjab. Journal of Management Research, 2(2), 1–11.
10 Duque, L. C. (2013). A framework for analyzing higher education performance: Students’ satisfaction, perceived learning outcomes, and dropout intention. Total Quality Management and Business Excellence,25(1–2),1–21.
11 Duque, L. C., & Weeks, J. R. (2010). Towards a model and methodology for assessing student learning outcomes and satisfaction. Quality Assurance in Education,18,84–105. http://dx.doi.org/10.1108/09684881011035321.
12 Perceptions of the learning environment and academic outcomes: Implications for theory and practice. Studies in Higher Education, 27,27–52. http://dx.doi.org/10.1080/03075070120099359.
13 Alves, H., & Raposo, M. (2007). Conceptual model of student satisfaction in higher education. Total Quality Management & Business Excellence, 18, 571–588. http://dx.doi.org/10.1080/14783360601074315.
14 Mid-continent Research for Education and Learning, North Carolina Teacher Evaluation Process, Public Schools of North Carolina, State Board of Education Department of Public Instruction, http://www.ncpublicschools.org/docs/profdev/training/teacher/required/rubricasses smentform.pdf, access: November 14,2010.
15 Teacher Evaluation by Students, 2005 National Schools of Character: Award Winning Practices, Published and distributed by the Character Education Partnership, http://www.rucharacter.org/file/Microsoft%20Word%20%20Teacher%20Evaluation%20by%20Students%281%29.pdf, access:June 4,2011.
16 Marshall, K., Teacher Evaluation Rubrics, 2009, http://www.elmle.org/2009Resources/marshall/revised%20rubrics.pdf, access: November 24,2010.
17 Cambridge Public School, Teacher performance evaluation form, 2006, http://www.cpsd.us/Web/HR/TeacherEvaluationFORM.pdf, access: October 2,2010.
18 University of San Diego, Single subject student teacher evaluation form, http://www.sandiego.edu/soles/documents/EvaluationFormMS.doc, access: August 22, 2011.
19 Agelasto, M., University in Turmoil: The Political Economy of Shenzhen University Assessment criteria used by students in teacher evaluation form, http://www.agelastos.com/turmoil/258.pdf, access: December 2010.
20 Northwestern University, Student Teacher Evaluation Form, 2009, http://msuenglished.wikispaces.com/file/view/CEFMentorMidterm+0809Northwestern.pdf, access: December 2010.
21 Student Evaluation of Teaching Effectiveness, http://roadtoteaching.com/wpcontent/uploads/2009/02/student_eval_teacher_effectiveness.doc, access: November 2010.
22 West Virginia Board of Education, Teacher Evaluation, http://wvde.state.wv.us/policies/TEACHER%20EVALUATION%20FORM.doc, access: November 2010.
23 Tram, D.N., Williamson, J., Evaluation of teaching: hidden assumptions about conception of teaching, Proceedings of the 2nd International Conference of Teaching and Learning (ITCL), INTI University College, Malaysia, 2009.
24 University of Tasmania, Teaching Questionairre Item Bank, bitly.com/Q4oMxd, access: December 2010.
25 Gordon MJ. 1994. Review of the validity and accuracy of self-assessments in health professions training. Acad Med 66:762–769.
26 JOHN SANDARS, The use of reflection in medical education: AMEE Guide No. 44, Medical Teacher, 2009; 31: 685–695.
27 Thea Haldane. “Portfolios as a method of assessment in medical education. Gastroenterol Hepatol Bed Bench 2014 Spring; 7(2): 89–93 PMCID: PMC4017561 PMID: 24834299.
28 Dreissen EW, Overeem K, Van Tartwijk J. Validity of portfolio assessment: which qualities determine ratings? Med Educ. 2006; 40:862–66.
29 Challis M. AMEE medical education guide no. 11 (revised): Portfolio based learning and assessment in medical education. Medical Teacher. 1999;21:437–40.
30 Roberts C, Newble DJ, O’ Rouke AJ. Portfolio based assessments in medical education: are they valid and reliable for summative purposes? Med Edu. 2002;36:899–90.
31 John Sandars, The use of reflection in medical education: AMEE Guide No.44. University of Leeds, UK, 2009;31:685–95.
32 Stark, P. B., & Freishtat, R. (2014). An evaluation of course evaluations. doi: 10.14293/S2199-1006.1.SQR-EDU. AOFRQA.v1Stark. Retrieved from Science Open: https:// www.scienceopen.com/document/ vid/42e6aae5-246b-4900-8015-dc99b467b6e4?0.
33 Eva, K. W., & Regehr, G. (2008). «I’ll never play professional football» and other fallacies of selfassessment. Journal of Continuing Education in the Health Professions, 28(1), 14–19.
34 Rene ´e E. Stalmeijer Diana H. J. M. Dolmans Ineke H. A. P. Wolfhagen Wim G. Peters Lieve van Coppenolle Albert J. J. A. Scherpbier, Combined student ratings and self-assessment provide useful feedback for clinical teachers, Adv in Health Sci Educ (2010) 15:315–328.
35 S. M. Fünger, H. Lesevic, S. Rosner, I. Ott, P. Berberat, C. Nikendei, C. Sonne, Improved self- and external assessment of the clinical abilities of medical students through structured improvement measures in an internal medicine bedside course, GMS JournalforMedicalEducation2016,Vol.33(4), ISSN2366-5017
36 Sonne C, Vogelmann R, Lesevic H, Bott-Flügel L, OttI, Seyfarth M. Significant improvement of a clinical trainingc ourse in physical examination after basic structural changes in the teaching content and methods. GMS Z MedAusbild.2013;30(2): Doc21. DOI:10.3205/zma000864.
37 Celenza A, Rogers I. Qualitative evaluation of a formal bedside clinical teaching program in an emergency department. Emerg MedJ.2006;23(10): 769-773.DOI:10.1136/emj.2006.037796.
38 Glen Bandiera, Kenneth Fung, Karl Iglar, Markku Nousiainen, Katina Tzanetos, Aikta Verma, Veronica Wadey, Susan Glover-Takahashi, Erika Abner, Caroline Abrahams, Yaw Otchere, Mariala Ruetalo. Best Practices in Teacher Assessment. Summary of recommendations. 2010. University of Toronto. https://pg.postmd.utoronto.ca/wp-content/uploads/2016/07/BestPracticesTeacherAssessment2010.pdf.
39 Cornelia R. M. G. Fluit, Sanneke Bolhuis, Richard Grol, Roland Laan, and Michel Wensing Assessing the Quality of Clinical Teachers A Systematic Review of Content and Quality of Questionnaires for Assessing Clinical Teachers J Gen Intern Med. ­2010Dec;25(12):1337–45.
40 Katharina Dreiling, Diego Montano, Herbert Poinstingl, Tjark Müller, Sarah Schiekirka-Schwake, Sven Anders, Nicole von Steinbüchel, Tobias Raupach, Evaluation in undergraduate medical education: Conceptualizing and validating a novel questionnaire for assessing the quality of bedside teaching. Medical Teacher 2017, Vol 39, NO.8,820–7.
41 Maclin, H.O., Maclin, M.K., Desoto, C., HITLAN, T.R., WILLIAMS, E. J., Using the DELPHI Method to Collect Feedback on Students’ Perceptions of Teaching Quality, Universitas, Volume 5, Issue 1.
42 Goran Hajdin, Katarina Pazur, Differentiating Between Student Evaluation of Teacher and Teaching Effectiveness, JIOS, Vol. 36, NO 2 (2012), PP. 123–134.
43 L. GREEN-THOMPSON, P. MCINERNEY, M. VELLER, The evaluation of bedside teaching – an instrument for staff evaluation and student experience: A pilot study at a South African university, SAJS, VOL 48, NO. 2, MAY 2010.
44 Smith CA, Hart AS, Sadowski LS, et al. Teaching cardiac examination skills. A controlled trial of two methods. J Gen Int Med. 2006; 21:7–12.
45 Nair BR, Coughlan JL, Hensley MJ. Student and patient perspectives on bedside teaching. Med Educ. 1997; 31:341–6.
46 Max Peters, Olle ten Cate, Bedside teaching in medical education: a literature review, Perspect Med Educ, 2013, DOI 10.1007/s40037-013-0083-y.
47 Kilminster, S. M., & Jolly, B. C. (2000). Effective supervision in clinical practice settings: A literature review. Medical Education, 34, 827–840.
48 Sargeant, J., Mann, K., van der Vleuten, C., & Metsemakers, J. (2008). ‘‘Directed’’ self-assessment: Practice and feedback within a social context. Journal of Continuing Education in the Health Professions, 28(1), 47–54.
49 Braskamp, L. A., & Ory, J. C. (1994). Assessing faculty work: Enhancing individual and institutional performance. San ­Francisco, CA: Jossey-Bass.
50 Hashweh, M. Z. (2003). Teacher accommodative change. Teaching and Teacher Education, 19(4), 421–34.
51 Richardson, V., & Placier, P. (2001). Teacher change. In V. Richardson (Ed.), Handbook of research on teaching. Washington: American Educational Research Association.
52 Pajares, M. F. (1992). Teachers’ beliefs and educational research: Cleaning up a messy construct. Review of Educational Research, 62(3), 307–332.
53 Tracey Papinczak, Louise Young, Michele Groves & Michele Haynes (2007) An analysis of peer, self, and tutor assessment in problem-based learning tutorials, Medical Teacher, 29:5, e122-e132, DOI: 10.1080/01421590701294323.
54 Eva KW, Cunnington JPW, Reiter HI, Keane DR, Norman GR. 2004. How can I know what I don’t know? Poor self-assessment in a well-defined domain. Adv Health Sci Edu 9:211–224.
55 Sluijmans D, Dochy F, Moerkerke G. 1999. Creating a learning environment by using self-, peer-, and co-assessment. Learn Environ Res 1:293–319.
56 Rezler AG. 1989. Self-assessment in problem-based groups. Med Teach 11:151–156.
57 Sullivan ME, Hitchcock MA, Dunnington GL. 1999. Peer and self-assessment during problem-based tutorials. Am J Surg 177:266–269.
58 Reiter HI, Eva KW, Hatala RM, Norman GR. 2002. Self and peer assessment in tutorials: Application of a relative-ranking model. Acad Med 77:1134–1139.
59 Tousignant M, Des Marchais JE. 2002. Accuracy of student self-assessment ability compared to their own performance in a problem-based learning medical program : a correlation study. Adv Health Sci Edu 7:19–27.
60 Arnold L, Willoughby TL, Calkins EV. 1985. Self-evaluation in undergraduate medical education: a longitudinal perspective. J Med Edu 60:21–28.
61 Woolliscroft JO, Tenhaken J, Smith J, Calhoun JG. 1993. Medical students’ clinical self-assessments: comparisons with external measures of performance and the students’ self-assessments of overall performance and effort. Acad Med 68:285–294.
62 Rudy DW, Fejfar MC, Griffith CH, Wilson JF. 2001. Self and peer assessment in a first-year communication and interviewing course. Eval Health Profess 24:436–445.
63 Fitzgerald JT, White CB, Gruppen LD. 2003. A longitudinal study of self-assessment accuracy. Med Edu 37:645–649.
64 Neville AJ. 1998. The tutor in small-group problem-based learning: teacher? Facilitator? Evaluator? Pedagogue 8:1–9.
65 Cunnington J. 2001. Evolution of student evaluation in the McMaster MD program. Pedagogue 10:1–9.
66 Whitfield CF, Xie SX. 2002. Correlation of problem-based learning facilitators’ scores with student performance on written exams. Adv Health Sci Edu Theory and Pract 7:41–51.
67 Dochy F, Segers M, Sluijmans D. 1999. The use of self-, peer-, and co-assessment in higher education. Studies in Higher Edu 24:331–350.
68 Dodds AE, Orsmond RH, Elliott SL. 2001. Assessment in problem-based learning: The role of the tutor. Annal Acad Med Singapore 30:366–370.
69 Henry A. Hornstein, Student evaluations of teaching are an inadequate assessment tool for evaluating faculty performance, CURRICULUM & TEACHING STUDIES | REVIEW ARTICLE, Cogent Education (2017), 4: 1304016, http://dx.doi.org/10.1080/2331186X.2017.1304016.
70 Wettergreen Sara A. Brunner Jason, Linnebur Sunny A., Borgelt Laura M., Saseen Joseph J., Comparison of faculty assessment and students’ self-assessment of performance during clinical case discussions in a pharmacotherapy capstone course, Medical Teacher, Volume 40, 2018, Issue 2. Pages 193–8.
71 Rajeev Sharma, Amit Jain,1Naveenta Gupta, Sonia Garg, Meenal Batta, and Shashi Kant Dhir, Impact of self-assessment by students on their learning. Int J Appl Basic Med Res. 2016 Jul-Sep; 6(3): 226–229. doi:10.4103/2229-516X.186961.
72 Herbert E. Lessons learned about student portfolios. Phi Delta Kappan. 1998; 79:583–5.
73 Kirov D, Kazakova S, Kirilova J. Student’s self-assessment in preclinical and clinical education of prosthetic dentistry. J IMAB. 2014; 20:575–7.