Ad Valvas 2008-2009 - pagina 173

AD VALVAS 20 november 2008

OPINIE 11

Willem van Os van Onderwijscentrum VU:

'Elsevier-ranglijsten zijn onbetrouwbaar' Uitzinnig juichen bij goede resultaten of de iiele opleiding omgooien bij slechte scores. Beide reacties vindt Willem van Os van het Onderwijscentrum niet verstandig. Laatje niet gek maken door de 'Keuzegids hoger onderwijs' TEKST: WILLEM VAN OS ILLUSTRATIE: MERLIJN DRAISMA Het Elseuier-themanummer met de uitkomsten van onder studenten afgenomen vragenlijst over het door hen gevolgde onderwijs roept elk jaar wisselende gevoelens op: blijdschap wanneer de eigen opleiding of instelling er goed van afkomt, teleurstelling als dat niet zo is. Maar al te vaak wordt in het eerste geval voldaan gewezen op de aangebrachte verbeteringen in het onderwijs die kenneHjk nu hun vruchten afchragen, en worden in het tweede geval grote vraagtekens gezet bij de waarde van de enquête. Die vraagtekens zijn terecht, óók als de uitkomsten wél positief zijn. Sinds 2004 geeft het Onderwijscentrum VU op verzoek van het bestuurscollege jaarlijks een analyse van de Keuzegids hoger onderwijs van opinieblad Elsevier. Van meet af aan is daarbij gewezen op de ernstige methodologische tekortkomingen van het onderzoek. Het gaat niet eens zozeer om de vragenlijst zelf. Daar is over het algemeen weinig mis mee. Belangrijk is de mate waarin de uitkomsten bepaald worden door steekproefverschiUen. Een uitgesproken voorbeeld daarvan is het telkens optredende verschü in waardering tussen tandheelkunde-VU en tandheelkundeUvA. Het betreft dezelfde opleiding ACTA, maar UvA-studenten geven systematisch lagere cijfers dan VU-studenten. Het cijfer dat de opleiding krijgt, hangt dus niet alleen af van haar kwaliteit, maar ook en vooral van de student die het cijfer uitdeelt. ToeValsverschiUen spelen een te grote rol.

Dramatische terugval Vorig jaar pakte het voor de VU in Elsevier-opzicht heel gunstig uit: 7 van onze 23 onderzochte bacheloropleidingen stonden nummer 1 op de rangUjst. Toen al schreef het Onderwijscentrum VU dat tevredenheid daarover '(...) niet de ogen (mag) doen slviiten voor het feit dat diezelfde toevalsverschiUen in 2008 (min of meer per de-

finitie) tot andere resultaten zullen leiden.' Dat bleek afgelopen oktober maar al te waar te zijn. Dit keer stonden slechts 2 opleidingen van de 25 opleidingen bovenaan, waarvan één ex aequo. Erger was de dramatische en statistisch significante terugval bij de opleidingen Nederlands recht en bestmurskiande. De portefeuillehouder onderwijs van de rechtenfaculteit Wim Huisman zei in Ad Valvas 08 al dat de uitslag hem erg verbaasde omdat er in het onderwijs niets veranderd was. Daarnaast gaf hij aan dat slechts zeventien studenten waren ondervraagd. Die laatste informatie is ons niet bekend, maar een respons van zeventien studenten is voor zo'n grote faculteit natuurUjk belachelijk laag en is als zodanig een belangrijke oorzaak van die (toevallige) steekproefverschillen. Ter controle hebben we de evaluatieresultaten van de faculteit in het afgelopen jaar eens onder de loep genomen. Immers, als er bij Nederlands recht anders dan de portefeuillehouder denkt - wel degehjk iets ernstigs aan de hand was geweest, dan zou dat toch op z'n minst ook uit onze evaluaties moeten bhjken (zie onderstaand kader).

Bij de Rechtenfaculteit worden twee standaardvragenlijsten van het Onderwijscentrum veel gebruikt: die voor hoor- en voor weri<coileges. Van beide vragenlijsten ziet u in de tabel de score voor de VU als geheel, voor Rechten in eerdere jaren en Rechten in het jaar 2007-08. Scores voor het overall gemiddelde oordeel over de docent, over (het ervaren nut van) de cursus en bij de hoorcolleges over het tentamen zijn gemeten op een schaal van 1 tot 5. De N heeft betrekking op het aantal cursusevaluaties. Bij Rechten 2007-08 betrof het alleen de bachelorcursussen (omdat het bij Elsevier ook om bacheloronderwijs ging).

Hoorcollege

VU

Rechten vóór 2007 2007-08

Docent Cursus Tentamen

3,70 3,52 3,31

3,92 3,70 3,40

3,98 3,80 3,48

Af

1388

122

28

Werkcollege

VU

Rechten vóór 2007 2007-08

Docent Cursus Tentamen

3,91 3,87 n.v.t.

3,91 4,01 n.v.t.

4,00 3,97 n.v.t.

N

700

160

29

Opeens ontevreden De conclusie is duidelijk: op één uitzondering na (waarin de score geUjk is) werd het onderwijs bij rechten vóór 2007, afgaande op de desbetreffende vragen (veel) hoger gewaardeerd dat voor de VU in haar geheel. Hetzelfde is op één minieme uitzondering na (verschil 0,04!) het geval bij rechtenevaluaties in het studiejaar 2007-2008 ten opzichte van het rechtengemiddelde uit eerdere j aren. Er is dus geen enkele sprake van dat de rechtenstudenten vorig jaar opeens zo ontevreden zijn geworden. In elk geval bhjkt dat niet uit de door hen ingevulde evaluatieformidieren, en dat zijn er heel wat meer dan de 17 studenten op wie Elsevier zich blijkbaar heeft gebaseerd. Wanneer de portefeuillehouder onderwijs opmerkt dat in het onderwijs niets is veranderd, dan kan dat gezien het bovenstaande alleen maar worden onderschreven. Het is volgens onze evaluaties hooguit nóg beter geworden. Dat betekent echter óók dat de grote fluctuatie in de Elseuier-score bij deze opleiding nergens op berust, anders dan dat dit keer kennelijk toevallig onevemedig veel ontevreden studenten zijn ondervraagd. De opleiding bestuurskunde is in Elseviers Keuzegids Hoger Onderwijs 2006 op alle fronten laag gewaardeerd, in 2007 in alle opzichten sterk omhoog gegaan en in 2008 weer op het scoreniveau van 2006 teruggevallen. DergeHjke schommeHngen zijn niet erg aannemeUjk. Bestuiurskunde kan niet in het ene jaar een slechte, het volgende jaar een goede en het derdejaar weer een slechte studie zijn. Dat betekent dat óf de lage scores in 2006 en 2008 niet kloppen, óf de hoge score in 2007 ten onrechte was. Kortom, de Elsevier-enquête is een onbetrouwbaar instrument.

Uitbundige opwinding Heb je er dan helemaal niets aan? Dat is misschien nu ook weer overdreven. In de eerste plaats zijn er opleidingen die jaar in, jaar uit erg positief naar voren komen, zoals er ook andere zijn die steeds nogal ongunstig worden gewaardeerd. In het laatste geval is er heus wel aanleiding om een kritische bhk op het eigen functioneren te

werpen, voor zover dat al niet gebeurt. Maar je moet zowel waken voor incidentenpoUtiek op grond van onverwachte negatieve uitschieters, als voor uitbxmdige opwinding bij plotseling erg gunstige resultaten. In de tweede plaats bevat de enquête enkele meer feiteHjke vragen die bij lage scores aanleiding zouden moeten zijn voor maatregelen. Een duidelijk voorbeeld daarvan is dat opleidingen zich domweg moeten houden aan met studenten

'Een respons van 17 studenten is voor zo'n grote faculteit natuurlijk belachelijk laag' gemaakte afspraken over de termijn waarbinnen tentamens moeten zijn nagekeken. Hierbij geldt niet eens: hoe vlugger, hoe beter, want studenten snappen echt wel dat hier tijd mee is gemoeid. Maar wanneer vier weken de afspraak is, mag het geen zes weken duren. En ook geen vijf of viereneenhalf Een ander voorbeeld is het geven van informatie over bijvoorbeeld onderwijs- en tentamenroosters, c.q. wijzigingen daarin. Nu elke student via e-maU gemakkeUjk bereikbaar is, moetje op zo'n vraag niet laag kunnen scoren. "Rankings are here to stay", zei een van de sprekers op een conferentie die aan dit onderwerp was gewijd. Vermoedelijk is dat zo. Reden te meer om er verstandig mee om te blijven gaan. Willem van Os is coördinator Onderwijsevaluatie/Kwaliteitszorg Reageren? Mail naar redactle@advalvas.vu.nl.

Deze tekst is geautomatiseerd gemaakt en kan nog fouten bevatten. Digibron werkt voortdurend aan correctie. Klik voor het origineel door naar de pdf. Voor opmerkingen, vragen, informatie: contact.

Op Digibron -en alle daarin opgenomen content- is het databankrecht van toepassing. Gebruiksvoorwaarden. Data protection law applies to Digibron and the content of this database. Terms of use.

Printen