Objectief oordeel is in topsport vrijwel onmogelijk vanwege het complexe systeem
Paardenwetenschapper Professor Dr. Inga Wolfram van Hogeschool Van Hall-Larenstein bewees in een onderzoek wat vaak werd vermoed: dressuurscores worden in een topsport niet altijd objectief toegekend. Het onderzoek identificeerde verschillende soorten vooroordelen (de zogenaamde “bias”). De complexiteit van het beoordelingssysteem draagt er in belangrijke mate aan bij dat rechters in sommige situaties verwijzen naar andere informatiebronnen dan de prestaties die op dat moment feitelijk worden geleverd.
Hoe zit het met de vooringenomenheid van dressuurjuryleden? Uiteraard moet de beoordeling van dressuurproeven objectief zijn. De combinatie van de beperkte cognitieve capaciteiten van mensen, zeer complexe evaluatiesystemen en tijdsdruk betekent echter dat rechters in momenten van twijfel op andere informatiebronnen moeten vertrouwen. Stelling van de wetenschapper: Om de grote complexiteit van het beoordelen van dressuurproeven te verminderen, nemen juryleden zogenaamde “cognitieve sluiproutes” zonder het te weten. Dit zijn ‘mentale hulpmiddelen’ die mensen helpen om in korte tijd de meest relevante informatie eruit te filteren om snel een beslissing te nemen. Dus, in momenten van twijfel: is het de moeite waard om nu 8 of 8,5 te halen? – Soms is het snel beschikbaar en worden andere informatiebronnen gebruikt die geen verband houden met de daadwerkelijke prestaties.
Nationale effecten en voordelen van gevestigde paren
Professor Wolfram onderzocht tussen mei 2022 en april 2023 510 testprotocollen van juryleden van zeven verschillende internationale vijfsterrendressuurwedstrijden. De wetenschapper selecteerde voor de ruiter de volgende studievariabelen:
- Dezelfde nationaliteit als de rechter
- Dezelfde nationaliteit als een andere rechter in de commissie
- Begin in je thuisland
- De website met wereldranglijsten van de International Equestrian Federation
- Startlocatie (d.w.z. of iemand vroeg of tegen het einde van de test de arena betrad)
Deze aspecten hadden betrekking op de score van het dressuurpaar met de score: alle vijf de factoren hadden een significante invloed op de beoordeling. “Bijna de helft van de variantie in dressuurscores kan worden verklaard door een combinatie van deze vijf factoren.” Concreet betekent dit: Dressuurparen werden beter beoordeeld vanwege het cascade-effect (d.w.z. een quasi-cascade-effect zoals een waterval die over meerdere treden stroomt). Volgens de variabele zijn de vijf als cruciaal geïdentificeerde factoren:
- De passagier komt uit hetzelfde land als de rechter (Nationale invloed)
- Reiter komt uit hetzelfde land als een andere rechter (Nationaal Agentschap)
- Begin in je thuisland
- Hoogste positie op de FEI Wereldranglijst (Reputatievooroordelen)
- volgend startpunt (De jury beoordeelt wat ze zien in vergelijking met het vorige startpaar en geeft doorgaans een hogere score)
Houd er rekening mee dat de twee factoren ‘hoogste positie op de FEI Wereldranglijst’ en ‘latere startpositie’ vaak hand in hand gaan. Uit het onderzoek bleek dat deze factoren samen stabiele koppels een voordeel zouden kunnen opleveren.
In een multifactor regressiemodel, waarin de vijf verschillende factoren samen worden meegenomen, heeft thuisvoordeel juist een negatief effect. Aangenomen wordt dat de reden hiervoor de onbewuste overcompensatie van rechters is in de vorm van een strengere classificatie van echtgenoten. Maar omdat er bij elk van de zeven onderzochte toernooien een scheidsrechter uit het land van de deelnemer aanwezig was, leidden de factoren ‘nationale invloed’ en ‘patriottisme bij volmacht’ uiteindelijk tot een positief thuisvoordeel.
Auteur van het onderzoek: Prof. Dr. Inga Wolfram
Professor dr. Inga Wolfram (© Sunny van Zallen)
Hoogleraar duurzame paardensport aan de Hogeschool Wetenschap Van Hool Laerenstein (Nederland). Master in menselijke en paardensportwetenschappen, PhD in sportpsychologie. Hij heeft onderzoek gedaan op verschillende gebieden van de paardensport, meest recentelijk samen met partners aan de Faculteit Diergeneeskunde in Utrecht Verantwoordelijk voor de samenleving en de economie.
“Van rechters wordt het onmogelijke gevraagd.”
Volgens de wetenschapper spelen de beschreven ‘cognitieve sluiproutes’ een rol omdat ‘rechters wordt gevraagd het onmogelijke te doen’. Ze moeten zeer snelle beslissingen nemen en er wordt verwacht dat ze met veel factoren rekening houden – van de potentiële sportieve capaciteiten van het paard op basis van zijn conditie, training volgens richtlijnen en hoe nauwkeurig het paard tijdens de proef werd bereden tot de kwaliteit van de samenwerking tussen ruiter en paard en evaluatie tegen de achtergrond van ‘zorg voor het paard’, oftewel dierenwelzijn. De keurmeester moet elke beweging beoordelen op basis van de zes niveaus van de trainingsschaal en op de achtergrond van correctheid en gehoorzaamheid. Soms binnen een paar seconden.
Gegeven deze zeer complexe vereisten voor de evaluaties van rechters, moeten ze volgens professor Wolfram “onvermijdelijk en onbewust hun toevlucht nemen tot andere, gemakkelijker toegankelijke informatiebronnen, zoals nationaliteit, prestaties uit het verleden, reputatie en startvolgorde. Dit creëert een trapsgewijze effect, waarbij de ene factor in de andere speelt. Het resultaat is systematische fouten bij het beoordelen van dressuurproeven.
Er zijn meer transparantie en op feiten gebaseerde normen nodig
Met deze resultaten concludeerde het onderzoek dat er behoefte is aan een transparant evaluatiesysteem gebaseerd op evidence-based criteria. Alleen dan kan een objectiever en betrouwbaarder oordeel worden gegeven, zowel voor de paarden en ruiters als voor de juryleden. De wetenschapper stelt voor om de taken onder de rechters te verdelen om de cognitieve belasting voor elke rechter te verminderen. Volgens het onderzoek zullen rechters minder hun toevlucht moeten nemen tot onbewuste cognitieve sluiproutes. Een uitsplitsing zou er bijvoorbeeld als volgt uit kunnen zien: paardenwelzijn, atletische prestaties, effectiviteit van de ruiter en nauwkeurigheid van beweging. Volgens de studie moeten ze allemaal op bewijs gebaseerd zijn en openstaan voor voortdurende evaluatie en indien nodig aanpassingen. De wetenschapper probeert oplossingen te ontwikkelen die in de praktijk mogelijk zijn.
Het gehele onderzoek kunt u hier lezen.
“Slechte koffienerd. Analist. Ongeneeslijke baconbeoefenaar. Totale twitterfan. Typische voedselliefhebber.”