Leserinnlegg - Blandingsmodellens svakheter

  • 26. March 2022

Nedenfor er en kopi av leserinnlegget mitt i utdanningsnytt, publisert fredag 25. mars 2022. Denne versjonen har en del kommentarer, lagt til som fotnoter. Dette er mindre viktige kommentarer som jeg ikke fikk plass til eller ikke synes passet inn i teksten.


Blandingsmodellens svakheter

Debatt: Prosessen rundt hvordan man publiserer og diskuterer inntaksmodeller er fremdeles uryddig, og blandingsmodellen flere svakheter som ikke har blitt belyst.

Inntaksmodellen for videregående skole i Oslo har vært debattert i flere år. En av bekymringene med dagens modell er at den forårsaker segregering2; elever med høye og lave karaktersnitt samler seg på ulike skoler. For to år siden evaluerte et inntaksutvalg ulike modeller, og jeg skrev en artikkel der jeg etterprøvde modellenes matematiske egenskaper [1]. Nå har SV foreslått en “blandingsmodell” [2], men har tilsynelatende kun evaluert denne basert på en simulering av tidligere søkermasse1. I denne artikkelen ønsker jeg å evaluere og kommentere blandingsmodellen.

Å publisere en algoritme

Før vi ser på blandingsmodellen vil jeg kommentere på måten modellen er publisert på. Modellen er en algoritme; en presis beskrivelse av operasjoner som skal utføres. Når matematikere eller programmerere kommuniserer om algoritmer, deler vi enten pseudokode eller faktisk kode som kan kjøres på en datamaskin. Vi belyser hvordan algoritmer fungerer ved å illustrere beregningene stegvis på helt konkrete eksempler. Dette er avgjørende for å forstå detaljene og dermed kunne ha en produktiv diskusjon.

Blandingsmodellen ble introdusert i et notat skrevet av Sunniva Holmås Eidsvoll den 15. februar 2022. Etter å ha lest notatet så jeg Sunnivas presentasjon i Kultur- og utdanningsutvalget fra 9. mars. Jeg deltok også på Oslo SVs åpne møte på Rådhuset den 16. mars. Modellen har blitt forklart overordnet ved flere anledninger, men aldri på et så detaljert nivå at man ville klart å implementere den uten å gjøre antagelser. Jeg har sendt epost til byrådet og etterspurt kode, men har ikke fått tilfredsstillende svar. Koden bak dagens modell burde også vært publisert, men modellen er så enkel at beskrivelsen gir langt mindre rom for tolkning3 [3].

Det er uheldig å foreslå en modell uten å publisere kode som publikum kan studere. Det skaper misforståelser, og i modeller som dette er detaljene ofte avgjørende. Den modne, etablerte prosessen for å publisere en algoritme på er å oppgi kode. Dette savner jeg fra SVs forslag. Det gjør også at dette leserinnlegget er litt ukomfortabelt å skrive - det kan hende at jeg har misforstått noe og kritiserer modellen på feil grunnlag. Jeg har forsøkt å tolke beskrivelsene etter beste evne.

Modellegenskaper

En inntaksmodell er en algoritme som, gitt elevenes rangerte ønsker, fordeler elever på skoler. Slike algoritmer har blitt forsket på fra og med 60-tallet. I 2012 gikk Nobelprisen i økonomi til to forskere som jobbet med slike mekanismer. En inntaksmodell kan beviselig inneha, eller mangle, visse matematiske egenskaper5. Disse egenskapene er verdt å undersøke både fordi de gir oss et felles sammenligningsgrunnlag med andre modeller, og fordi de kan belyse negative aspekter med en modell som ikke er åpenbare ved første øyekast.

Egenskapene som er relevante for blandingsmodellen og dagens karakterbaserte modell inkluderer strategisikkerhet, insentiver og effektivitet. Jeg vil argumentere for at disse egenskapene er positive uansett hvilken politikk man ønsker å føre. Betinget på politiske målsetninger finnes det gode og dårlige måter å realisere politikken på i form av en inntaksmodell. Når jeg peker på mangelfulle egenskaper med blandingsmodellen, så betyr det ikke at jeg nødvendigvis er uenig i den politiske målsetningen.

Strategisikkerhet

En modell er strategisikker dersom det aldri lønner seg for elevene å oppgi usanne ønsker [4]. Strategisikkerhet er en god egenskap, fordi det betyr at elever kan være ærlige og slippe byrden av å tenke strategisk når de rangerer sine skoleønsker.

En modell som kun lar elevene rangere noen skoler, men ikke alle, er ikke strategisikker. For å forstå dette, kan man anta at man bruker en modell som kun lar elevene oppgi ett ønske. Hvis ønsket ikke kan innfris plasseres eleven på en tilfeldig skole. En elev med middels gode karakterer som ønsker å gå på en populær skole bør ikke oppgi denne skolen som sitt førsteønske. Eleven bør begrense ambisjonene sine og heller oppgi en skole som er realistisk å komme inn på. Når elever må tenke slik, er ikke modellen strategisikker.

Strategisikkerhet er en binær egenskap. Allikevel kan vi uformelt si at jo flere skoler elevene får oppgi, desto mindre strategisk tenkning kreves. Verken dagens modell eller blandingsmodellen er strategisikre4. Fremtidens modell bør tillate elevene å oppgi så mange ønsker som mulig. Det kan finnes andre grunner til at en modell ikke er strategisikker, men de er ikke relevante for blandingsmodellen.

Insentiver

En modell har gode insentiver dersom hver elev kan forvente at innsats og læring, her målt i karakterer, vil lønne seg i inntaksprosessen. Dagens karakterbaserte modell har gode insentiver etter denne definisjonen. En av modellene som ble undersøkt av inntaksutvalget var ren loddtrekning. Dette er et eksempel på en insentivnøytral modell. En annen modell som ble evaluert plasserte elevene med lavest karakterer først i køen. Denne modellen har dårlige insentiver, fordi det er rasjonelt for enkelte elever å bevisst underprestere.

Blandingsmodellen har ikke gode insentiver. Modellen baserer seg på kvoter og prestasjonsnivåer, og innad i hvert prestasjonsnivå fordeles elevene i rekkefølge fra høyest til lavest karaktersnitt. Ettersom hver skole holder av plasser til elever i hver kvote, er det bedre å være på toppen av en vilkårlig kvote enn å ha gode karakterer generelt. Hvis grensen mellom to prestasjonsnivåer ligger på karaktersnittet 3, er det bedre å ha 2,9 i snitt enn 3,1. Dersom en elev legger inn innsats og får høyere karaktersnitt, kan det bety at eleven kommer lengre frem i køen ved å bevege seg oppover innad i én kvote. Men det kan også bety at eleven rykker opp til neste kvote, og dermed går bakover i køen. Elevene vet ikke hvor grensene for kvotene er, så innsats kan lønne seg eller straffe seg.

Effektivitet

En modell er effektiv dersom den garanterer at ingen grupper av elever kan bytte skoler og bli mer fornøyde med sin plassering, uten at andre blir mindre fornøyde8 [5]. Dagens karakterbaserte modell er effektiv. Hvis Ola ønsker å gå på skole A, og Kari ønsker å gå på skole B, vil det aldri forekomme at de blir plassert på motsatt skole under dagens modell.

Blandingsmodellen er ikke effektiv6. Det kan forekomme at Ola blir plassert på skole B og at Kari blir plassert på skole A. Elevene kunne ha byttet skole og blitt mer fornøyde, men modellen kan se bort fra elevenes ønsker. Dette er ikke nødvendigvis problematisk. En modell som skal opprettholde et kvotesystem må potensielt ofre elevenes egne ønsker for å respektere kvotene. Om elevenes ønsker skal ofres for kvotene er et politisk spørsmål. Men da skulle man håpe at når elevenes ønsker først ofres, så vil det alltid føre til lavere segregering. Formålet med kvotene er tross alt å redusere segregering. Men det er ikke tilfellet: modellen kan forkaste elevenes egne ønsker, ikke bare når det reduserer segregering, men også når det øker segregeringen. Det er ikke intuitivt at dette kan forekomme, og det er for teknisk til å bevise i dette innlegget. Men jeg beviser det på min egen nettside, og interesserte lesere er velkomne til å studere eksempelet mitt [6].

Oppsummering

Politiske mål kan realiseres på gode og dårlige måter. Dersom målsetningen er å redusere segregering, mener jeg at å ofre insentiver og effektivitet er en dyr pris å betale. Særlig fordi det ikke er nødvendig. Det finnes andre modeller som vil bryte opp segregering uten å ofre disse egenskapene. Et av mine forslag er vektet loddtrekning, der høyere karakterer fører til høyere sannsynlighet for å komme først i køen7. Denne modellen skisserte jeg for nesten to år siden, og koden er også publisert [1].

Det er mulig at politikerne lander på at blandingsmodellen er det beste alternativet. Jeg ville vært uenig, men det er en konklusjon man må respektere om grunnlaget for beslutningen er godt. Uansett hvilken modell som velges, håper jeg at politikerne i større grad vil publisere kode og vurdere modeller opp mot matematiske egenskaper. Det er viktig at både publikum og politikere forstår implikasjonene av modellene, og at man fører en ærlig diskusjon rundt de negative aspektene så vel som de positive. Å endre politikk kan skape nye vinnere og tapere i inntaksordningen, men slepphendt modellarbeid er ingen tjent med.

Referanser

[1] Odland, T. & Murray, S. M.(2019). Mangelfull evaluering av inntaksmodeller, Bedre Skole nr 3/2020, side 38 - 43

[2] https://www.utdanningsnytt.no/inntaksordning-oslo-osloskolen/byradet-vurderer-ny-inntaksmodell-som-blander-elever-med-ulikt-karaktersnitt/312517

[3] Inntaksregler i Oslo

[4] Abdulkadiroğlu, A. & Sönmez, T. (2003). School Choice: A Mechanism Design Approach, American Economic Review, vol. 93, no. 3, side 729 - 747

[5] Gale, D. & Shapley, L. S.(1962). College Admissions and the Stability of Marriage. The American Mathematical Monthly, vol. 69, no. 1, side 9 -15

[6] Odland, T. (2022) Skolevalg - Blandingsmodellen

Fotnoter


  1. Det er ikke enkelt å konstruere og evaluere en modell som forsøker å oppnå flere ting samtidig. En analogi er å konstruere et bygg. Å lage et bygg som kun skal være robust er relativt enkelt. Å lage et bygg som både er robust, billig og estetisk er vanskeligere. Det krever mer kompetanse. Men et ønske om å oppnå flere ting i modellen er ikke en unnskyldning for å implementere en modell med negative egenskaper som ellers kunne vært unngått. 

  2. Så vidt jeg vet har ikke segregering blitt definert presist nok til at det kunne inngått i en modell direkte. Gitt to fordelinger \(F_1\) og \(F_2\) av elever på skoler, og en funksjon \(s\) som evaluerer segregering, så kunne vi evaluert segregering med å se på forskjellen mellom \(s(F_1)\) og \(s(F_2)\). Hovedfokuset i notatet til byråden er gjennomsnittskarakterene på skolene, men kjønn og morsmål blir også rapportert i forbindelse med simuleringene. I OsloMets rapport rapporteres segregering etter karakter, etnisk bakgrunn, sosial bakgrunn og kjønn. Ettersom blandingsmodellen bruker kvoter basert på karakterer, tolker jeg de som at karaktersegregering er hovedbekymringen. 

  3. Koden burde også vært publisert, og beskrivelsen kunne vært mer presis. Et potensielt forbedringsforslag til dagens modell, utover det jeg skriver om strategisikkerhet i en annen fotnote, er å bruke min cost flow til å fordele elevene med likt karaktersnitt. Mange elever vil ha identisk karaktersnitt, og å fordele disse i en tilfeldig rekkefølge er ingen garanti for at man innfrir så mange ønsker som mulig. Å bruke min cost flow ville garantert at så mange som mulig innad i ett karaktersnitt får oppfylt ønskene sine. Men å bruke optimering er ikke nødvendigvis strategisikkert, selv om det ville vært svært vanskelig å manipulere i praksis. 

  4. Dagens modell er ikke strategisikker av to grunner. Den første er at elevene ikke kan oppgi mange ønsker. Dette er ikke et problem for elever som ikke har en rangering utover noen få skoler. Men elever som har en rangering over mange skoler kan ikke uttrykke denne i dagens modell.

    De andre grunnen er at elevene er tvunget til å prioritere skoler innad i hvert utdanningsprogram. En elev med rangering (1) studiespesialiserende på skole A, (2) medier og kommunikasjon på skole A, og (3) studiespesialiserende på skole B, kan ikke uttrykke denne rangeringen fordi studiespesialiserende ligger både foran og bak medier og kommunikasjon. 

  5. Leserinnlegget bruker uformelle definisjoner på egenskapene i et forsøk på å formidle til et bredt publikum. Lesere som vil forstå egenskapene i detalj må lese referansene for presise definisjoner. Jeg forsøkte å unngå matematisk notasjon og skarpe definisjoner i dette innlegget. 

  6. Det er mulig at den kunne vært gjort effektiv med å kjøre top trading cycle algoritmen (TTC). Men dette ville gått utover kvotene. Kanskje det ville vært mulig å kjøre TTC kun på syklene som ikke øker segregering. Jeg er usikker. 

  7. Jeg foreslo vektet loddtrekning fordi OsloMet evaluerte to modeller som er på hver sin side av et spekter: karakterbasert inntak og ren loddtrekning. Mitt inntrykk er at den politiske høyresiden er glad i karakterbasert inntak, mens den politiske venstresiden er mer åpen for loddtrekning. Begge disse inntaksmodellene er spesialtilfeller av vektet loddtrekning.

    Når loddene avhenger veldig sterkt av karakterer, er vektet loddtrekning i praksis lik karakterbasert inntak. Når loddene ikke avhenger av karakterer, er vektet loddtrekning lik ren loddtrekning. Et sted i mellom finnes det et kompromiss, som politikerne kanskje kunne blitt enige om. Vektet loddtrekning er en modell som enkelt kan endres med å endre avhengigheten mellom lodd og karakterer, og den har gode egenskaper. Modellen er effektiv, strategisikkert og har gode insentiver i forventningsverdi. 

  8. Effektivitet er med hensyn på eleves sanne ønsker. Vi må anta at modellen er strategisikker. En modell kan ikke være effektiv med hensyn på elevenes sanne ønsker hvis de avviker fra elevenes oppgitte ønsker.