Fritt skolevalg del 2 - Karakterer

Generelt om “fritt skolevalg”

Det har gått en debatt rundt “fritt skolevalg” i det siste. Regjeringen har et forslag på høring som omhandler å innføre karakterbasert opptak i alle fylker. Det er en del meninger blant politikere og andre rundt ulike modeller.

Uansett hvilket system som ender opp med å bli brukt, er det til slutt en modell som vil fordele elevene til skoler. Debatten mangler en mer konkret tilnærming til modeller – politikerne har ønsker uten å nødvendigvis ha forståelse for hva som kan gjennomføres og hva implikasjonene av en modell kan være.

Første artikkel om “fritt skolevalg” handlet om geografi. I denne artikkelen fokuserer vi på modeller som er basert på karakterer, og i den siste artikkelen ser vi på segregering.

I denne artikkelen: Karakterer

Vi begynner med å ta for oss de karakterbaserte modellene som er blitt evaluert av Oslo Met på oppdrag fra Inntaksutvalget i byrådsavdelingen i Oslo. Vi viser at flere av modellene ikke er strategisikre. Det betyr at elevene kan oppnå en strategisk fordel å ikke oppgi reelle prioriteter. En av modellene introduserer perverse insentiver, som gjør at det for noen elever lønner seg å gjøre det dårlig på skolen.

Vi introduserer en ny modell kalt kontrollert loddtrekning som unngår disse problemene og gir hint for hvordan de ulike modellene kan implementeres riktig.

Innhold

Sagt om karakterer

Mange mener at karaktersnitt bør gi positivt utslag når elever skal fordeles på skoler. Her er noen sitater som oppsummerer hva folk mener om bruk av karakterer:

Positive utsagn

Som med alle andre systemer er ikke fritt skolevalg perfekt. Problemet er likevel aldri at elevene får lov til å velge selv.” [kilde]

I motsetning til tilfeldigheter som postnummer, er karakterer i hvert fall noe man kan påvirke selv.” [kilde]

Negative utsagn

De skolene som får godt renommé, vil få flere søkere med gode karakterer. De andre skolene vil få de elevene som har dårligere karakterer. Denne sorteringa av elever er samfunnsmessig betenkelig.” [kilde]

Vi tror ikke på et system som samler elever med lave karakterer i samme klasserom. Det forsterker forskjellene i samfunnet vårt. Vi vil ha mindre ulikhet, ikke mer.” [kilde]

Formålet med denne artikkelen er ikke å promotere et politisk ståsted. Vi er interesserte i å undersøke ulike modeller og belyse positive og negative sider ved modellene i seg selv. Skal man bruke en karakterbasert modell (eller ikke) må man spørre seg hva man ønsker å oppnå og sørge for at modellen er god.

Modeller vurdert av Oslo Met

Modellene som er vurdert av Oslo Met [kilde] er følgende:

  1. Karakterer. Elevene med høyest karaktersnitt får velge først.
  2. Ren loddtrekning. Elevene med høyest nummer på loddet får velge først.
  3. Kvotering av søkere med svake karakterer. De \(20 \,\%\) av elevene med lavest karakter får velge først, deretter prioriteres de resterende \(80 \,\%\) etter karaktersnitt.
  4. Rangering etter elvenes prioriteter. Elevenes førsteprioriteter blir fordelt først, deretter andreprioriteter, etc.

En modell kalt “Loddtrekning blant primærsøkere til en kvote, kombinert med karakterinntak til resten av plassene” er også vurdert. Den er en blanding av modellene ovenfor.

Forskerne bruker blant annet følgende metodikk for å evaluere modellene:

For å vurdere om forskjellene som finnes mellom inntaksmodellene er statistisk signifikante, vil vi i sammenligningen av målsetningene bruke en kjikvadrattest.” [kilde, side 20]

Vi er ikke enige i at denne metodikken alene er god. Noen av de aktuelle modellene har i seg selv iboende svakheter, og da er det ikke av høy relevans å sammenligne modellenes utfall på et spesifikt datasett og oppgi resultater fra statistiske tester.

Notasjon og modeller

Vi skal se på enkle eksempler som belyser utfordringer med modellene. Vi bruker bevisst forenklede eksempler fordi vi ønsker å fremheve utfordringene som modellene har. For å beskrive modellene trenger vi notasjon. Notasjonen er følgende:

  • Vi har en mengde elever \(E=\{e_1, e_2, \dots, e_i, \dots \}\), der hver elev har et karaktersnitt \(k_i\).
  • Vi har en mengde skoler \(S=\{s_1, s_2, \dots, s_j, \dots \}\).
  • Hver skole \(s_j\) har en kapasitet \(K_j\), som er antall elever det er plass til.

Vi ignorerer linjene som elever kan velge, og ser kun på elever og skoler (vi kan generalisere til flere linjer om ønskelig).

  • Funksjonen \(M: E \to S\) gir fordelingen til elevene for en gitt modell. Eksempelvis betyr \(M(e_1, e_2) = (s_2, s_1)\) at elev \(e_1\) ble plassert på skole \(s_2\) og \(e_2\) ble plassert på skole \(s_1\). \(M(e_1) = (\emptyset)\) betyr at \(e_1\) ikke ble plassert. Eleven blir i praksis da tilfeldig plassert.
  • Funksjonen \(P: E \to \mathbb{Z}_+\) gir prioritetene til elevene under en fordeling. Eksempelvis betyr \(P(e_1, e_2) = (1, 2)\) at elev \(e_1\) fikk sitt førstevalg og \(e_2\) fikk sitt andrevalg.

Karakterbasert modell

I en ren karakterbasert modell får elevene med høyest karaktersnitt velge først. Man sorterer elevene \(e_i\) etter karaktersnitt \(k_i\) og fordeler dem én etter én på skoler etter elevenes ønsker.

I figuren nedenfor ser vi et eksempel der hver skole \(s_j\) har kapasitet \(K_j = 1\). De små linjene som går på tvers av pilene indikerer prioriteringene til hver elev. Eksempelvis er \(s_1\) førsteprioritet til \(e_1\).

En karakterbasert modell på eksempelet ovenfor gir

\begin{align} M(e_1, e_2, e_3, e_4) = (s_1, s_2, s_3, s_4) \qquad P(e_1, e_2, e_3, e_4) = (1, 2, 2, 2). \end{align}

Basert på eksempelet ovenfor kan vi gjøre noen generelle observasjoner om modellen:

  • Flere førstevalg er mulig. I en karakterbasert modell kan én elev med høyt snitt “ødelegge” for de andre. I eksempelet ovenfor er fordelingen \(P(e_1, e_2, e_3, e_4) = (2, 1, 1, 1)\) også en mulighet. Da får \(3\) elever førstevalget sitt, men på bekostning av at eleven med høyest karaktersnitt får sitt andrevalg.
  • Like karakterer kan ikke løses med tilfeldig rekkefølge. Anta at elevene \(e_2, e_3, e_4\) har like karakterer, men \(e_1\) har bedre karakterer, altså: \(k_1 > k_2 = k_3 = k_4\). Det kan være fristende å bruke en tilfeldig rekkefølge for å fordele elevene med like karakterer, men rekkefølgen kan føre til urettferdighet. Bruker vi rekkefølgen \(e_2, e_3, e_4\) får alle elevene andrevalgene sine. Bruker vi rekkefølgen \(e_4, e_2, e_3\) får derimot \(e_4\) sitt førstevalg, \(e_2\) får sitt andrevalg og \(e_3\) blir stående uten skole (eller blir tilfeldig plassert på \(s_4\)). Dette er urettferdig fordi alle elevene i utgangspunktet har likt karaktersnitt.
  • Like karakterer kan løses med min-cost flow. En løsning på utfordringen med like karakterer er å bruke min-cost flow på alle grupper av elever med likt karaktersnitt. Min-cost flow ble drøftet i del 1 av artikkelserien. Om eksempelvis \(P(e_1, e_2, e_3) = (1, 2, 3)\) er bedre eller verre enn \(P(e_1, e_2, e_3) = (2, 2, 2)\) kan bestemmes ved hjelp av fornuftig valg av målfunksjonen i min-cost flow.

Strategisikkerhet

En modell er strategisikker dersom det ikke er fordelaktig å oppgi usanne ønsker. Et alvorlig problem oppstår når elevene har få valgmuligheter, da er modellen ikke strategisikker, altså lønner det seg å lyve om hvilken skole man vil begynne på.

Figuren nedenfor illustrerer dette:

Anta at hver skole \(s_j\) har kapasitet \(K_j = 1\). Anta også at elev \(e_3\) har en reell prioritering \(s_1 > s_2 > s_3 > s_4\), der ulikhetstegnet indikerer at hun eksempelvis foretrekker \(s_1\) fremfor \(s_2\).

En karakterbasert modell gir \(M(e_1, e_2, e_3) = (s_1, s_2, \emptyset)\). Med andre ord: elev \(e_3\) blir tildelt en tilfeldig skole fordi hun “siktet for høyt”. Hadde \(e_3\) oppgitt \(s_2\) som førstevalg og \(s_3\) som andrevalg, ville personen blitt plassert på \(s_3\) og unngått å bli tilfeldig plassert. Nå risikerer hun i verste fall å måtte begynne på skole \(s_4\), som er det dårligste alternativet fra hennes perspektiv.

En karakterbasert modell er ikke strategisikker med mindre elevene får prioritere mange skoler. Dersom elevene får oppgi prioriteter for minst \(|S| - 1\) skoler (den siste skolen er bestemt av de andre) er modellen strategisikker. Uformelt kan vi si at modellen er “mer strategisikker” desto flere prioriterer elevene får oppgi.

Oppsummert kan vi si at:

  • En karakterbasert modell er ikke strategisikker når elevene ikke får oppgi en tilstrekkelig mengde prioriteter. Desto flere prioriteter elevene får oppgi, desto bedre.
  • Når elever har like karakterer, er det ingen garanti for at en tilfeldig rekkefølge er rettferdig.

I lys av dette er det kanskje forlokkende å heller vurdere en prioritetsbasert modell.

Prioritetsbasert modell

Ved første øyekast er muligens en prioritetsbasert modell en god idé. Modellen går først gjennom prioriteter, deretter elever sortert etter karakterer. Nedenfor beskrives første iterasjon i algoritmen, og en generell iterasjon \(\ell\):

  • Iterasjon 1. For hver skole \(s_j\), hent alle elever \(e_i\) som har skole \(s_j\) som prioritet \(1\) og sorterer etter karakterer \(k_j\). Ta inn de elevene det er plass til.
  • Iterasjon \(\ell\). For hver skole \(s_j\) der det fremdeles er ledig kapasitet, hent alle elever \(e_i\) som ikke allerede er plassert og som har skole \(s_j\) som prioritet \(\ell\) og sorterer etter karakterer \(k_j\). Ta inn de elevene det er plass til.

Det er et problem: prioritetsbaserte modeller er aldri strategisikre. Å “sikte for høyt” og bruke opp førsteprioritet på feil skole er et dårlig strategisk valg, selv om skolen er elevens reelle førsteprioritet. Enhver elev bør gjøre strategiske valg basert på sine egne karakterer i forhold til alle andres karakterer, og sine egne prioriteter i forhold til andres prioriteter.

Oslo Met skriver innledningsvis i sin rapport at:

Den inntaksmodellen som innfrir flest søkeres førsteønske er den som prioriterer førsteønsket.” [kilde, side 6]

Dette er helt riktig (og ganske selvsagt), men det paradoksale er at modellen som forsøker å få elever inn på første prioritet vil føre til at elever ikke oppgir sanne første prioriteter.

Mange elever søker strategisk – de vil ikke kaste bort førstevalg sitt på en skole de vet de ikke kommer inn på. Vi vet med andre ord ikke om førstevalg er det samme som hva elevene egentlig ønsker.” [kilde]

I artikkelen “School choice: an experimental study” av Chen et al. simuleres en prioritetsbasert modell. Forfatterne konkluderer med at selv om mer enn \(70 \,\%\) av elevene fikk plass på oppgitt førsteønske, fikk mindre enn \(30 \,\%\) plass på reelt førsteønske. Artikkelen oppsummerer godt:

The model: (1) does not eliminate justified envy and hence may produce outcomes that may result in lawsuits from dissatisfied parents, (2) it is not efficient and (3) it gives students and their parents strong incentives to misrepresent their preferences.”

Vi ønsker ikke å utsette elever for byrden av å måtte tenke strategi når de skal prioritere skoler i sin fremtidige utdannelse. Basert på dette, samt kritikk av modellen i andre sammenhenger (den har blitt brukt i Boston, Cambridge, Denver, Minneapolis og Seattle), forkaster vi den prioritetsbaserte modellen.

Å utjevne segregering

I rapporten til Oslo Met stilles spørsmålet “hvilken av inntaksmodellene gir mest mangfoldig elevsammensetning?”, og det vises til frykt for økende segregering.

Begrepet “segregering” er diffust. Rapporten til Oslo Met nevner variabler som kjønn, foreldres inntekt, foreldres utdanningsnivå, antall trygdede i nabolaget der elevene bor, morsmål og elevenes karaktersnitt. Alt dette kan være interessant i en analysesammenheng, men vårt ståsted er at flesteparten av disse variablene ikke bør gå inn i en ryddig, realistisk modell.

Vi tolker her “segregering” i lys av bekymringen om at “elevene med de laveste karaktergjennomsnittene konsentreres på noen skoler på Oslos østkant, mens elevene med de høyeste gjennomsnittene konsentreres på andre skoler i sentrum eller på byens vestkant”. [kilde, side 62]

Progresjonsbaserte modeller

Ekspertutvalget om kjønnsforskjeller foreslår i NOU 2019:3 en utredning av en progresjonsbasert modell.

Utvalget foreslår å utrede om fylkeskommunene bør kunne basere inntaket på karakterprogresjon i stedet for karakterer, i tillegg til ordinært karakterbasert inntak og geografisk bestemt inntak. Med karakterprogresjon mener utvalget hvor mye eleven har løftet seg i prestasjoner gjennom ungdomsskolen.” [kilde]

Det er ikke åpenbart hvordan en slik modell kan implementeres uten at det gir insentiv for å gjøre det dårlig på skolen. Elever vet allerede at det er karakterene fra 10. klasse som teller. Med en progresjonsbasert modell vil en potensielt god strategi være å gjøre det så dårlig som mulig i starten av ungdomsskolen, og deretter prestere bedre. Det vil føre til at elever potensielt tenker strategisk på karakterer allerede i 8. klasse, og at de potensielt tar et (strategisk riktig) valg om å prestere dårlig.

Uansett politisk ståsted virker det lite hensiktsmessig å bruke modeller med slike insentiver.

Geografisk inndeling

Et annet forslag er å bruke geografi for å utjevne sosiale forskjeller:

Nettopp fordi Oslo var så sosialt segregert, vil en regioninndeling som bevisst er utformet slik at den “skjærer på tvers” av byens sosiale skiller, være langt det mest effektive virkemidlet.” [kilde, side 52]

Å velge regioninndeling med hensikt om å begrense segregering fremstår ikke åpenbart som en hensiktsmessig fremgangsmåte – hvorfor ikke optimere for lavere segregering direkte?

Bruker man geografi er man begrenset av geografiske betingelser (f.eks. “en region må være sammenhengende”) som ikke eksisterer i det originale problemet. Det krever mer data, høyere kvalitet på dataene, mer avanserte algoritmer og vil allikevel ikke være like effektivt som å jobbe mot lavere segregering direkte. Vi er på ingen måte overbevist om at geografi er “det mest effektive virkemidlet”.

Kvotering av elever med lavt snitt

Det er ikke gitt at progresjonsbaserte modeller, geografiske inndelinger eller kvotering fører til en stor reduksjon i segregering. Den eneste måten vi garantert kan få mindre forskjeller på er å optimere for dette direkte (vi gjør dette i neste del av artikkelserien). Vi ser likevel på kvotering, med en underliggende antakelse om at det til en viss grad vil minske segregering.

En av modellene som har blitt evaluert er kvotering av søkere med svake karakterer, da enten de \(10 \, \%\) eller \(20 \, \%\) svakeste. Prioritetene som elevene fordeles med er vist i figuren nedenfor.

Dette er også problematisk. En stortingsrepresentant for Høyre sier følgende:

Utvalget foreslår også kvotering av elever med svake karakterer. De ti prosent med dårligst karakterer fra ungdomsskolen får velge først. Det er litt kjedelig for den eleven som er den med 10,01 prosent dårligst karakterer – men leste akkurat litt for mye til den ene matteeksamen.” [kilde]

Byrådslederkandidaten fra Høyre gir sitt perspektiv:

Forslaget om kvotering av de ti prosent svakeste elevene kommer til å ødelegge motivasjonen til alle elever.” [kilde]

Å kvotere de elevene med lavest karaktersnitt fører til et perverst insentiv – for elever som er i nærheten av kvoteringsgrensen er det en realistisk og potensielt god strategi å aktivt gjøre det dårlig på skolen.

Kontrollert loddtrekning

Vi presenterer en modell som gir elever med lavt karaktersnitt en mulighet til å bevege seg opp i prioriteringen, men som i motsetning til kvotering ikke introduserer perverse insentiver. Idéen er enkel: vi bruker loddtrekning, men elever med høyt karaktersnitt får flere lodd.

Elever med lave karakterer vil i snitt bli hjulpet opp av denne modellen. Eleven som er helt på bunn kan aldri få verre prioritering av en slik loddtrekning, likevel vil han alltid få bedre sjanser dersom han gjør det bedre på skolen.

I modellen kan man justere i hvilken grad man ønsker mobilitet. Prioritet basert på karakterer alene, samt prioritet basert på to ulike parametervalg for kontrollert loddtrekning, er vist i figuren nedenfor. Det ene parametervalget gir mindre tilfeldighet, og derfor mindre mobilitet.

Detaljer for utregning av kontrollert loddtrekning

Kontrollert loddtrekning er vektet sampling uten tilbakelegging, men med et fornuftig valg for hvordan vekter beregnes ut fra karakterer. Beregningene nedenfor er delvis basert på artikkelen “Weighted random sampling with a reservoir”, utgitt i 2006 av Efraimidis et al.

Hver elev \(e_i\) har et karaktersnitt \(k_i\). Vi rangerer elevene og får en rangering \(r_i \in [0, 1]\) for hver elev. Nå har vi en variabel i intervallet \([0, 1]\) og elevene er jevnt fordelt over intervallet.

Neste steg er å regne ut vekter \(v_i = f(r_i)\). Mange funksjoner er mulige å bruke. Funksjonen \(v_i = \exp (\alpha r_i)\) for \(\alpha \geq 0\) er et godt valg, fordi \(\alpha=0\) gir ren loddtrekning uten vekter, og når \(\alpha \to \infty\) har vi en ren karakterbasert modell.

Vi bruker vektene \(v_i\) til å utføre loddtrekning som gir en ny prioritet. For hver elev genererer vi en jevnt fordelt tilfeldig variabel \(u_i \sim U(0, 1)\). Variablene \(\log(u_i) / v_i\) angir den nye prioriteringen. Resultatet er en loddtrekning der karakterer hjelper med å øke vinnersjansene.

Mobilitet i kontrollert loddtrekning

For å forstå hvordan vektene \(v_i = f(r_i)\) påvirker loddtrekningen ser vi på funksjoner \(\exp (\alpha r_i)\) med ulike verdier for \(\alpha\). Figuren nedenfor er basert på en million simuleringer, og viser hvordan ny prioritet etter loddtrekning er en funksjon av original prioritet for ulike verdier av \(\alpha\). Den originale prioriteten er kun basert på elevenes karakterer. Den nye prioriteten er basert på elevenes resultater i kontrollert loddtrekning.

Den stiplete linjen viser hvordan ingen endring i prioriteringsrekkefølgen ville sett ut. For hver originale prioritet vises den nye median-prioriteten, samt intervaller for \(50 \, \%\) av prioritetene og \(80 \, \%\) av prioritetene.

I en typisk loddtrekning flyttes elevene med lavt karaktersnitt opp i den nye prioriteringen, og elevene som har høyt karaktersnitt flyttes ned. Allikevel er medianen monotont stigende – bedre karakterer hjelper alltid. Verdien for \(\alpha\) bestemmer mobiliteten.

For eleven med lavest original prioritet (lavest karaktersnitt) ser vi fra figuren ovenfor at:

  • Når \(\alpha=1\) blir eleven i median-tilfellet flyttet foran \(17 \, \%\) av de andre elevene i ny prioritet.
  • Når \(\alpha=3\) blir eleven i median-tilfellet flyttet foran \(7 \, \%\) av de andre elevene i ny prioritet.
  • Når \(\alpha=8\) blir eleven i median-tilfellet flyttet foran \(3 \, \%\) av de andre elevene i ny prioritet.

Ulempene med kontrollert loddtrekning er at modellen (1) ofrer elevenes ønsker som helhet til fordel elever med gode lodd og (2) optimerer ikke for lavere segregering direkte. Det er en heurestikk for å begrense segregering, på samme måte som loddtrekning, kvotering og progresjonsbaserte modeller. I motsetning til kvotering gir modellen ingen insentiver for dårlig innsats på skolen, og i motsetningen til loddtrekning insentiverer den god innsats på skolen.

Oppsummering

Flere av modellene som Oslo Met har evaluert har iboende svakheter. Oppsummert har vi sett at:

  1. Karakterer. Ikke strategisikker med mindre elevene får sette opp mange nok prioriteter. Urettferdig med mindre fordeling av elever med like karaktersnitt implementeres riktig (tilfeldig rekkefølge kan ikke brukes).
  2. Ren loddtrekning. Gir ikke insentiv til å gjøre det godt på skolen. Ofrer elevenes ønsker som helhet til fordel elever som får gode lodd. Selv om modellen i praksis med høy sannsynlighet fører til mindre segregering optimerer den ikke for dette direkte.
  3. Kvotering av søkere med svake karakterer. Introduserer et perverst insentiv.
  4. Rangering etter elvenes prioriteter. Aldri strategisikker og blir kritisert i litteraturen.

En modell kalt “Loddtrekning blant primærsøkere til en kvote, kombinert med karakterinntak til resten av plassene” ble også vurdert. Denne er aldri strategisikker (den er delvis lik modell 4 ovenfor), og er i tillegg vanskelig å forstå fordi elever må spekulere i om de er i kvoten eller ikke. Modellen Kontrollert loddtrekning generaliserer modellene 1, 2 og 3 ovenfor, og unngår samtidig det perverse insentivet som modell 3 har.

I den grad det lar seg gjøre bør en modell som brukes i praksis være strategisikker og ikke introdusere perverse insentiver. Felles for progresjonsbaserte modeller, geografisk inndeling, kvotering og loddtrekning er at de er heurestikker som man håper kan føre til mindre segregering. I neste del av artikkelserien presenterer vi en modell som aktivt optimerer for lavere segregering direkte.

Notater og referanser

Det er gjort mye forskning på modeller for inntak av elever. To gode referanser for modeller basert på mekanismedesign og spillteori er:

  • School Choice: A Mechanism Design Approach” av Abdulkadiroğlu et al.
  • The Boston Public School Match” av Abdulkadiroğlu et al.

Basert på disse artiklene kan man jobbe seg gjennom litteraturen om ønskelig.


En stor takk til Sean Meling Murray og Gunvor Lemvik for verdifulle innspill til artikkelen.