Forsterkningslæring

Forsterkningslæring i praksis: agenten trekker fargelapper og lærer seg veien i labyrinten, helt uten forklaringer.

60 min 5.–10. trinn og VGS Grupper Uten skjerm

10 minIntroduksjon til RL og fargelapp-systemet

20 minFase 1: Labyrint-spill Runde 1 — agenten trekker blindt

15 minFase 2: Labyrint-spill Runde 2 — lappene styrer mot målet

15 minFase 3: Diskusjon — RLHF, AlphaGo, etikk

Hva elevene faktisk gjør — og hvorfor det virker

Forsterkningslæring er en av de mest kraftfulle formene for maskinlæring. Det er mekanismen bak maskinen AlphaGo som slo verdens beste Go-spillere, roboter som lærer å gå, og det er deler av hvordan ChatGPT ble finjustert gjennom RLHF (Reinforcement Learning with Human Feedback). I forsterkningslæring lærer en agent ikke av eksempler eller eksplisitte regler — den lærer gjennom å ta handlinger, motta belønning eller straff, og gradvis bygge opp en strategi basert på hva som fungerer.

Denne aktiviteten gjør prinsippet konkret. Elevene bruker en ferdig oppsatt labyrint (Skriv ut «Labyrint-ark») med noen få nummererte veikryss. Ved hvert kryss ligger det en liten bunke fargelapper — én farge per retning. «Agenten» lukker øynene og trekker en lapp for å avgjøre neste trekk. Det er ikke agenten som velger klokt; det er tilfeldighet, akkurat slik en utrent KI-modell starter med en tilfeldig strategi. Ett «spill» varer fra start til enten målet eller en blindvei. «Miljøet» — den andre eleven — følger med og feller dommen: endte spillet i en blindvei, fjernes lappen som ble trukket ved det siste krysset. Endte det med at agenten nådde målet, legges det en ekstra lapp av vinnerfargen tilbake ved hvert kryss langs veien. Bunkene er Q-tabellen — ikke et tall på et ark, men noe elevene kan se og telle.

Så starter de et nytt spill med det samme, og spiller så mange de rekker i løpet av runden. Derfor virker runde to annerledes enn runde én, uten at noen har forklart noe underveis: fargefordelingen ved hvert kryss har skjevet seg mot det som fungerte i tidligere spill, så sjansen for et godt trekk er høyere. Spiller klassen mange nok spill, ser elevene bunkene vokse seg nesten rene i vinnerfargen — strategien blir synlig, ikke bare fortalt om.

Denne forståelsen er kritisk når elevene senere møter RLHF som metoden bak ChatGPT: systemet blir ikke «lært» av eksempler alene, men finjustert gjennom tusenvis av menneskers tilbakemeldinger om hva som er en god respons — akkurat som fargelappene ved krysset. Og når de hører om AlphaGo, har de en konkret, fysisk opplevelse av hvordan belønning driver læringen fram.

Vil du forstå konseptet bak? Les Slik virker KI — 5 minutter.

Slå opp ved behov

Læringsmål og kompetansemål

Hva elevene skal lære

Elevene skal forklare hva forsterkningslæring er med egne ord, beskrive rollen til agent, miljø, tilstand, handling og belønning, og gi konkrete eksempler på hvordan belønning påvirker læring.
De skal gjennomføre en praktisk simulering av en forsterkningslæringsprosess der fargelapper fungerer som en fysisk Q-tabell, og observere hvordan en agents atferd forbedres over flere iterasjoner når lapper legges til ved seier og fjernes ved feil. De skal koble aktiviteten til kjente KI-systemer som AlphaGo, selvkjørende biler og ChatGPT (RLHF), og reflektere over etiske spørsmål knyttet til valg av belønningsfunksjoner.

Forankring i LK20

Naturfag — Bruke og vurdere digitale ressurser og modeller til å utforske fenomener og forstå prinsipper for teknologiske systemer.

Matematikk — Utforske og beskrive strukturer og mønstre, anvende funksjoner og modeller.

Programmering og IT — Forstå grunnleggende prinsipper i algoritmisk tenking og hvordan systemer lærer fra data.

Samfunnsfag — Drøfte konsekvenser av digitalisering, kunstig intelligens og automatisering, samt etikk og ansvar i teknologibruk.

Begreper i dette opplegget

Forsterkningslæring (RL): Maskinlæringsmetode der en agent lærer gjennom å ta handlinger, motta belønning eller straff, og gradvis bygge opp en strategi.
Agent: Enheten som lærer og tar beslutninger — kan være en datamaskin, robot eller algoritme.
Miljø: Verden eller systemet som agenten opererer i — gir tilbakemeldinger basert på agentens handlinger.
Tilstand (State): Nåværende situasjon for agenten — for eksempel posisjonen i labyrinten eller brikkeoppstillingen i et spill.
Handling (Action): Hva agenten gjør — for eksempel gå opp, ned, venstre eller høyre i labyrinten.
Belønning (Reward): Numerisk verdi som miljøet gir agenten — positiv for ønskede handlinger, negativ for uønskede, null for nøytrale.
Q-tabell: Tabell som viser forventet belønning for hver (tilstand, handling)-kombinasjon. Brukes av agenten til å ta bedre beslutninger over tid.
Policy: Agentens strategi — reglene for hvilken handling som velges i hvilken tilstand for å maksimere belønning.
RLHF: Reinforcement Learning with Human Feedback — metoden der menneskers preferanser brukes som belønningssignal til å finjustere KI-modeller som ChatGPT.

Alle begreper i ordlisten →

Dette sier du til elevene

«Dere er et KI-team som skal lære opp en robot til å navigere et lager. Roboten vet ingenting — den kan ikke se kart, og ingen forklarer reglene. Den eneste informasjonen den får er: 'bra' eller 'dårlig' etter hvert trekk. Oppdraget: la roboten lære seg veien på egenhånd.»

💡 Tips: Spør klassen: «Hvordan vil dere lære en robot noe hvis den ikke kan læse eller snakke?» Ta imot alle svar uten å vurdere dem. Fortell at i dag skal de selv være både robot og lærer, og finne svaret gjennom et spill.

Står også i lærerveiledningen som «Les til klassen», og på presentasjonens andre slide.

Refleksjonsspørsmål til klassen

Spørsmålene står også i lærerveiledningen og på presentasjonens refleksjonsslide.

Agenten din lærte ikke av forklaringer eller regler — bare av belønning og straff. Er det en god måte å lære på? Hva er fordelen? Hva er risikoen?
Hva ville skjedd hvis reglene for lappene var annerledes — for eksempel hvis hver seier ga fem nye lapper i vinnerfargen i stedet for én? Ville agenten funnet den beste veien raskere, eller ville den blitt fanget i den første veien den fant?
ChatGPT ble finjustert gjennom RLHF: mennesker sa hvilke svar som var «gode» og hvilke som var «dårlige». Hva hvis menneskene som ga tilbakemeldingen hadde partiske synspunkter?
Autonome kjøretøy lærer gjennom «belønning» (sikker kjøring) og «straff» (ulykker eller brudd). Hvem bør bestemme hvordan disse prioriteres? Og hvem bør bli «belønnet» hvis ulykken innebærer valg mellom mennesker?

I virkeligheten — og videre arbeid

I virkeligheten

AlphaGo / AlphaZero — Spilte millioner av partier for å lære, belønnet for seiere
Roboter som lærer å gå — Simulering hvor beina belønnes for balanse og framgang
ChatGPT (RLHF) — Finjustert med menneskes preferanser som belønningssignal
Anbefalingssystemer — Netflix, Spotify: belønnet for «bruker klikket og likte det»
Selvkjørende biler — Lærer sikker kjøring gjennom simulering og belønning for sikkerhet

Bygg videre på opplegget

Lag din egen labyrint med nye regler — Elevene tegner en ny labyrint og velger en annen regel for hvor mange lapper som legges til eller fjernes. Hva skjer hvis man legger til tre lapper per seier i stedet for én? Eller hvis ulike deler av labyrinten har ulike fargesystemer?
For VGS — fra fargelapper til ekte Q-verdier — Bytt ut fargelappene med tall og regn ut ekte Q-verdier med formelen Ny verdi = Gammel verdi + læringsrate × (belønning + γ × beste neste verdi). Sammenlign hvordan den matematiske Q-tabellen utvikler seg med hvordan fargelapp-bunkene utviklet seg i timen — er det samme prinsipp i to former?
Turingtest-debatt — Hva er «intelligent» oppførsel?: Elevene diskuterer: Agenten sin «strategi» ser intelligent ut, men den lærer bare mønstre fra belønning. Er det virkelig intelligent? Hva gjør menneskers læring annerledes?
Undersøk belønning i virkeligheten — Velg ett virkelig KI-system (anbefalingssystemer, selvkjørende biler, ChatGPT). Hva er «belønningsfunksjonen» i praksis? Hvem bestemmer det? Hva kunne gå galt?

Slik ser det ut i klasserommet

Kilde, kreditering og videre lesning

Tilpasset fra AI Unplugged — Annabell Lindner & Stefan Seegerer, Friedrich-Alexander-Universität Erlangen-Nürnberg. Belønningsmekanikken — fargelapper som legges til ved seier og fjernes ved feil — er hentet fra deres aktivitet «Beat the Crocodile», som i sin tur bygger på CS4FNs spill «Sweet Learning Computer». Bygger også på CS Unplugged av Bell, Witten & Fellows. Lisensiert CC BY-SA 4.0 — denne bearbeidingen deles på samme vilkår. Norsk bearbeiding: Sigrun Lindaas Norhagen, kiforskolen.no — NLA Høgskolen.