Det krävs kompetens inom två olika områden enligt Jerkedal (2001):
utvärderingsteknik - metoder, bearbetning, instrument
sociala faktorer - kunskap om hur makt, politik, partsintressen, utvärderarens roll påverkar utvärderingens utfall
Lundmark (1992) nämner liknande krav (kunskaper om utvärdering och organisatoriska förutsättningar för förändring) men dessutom bör utvärderaren ha kunskap om själva utbildningsprocessen.
Utvärderarens omedvetna och medvetna värderingar, öppet redovisade eller dolda för uppdragsgivaren, påverkar genomförande och tolkning. Teoretiska utgångspunkter påverkar också (Lundmark, 1992). Utvärderarens värderingar påverkar t.o.m. vilken data som samlas in (Franke-Wikberg & Johansson, 1976)
Man måste ta ställning till om utvärderaren ska påverka utformningen av utbildningen, eller bara vara en betraktare. Jerkedal (2001) pratar om aktionsforskning och menar att om utvärderingen ska få några följder måste utvärderaren skapa medverkan från alla parter, och hjälpa olika intressegrupper att förstå varandras värderingar och tolkningar av resultaten.
Utvärderaren bör enligt Jerkedal (2001) stå på de svagares sida, eftersom de starkare oftast ändå kan framföra sina åsikter. Han påpekar även att utvärderaren bör vara beredd på att få olika roller vid formativ respektive summativ utvärdering; formativ utvärdering ger mer uppskattning eftersom den ger omedelbara fördelar för kursdeltagarna. (ibid.)
Lundmark (1992) tar upp tre syften:
Jerkedal (2001) tar även upp:
Lundmark (1992) varnar för dolda syften, t.ex. syndabocksmotivet, legitimeringsmotiv, och avledningsmotivet (köpa sig tid). Man bör också fråga sig om det verkligen finns ett meningsfullt syfte med utvärderingen? Ekonomiska motiv till utvärdering bör man vara skeptisk till - går det verkligen att bedöma lönsamhet? (ibid.)
Man kan också fråga sig om enbart en utvärdering ska ligga till grund för ett beslut om utbildning? Man kan ju inte bara se till hur tidigare utbildningar fungerat, man måste ta hänsyn till den aktuella situationen och framtidsplaner. (ibid.)
Jerkedal (2001) tar upp olika utvärderingsmodeller:
En stor del av utvärderingen går ut på att ta reda på vilka eventuella effekter utbildningen hade. Man kan studera dessa effekter på individ-, grupp- och organisationsnivå. Dessutom är det intressant att titta på både omedelbara följder och långtidseffekter. (Lundmark, 1992)
Olika möjliga krav på en utbildning (ibid.):
1. kunskapskravet: man ska lära sig något man inte kunde innan
2. relevanskravet: innehållet ska vara relaterat till nuvarande eller kommande arbetsuppgifter
3. användningskravet: individen bör ha handlingsutrymme nog att utnyttja kunskaperna
Individens handlingsutrymme påverkas av organisationens storlek, struktur, historia, organisationens verksamhet (föränderlig, statisk?), arbetsorganisationen (hierarki, platt? status), arbetsinnehåll, samarbetsformer, medarbetarna och chefernas inställning. Både faktiskt och upplevt handlingsutrymme är relevant. (Lundmark, 1992)
Vid utvärdering kan man enligt Lundmark (1992) inte bara studera attityder, utan det är viktigare att se vad deltagarna i en kurs lärt sig, och hur detta utnyttjas.
Andra exempel på faktorer som påverkar effekten av utbildning i arbetslivet är (Lundmark, 1992):
Utifrån dessa faktorer nämner Lundmark (1992) följande åtgärder för att främja utbildningseffekter i arbetslivet:
1. Deltagarna anger förväntningar innan kursen. Kan användas under och efter kursen för att jämföra med resultatet.
2. Flera deltagare från samma arbetsplats
3. I slutet av utbildningen formulerar deltagarna ett åtgärdsprogram
4. Uppföljningstillfälle där man diskuterar hinder och förutsättningar för att använda kunskaperna
5. På arbetsplatsen bildas en grupp som ska främja utbildningseffekter
Om man vill att utbildningen ska få organisatoriska konsekvenser måste man engagera organisationen från början. Detta kan vara svårt att uppnå, och även svårt att mäta. (Lundmark, 1992; Jerkedal, 2001)
Jerkedal (2001) delar in utvärderingsarbetet i sju steg och Lundmark (1992) i sex.
Varför ska det utvärderas? (se ovan)
Ska utvärderaren vara intern eller extern? En intern utredare är som anställd styrd av organisationen (gör som ledningen vill), medan en extern kanske ser mer till yttre intressenter. Den externe är expertutredare, men den interne kan företagskulturen, t.ex. känner nyckelpersoner. Dessutom stannar utvärderingskompetensen kvar i organisationen om utvärderaren är intern. Kanske kan man ha båda? (Jerkedal, 2001)
Lärare i högskolemiljö bör enligt Bessman & Mårtensson (1991) hjälpas åt för att utvärdera varandras kurser. Man kan även tänka sig samarbeten mellan olika institutioner.
Före utbildningen, under utbildningen, vid kursslut, en viss tid efter kursslut? (Lundmark, 1992). Bessman & Mårtensson (1991) påpekar att när det gäller högskolestudier kan formativ utvärdering tjäna två syften, dels att förbättra kursen, men även att få studenterna att reflektera över sitt sätt att lära. De kan också utveckla en insikt om sin delaktighet i uppnådda resultat. Det är viktigt att göra utrymme i studenternas schema för utvärdering, för att markera att det är viktigt och för att så många som möjligt ska delta.
Berörda grupper bör identifieras för att de ska kunna få medbestämmanderätt (Jerkedal, 2001) och för att man ska veta hur resultaten kommer att tas emot. Exempelvis kursansvariga, lärare, kursadministratörer, deltagare, utbildningsansvariga, chefer, företagsledning, facket, läromedelsproducenter, forskare, politiker, utvärderare.
Enligt Lundmark (1992) innehåller utvärderingen fem faser:
Planering - Datainsamling - Beskrivning av data - Analys & tolkning - Värdering, åtgärder
Insamlingsmetoder är exempelvis test/prov, enkät, intervju, observation, dagboksanteckningar, gruppdagbok, essäer (vad tycker du om kursen?), kursmöte.
Metodologiska överväganden (Lundmark, 1992):
Man bör försöka besvara frågorna från olika berörda grupper. En del frågor kan ej undersökas eftersom man inte har tekniker för det, inte har råd, av etiska skäl eller för att det skulle ta för lång tid. Det är viktigt att motivera varför! (Jerkedal, 2001)
Franke-Wikberg & Johansson har i sin litteraturgenomgång konstaterat att det är viktigt att den totala inlärningsmiljön undersöks; bakgrundsinformation, inlärningsprocessen och utfallet. Lundmark (1992) nämner flera faktorer som är intressanta att studera, indelat i dessa tre kategorier (Figur 1):
De sk. ramarna avgör om förändringar är möjliga, varför man bör undersöka dem i utvärderingen. Ex. administrativa resurser, gruppstorlek, tid, lokaler, intern/extern kurs
Deltagarnas förutsättningar måste också studeras. Det är mycket intressant att veta något om dem redan innan utbildningen påbörjats! Ex. arbetsuppgifter, problem och krav i arbetet, behov, motiv, förkunskaper, tidigare utbildningserfarenhet, arbetslivserfarenhet, förväntningar, praktiska förutsättningar.
I högskoleutbildning kan man studera faktorer som undervisningsgruppens profil, skillnader mellan de studerande, gruppstorlek, hur mycket självstudier som görs. (Franke-Wikberg & Johansson,1976). Det också intressant att studera lärares undervisningsförmåga och studentens inlärningsprocesser, menar Bessman & Mårtensson (1991). Exempel på det senare är hur kunskapssynen förändras, om studenterna inser den egna delaktighet i hur mycket de lär sig, om de lär påverka sin egen och andras situation, om deras självkännedom ökats.
Kursledning/lärares grundsyn påverkar utbildningen. Ex. Vad är viktiga kunskaper, varför är de viktiga, hur sker inlärning bäst, deltagarnas roll. Franke-Wikberg & Johansson (1976) betonar att en väsentlig uppgift för utvärderaren är att lista ut vilka värderingar de engagerade parterna har. Riktlinjerna för undervisning påverkas till exempel av ämnesexpertena och administratörernas värderingar, vilka i sin tur påverkas av rådande samhällsvärderingar. Genomförandet påverkas av lärarens och studenternas värderingar.
Processen, dvs undervisningen resp. läromedlens innehåll, omfång & svårighetsgrad, lärarnas roll, hur kursdeltagarna agerar, arbetsformer/metodik.
Figur 1: Vad ska utvärderas? (Lundmark, 1992)
Jerkedal anser att man bör utvärdera alla faser i en utbildnings tillkomst och genomförande: problem / behov - idéer - utredningar / val av utbildning - mål - beslut om genomförande - resurser och kostnader - genomförande - utfall (Figur 2)
Figur 2: Faser att utvärdera (Jerkedal, 2001)
Man bör inte enbart använda utbildningens mål som grund för en utvärdering, menar Franke-Wikberg & Johansson (1976), eftersom överspecificerade mål gör att övergripande mål glöms till förmån för specifika kunskaper och för att viktiga, mer dynamiskt uppkomna effekter, inte uppmärksammas.
Några exempel på frågeställningar från Lundmark (1992):
Kontrollgrupper, slumpmässigt urval? Objektiva eller subjektiva data? Analys eller statistiska beskrivningar? (Jerkedal, 2001)
Ett sätt att minska tolkningsproblem med subjektiv data är att bara bry sig om de extremt positiva och negativa omdömena från en kursvärdering. När det gäller högskolestudenter har det visat sig att de ändrar sitt omdöme när de fått visst tidsperspektiv till kursen. Det kan därför vara intressant med en uppföljningsstudie. Typiskt för högskolestudenter är också att deras genomsnittliga omdömen varierar med årskull, varför man enbart bör ta hänsyn till de omdömen som är stabila mellan flera kurser. (Bessman & Mårtensson, 1991)
Om utvärderingen är formativ - hur ofta under pågående kurs ska man utvärdera? (Jerkedal, 2001)
Utformningen av rapportering till utvärderingens intressenter är avgörande för resultatet menar Jerkedal (2001). En summativ rapport bör därför innehålla följande:
Övriga tumregler enligt Jerkedal (2001):
Hur gör man så att utvärderingen leder till utveckling? (se kapitlet om Utveckling)
I den s.k. ATU-skalan (attityder till utbildning) utnyttjas semantisk differential, dvs. deltagaren får välja ett adjektiv i motsatta par. (Se Bilaga A). Skalan innehåller 6 olika par, och en sjugradig skala med varierande riktning. Mellan dessa ordpar finns fler adjektivpar som kan användas om man vill ha ytterligare information. Efter utvärderingen kan man försöka få svar på frågor som: varför har en person låga värden i alla ämnen? Varför har olika personer olika värden för samma ämne? Sjunker värdena under utbildningens framåtskridande? (Jerkedal, 1966)
Bessman, M. & Mårtensson, D. (red.). 1991. Kursvärdering för ökad kvalitet - vägledning och exempelsamling. UHÄ/FOU: Skriftserie 1991:1.Gotab, Stockholm.
Franke-Wikberg, S & Johansson, M. (1976). Utvärdering av undervisning. Studentlitteratur, Lund.
Jerkedal, Å. (2001). Utvärdering - steg för steg. Norsteds Juridik AB, Stockholm.
Lundmark, A. (1992). Utvärdering av personalutbildning - principer och metoder. IPF-rapport nr 24, Uppsala.
©2005 Malin Seeger 
utbildningsdesign