Kokemuksia vertaisarvioinnista opetusmenetelmänä

Taustaa

Kurssin opetusmenetelminä ovat tähän saakka olleet tentti, perustehtävät sekä ns. soveltavat tehtävät.  Perustehtävissä oppilaat ovat simuloineet eri algoritmien toimintaa:  tehtävissä on annettu tietorakenteen lähtötilanne pyydetty kuvaamaan, miten algoritmi muuttaa tietorakenteen tilaa askel askeleelta, kunnes saavutetaan haluttu lopputila.  Nämä on toteutettu koneellisesti ns. WWW-TRAKLA-järjestelmän avulla.  Soveltavia tehtäviä kokeiltiin ensimmäistä kertaa keväällä 1998, jolloin jokainen kurssilainen ratkoi 2-3 hengen ryhmissä n. 15-20 pienimuotoista ongelmaa, joissa joutui soveltamaan kurssilla opittuja rakenteita ja algoritmeja.  Pieni joukko opiskelijoita suoritti oman osuutensa arvioimalla muiden ratkaisuja kurssin opettajan ohjeiden perusteella.  Arviointiin osallistujat antoivat asiasta siinä määrin positiivista palautetta, että menettelyä päätettiin laajentaa seuraavana vuonna.

Keväällä 1999 kurssin arvosanan laskemisessa tentin painoarvo oli 40%, perustehtävien 30% ja suunnittelutehtävien 30%.

Kokeilun motiivi

Toteutus

Tehtäviä ratkottiin 1-3 hengen ryhmissä.  1. kierroksen jälkeen toteutettiin simuloitu tarjouskilpailu.  Jokainen ryhmä sai arvioitavakseen viiden muun ryhmän tekemät ratkaisut ("tarjoukset") ja heidän tuli arvioida kunkin ratkaisun hyvät ja huonot puolet, antaa kullekin arvosana ja valita lisäksi paras ratkaisu, joka ainoana saa arvosanan 5. Arviot tuli laatia kirjallisena ja palauttaa kurssin henkilökunnalle.  Arviointikriteereinä olivat ratkaisujen täydellisyys, oikeellisuus, tehokkuus, selkeys ja ymmärretävyys.

Sekä ratkaisusosuus että arviointiraportti arvosteltiin asteikolla 0-5.  Edellisen painoarvo oli 70% ja jälkimmäisen 30% suunnittelutehtävän arvosanasta.

Jokaista työtä oli arvioimassa viisi eri ryhmää, jotka arvioivat osin samoja töitä.  Näin ollen kustakin työstä saatiin 5 eri arvioita + arvosanaa. Niistä pienin ja suurin jätettiin huomiotta ja keskimmäisten kolmen arvosanoista otetttin mediaani, mikä tuli työn arvosanaksi.  Mikäli keskimmäisten kolmen työn arvosanat poikkesivat toisistaan enemmän kuin yhdellä, kurssin henkilökunta arvioi työn kokonaan itsae.  Näin tapahtui n. 30 työn kohdalla 200:sta.  Oppilailla oli luonnollisesti oikeus valittaa arvosanasta, jolloin kurssin henkilökunta arvioi työn kokonaan.

Toisella kierroksella arviointia ei teetetty vaan kurssin henkilökunta suoritti arvioinnin.

Koska kurssien sisältö oli suurin piirtein sama ja tehtävät yhteisiä, kokeilu toteutettiin yhteisenä, ts. kurssilaiset arvioivat ristiin kummankin kurssin töitä.

Teknisesti ratkaisut palautettiin HTML-sivuina, jotka kopioitiin kurssitunnukselle, jolloin niille annettiin numeeriset anonyymit osoitteet.  Samalla dokumenteista poistettiin käsin nimitiedot.  Uudet URL-osoitteet lähetettiin ryhmille sähköpostitse ja he palauttivat arviot HTML-sivuina.  Nämä palautteet lähetettiin edelleen alkuperäisille ratkaisijoille luettavaksi.

Kokemuksia

Hyvää:

• Suunnittelutehtäviä pidettiin yleisesti mielenkiintoisina, koska ne olivat realistisia ja niissä joutui soveltamaan kurssin tietoja
• Monet pitivät arviointia hyödyllisenä, koska silloin näki monenlaisia ratkaisuja, joista oppi paljon.
• Opettajan kannalta arviointi onnistui kohtalaisen hyvin.  Se vähensi työmäärä 1. kierroksella merkittävästi ja arviot eivät olleet pahasti ristiriitaisia.
• Koska arviointikriteereissä oli korostetusti mukana ratkaisun selkeys ja ymmärrettävyys, esitystapaan oli kiinnitetty huomiota.  Ratkaisut olivat yleisesti kohtalaisen hyvää suomen kieltä ja koneellisessa muodossa jo sinällään siistejä.
• Latentteina tavoitteina saavutettiin se, että ratkaisut tuli pystyä esittämään kuvineen HTML-sivuina - välttämätön taito.

• Olennaisin kritiikki kohdistui kurssin työmäärään, joka suunnittelutehtävien ja niiden arviointien osalta koettiin yleisesti liian suureksi.  Kurssipalautteessa kokonaistyömäärä kurssilla oli keskimäärin vähän yli 120 tuntia (3 ov), joka vastaa normia.  Toisaalta suurella joukolla tämä työmäärä ylittyi reippaasti.  Tästä syystä arvioinnista luovuttiin 2. kierroksella.
• Tehtävien asettelua kritisoitiin - ne olivat liian väljiä.
• Monet pitivät arviointia liian vaikeana. Tämä piti varmasti paikkansa niille, joilla myös ratkaiseminen oli vaikeata.  Tämä saattoi johtaa summittaisiin ja ylimalkaisiin ja myös aivan virheellisiin arvioihin.
• Monet kritisoivat sitä, että oppilaat arvioivat toistensa töitä.  Tämä korostui erityisesti, kun he saivat nähdäkseen toistensa (tosin anonymisoituina) tekemät arviot.  Niissä olleet virheet herättivät närää, joita oikaistiin valitustilaisuuksissa.  Kritiikki kohdistui myös siihen, että kaikki arviot olivat painoarvoltaan samassa asemassa riippumatta siitä, olivatko ne oikean suuntaisia vai täysin virheellisiä.
• Monet valittivat, että arvosanan 5 saaminen oli liian vaikeaa.  Se edellytti sitä, että enemmistö viidestä arviosta oli 5.  Tätä pidettiin kohtuuttomana.
• Periaatteellisena ongelmana nähtiin myös se, että oppilailla teetetään "opettajien töitä"

Mitä opittiin?

• Tehtävien työmäärä tulee mitoittaa siten, että suuri osa kurssilaisista pystyy tekemään ne kohtuullisessa ajassa.  Tämä edellyttää joko vain yhden tehtävän tekemistä tai selkeästi pienempiä ja rajatumpia tehtäviä.  Arvioitua työmäärää tulee korostaa jo tehtävän asettelussa, jotta oppilaat pystyvät asennoitumaan siihen oikein riittävästi etukäteen.
• Arvioinnissa oli liikaa teettää arvio viidestä työstä, 3-4 työtä ehkä riittäisi.
• Arvosanaa ei voi jättää pelkästään oppilaiden varaan.  Yksi ratkaisu on teettää arvio ja pisteyttää se (jotta se otettaisiin vakavasti), mutta antaa ratkaisun arvosana vain kurssin henkilökunnan toimesta.  Toinen ratkaisu voisi olla se, että kurssin henkilökunnan arvosanan painoarvo olisi 50% ja oppilaiden arvosana 50%.  Oppilaiden osuus voitaisiin laskea niin, että kustakin työstä saadaan 4 arviota, joista paras ja huonoin jätetään pois ja otetaan jäljelle jääneistä keskiarvo pyöristettynä ylöspäin.  Tällöin arvosanan 5 saaminen olisi helpompaa.
• Jos oppilaat otetaan mukaan vaikuttamaan arvosanaan, tulee paremmin korostaa sitä, että käytännön työelämässä yksi tarjous hyväksytään ja muut hylätään.  Kaikki eivät voi olla parhaita. Lisäksi arvioijat eivät aina ole tilanteen tasalla ja silloin esitystapa ja ymmärrettävyys korostuvat voimakkaasti.
• Tehtävien ei tarvitse olla välttämättä hyvin täsmällisesti määriteltyjä. Sen sijaan oppilaille tulee tehdä selväksi., että heidän on tehtävä täsmennykset itse tai kysyttävä asiakkaalta. Näin he tietävät vastuunsa - tällä kertaa tämä jäi vähän epäselväksi.
• Ratkaisun esitystapa ja tarkkuus tulee määritellä täsmällisesti.  Tämä aiheutti hämminkiä, koska abstraktiotaso oli valittu eri ratkaisuissa eri tavoin.