Hva kan vi lære av tidligere brukerundersøkelser? Nordic Handscape

I 2005 gikk flere partnere med ulike behov og perspektiver sammen i prosjekt Nordic Handscape for å vurdere det vi kan kalle en tidlig Kultur- og naturreise. Jeg var med fra ABM-utvikling. ABM-utvikling ble slått sammen med Kulturrådet – og nå er jeg i Riksantikvaren. Uansett. Verdifulle tanker som kan spille en rolle for brukertestinga av KNappen.

Bakgrunn og forutsetning

Utvikling og utprøving av ErkeGUIDEN hadde dermed et teknologisk utgangspunkt, et museumsfaglig utgangspunkt og et innhold-/formidlingsmessig utgangspunkt. Dette gav – som et minste felles multiplum – følgende todelte målformulering for utprøving av løsningen:
1) Vurdere hvorvidt ErkeGUIDEN gjennom en alternativ formidlingsform bidrar til å gjøre Erkebispegårdens historie lettere tilgjengelig, og
2) vurdere hvordan den tekniske løsningen fungerer i så måte.
Om positivt utslag kunne påvises, var det selvsagt interessant å stadfeste hvilke elementer ved løsninger som bidro mest til dette. Fra alle parter var det et ønske om å forstå hva som eventuelt fascinerte ved tjenesten, og om bruk fører til endret adferd eller endrede holdninger.

Bak prosjektet stod disse med ulike utgangspunkt:

  • Telenor – teknikk og publikumsreaksjoner og erfaring 3G
  • Radionor Communications – demonstrator og testing
  • ABM-utvikling/NDR – innhold, formidling og utvikling
  • Klipp og Lim AS – faglig og markedsmessig utvikling

Resultat

FoU Rapport R 41/2005
Opplev Erkebispegården med mobilen! Lokasjonsbasert museumsguide på 3G-nettet

Denne rapporten beskriver en lokasjonsbasert museumsguide som ble utviklet for Erke-bispegården i 2005. Guiden har multimodalt innhold og er tilgjengelig som en WAP-side på mobiltelefonen. Den krever 3G-dekning og leverer innhold avhengig av brukerens posisjon på gårdsplassen. Guiden ble testet av publikum og museumsfaglig personell, og resultatene derfra utgjør hoveddelen av rapporten.

 

testingTesting

Utprøving av ErkeGUIDEN ble gjennomført på dagtid i perioden 10-12. oktober. Mens forsøket pågikk var det tidvis sommerlige tilstander, og for et forsøk utendørs på disse breddegrader – hvor tilfeldige forbipasserende skulle inviteres med som forsøkspersoner – har dette faktisk stor betydning! Til sammen var det 90 personer som prøvde ErkeGUIDEN og som i etterkant fylte ut et spørreskjema.

Informantene ble mottatt i grupper på 5-8 personer. De ble gitt en kort introduksjon om prosjektet og ErkeGUIDENs virkemåte før de fikk utdelt telefon og headset og sluppet til på velkomstsiden. Det var hele tiden prosjektmedarbeidere til stede som kunne svare på spørsmål og tre støttende til. Informantene bestemte selv gangen gjennom systemet og rundet av etter eget ønske. Noen var ferdige etter 10 minutter, mens enkelte holdt det gående i 30-40 minutter. De fleste brukte ca 20 minutter på forsøket.
Umiddelbart etter utprøvingen ble informantene geleidet til et bord ute på borggården for utfylling av spørreskjema. Dette tok mellom 10 og 20 minutter. Prosjektmedarbeider var til stede for å svare på spørsmål og sjekke at alle spørsmål ble besvart. Som takk for innsatsen fikk informantene 2 flakslodd à kr 25.

Spørreskjema

Spørsmålene skulle dekke samarbeidspartenes ulike interesser: brukeraspekter, tekniske aspekter og museumsfaglige aspekter. Noen spørsmål ble tatt inn for å kunne gjøre sammenlikninger med andre satsinger innen Nordic Handscape-prosjektet. Spørsmål knyttet til bruksnytte, brukervennlighet og bruksglede er delvis gjenbruk av spørsmål brukt i evaluering av en kartbasert turistguide for mobiltelefon (Evjemo et al 2005), hvor enkelte spørsmål er hentet fra Pedersen & Nysveen (2002), som igjen er basert på Davis (1989).
Når nytteaspektet brukes er det i to noe ulike betydninger. I noen tilfeller er man opptatt av nytte for den besøkende og i andre sammenhenger er nytteaspektet knyttet til museet eller attraksjonen. Nytte for den enkelte favner forhold som enkel tilgang til museet

Spørreskjemaet er utarbeidet med tanke på at det skulle fylles ut utendørs og at det til dels var tilfeldig forbipasserende som skulle i aksjon. Det ble derfor viktig å holde antall spørsmål innefor en tidsramme på anslagsvis 10-15 minutter.

Forventninger og brukserfaringer kan forventes å variere på bakgrunn av alder, kjønn, utdanning og erfaring med bruk av mobiltelefoner. Denne type spørsmål ble derfor lagt inn. Det har også vist seg at brukeraksept og adopsjon av nye tjenester har sammenheng med brukers tiltro til egne ressurser. I den sammenheng er noen spørsmål formulert etter mal fra tidligere studier av self-efficacy (Bandura 1982, Compeau & Higgins 1995, Taylor & Todds 1995; Pedersen & Nysveen 2002; Pedersen & Nysveen 2003; Pedersen et al 2003).

Flere av spørsmålene er formulert som påstander som informantene skal vurdere etter en 5-punkts Likerts skala. Det ble diskutert hvorvidt en 4-punkts skala eller en 5-punkts skala skulle brukes. En 4-punkts skala vil i motsetning til en 5-punkts skala tvinge fram en markert holdning fra informanten, selv om han skulle være sånn middels enig i utsagnet eller var usikker. Dette ønsket vi ikke. Svakheten ved en 5-punkts skala er imidlertid at det er vanskelig å tolke den egentlige beveggrunnen for de som svarer med en 3-er.

This slideshow requires JavaScript.

Mulig overførbarhet til testing av KNappen?

  • Formulere overgripende målformuleringer (1-2 st.)?
  • Tematisere spørsmålene (teknikk, nytte, innhold,  opplevelse, grensesnitt, underholdning osv.)?
  • Hold skjemaene korte/enkle (digitale?)!
  • Hva er viktig for de enkelte partnerne og pilotene og hvordan spiller dette med tema/kort/enkelt?
  • Kjønn, alder, erfaringer osv. kan spille rolle!
  • Prøver å samkjøre pilotene (mengde svar/statistikk)!
  • Egen tilstedeværelse viktig (kommentarer, observasjon og mulighet for samkjøring)!
  • Alliere seg med noen? Erfaring med/fra statistikk og brukerundersøkelser (ev. ut på anbud?)

Kategorier: brukertesting

Abonner

Subscribe to our RSS feed and social profiles to receive updates.

4 kommentarer den “Hva kan vi lære av tidligere brukerundersøkelser? Nordic Handscape”

  1. 9. mai 2014 kl. 12.53 #

    Dette er veldig nyttig Anders. Jeg skal bruke dette for utgangspunkt for evaluering av stedr som vi jobber med i TAG CLOUD. Det kan være interessant å få tall som man kan sammenligne med deres tildligere eksperiment. Selvfølgelig har teknologi forandret seg voldsomt siden 2005…

  2. 6. mai 2014 kl. 2.08 #

    Her er for øvrig noe «matnyttig» fra Jakob Nielsel http://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/

    Samt Usability Testing:
    http://www.usability.gov/how-to-and-tools/methods/index.html

    Med Root, kan man spille inn video av skjermen på Android:
    http://daker.me/2014/01/how-to-use-the-built-in-screen-recording-in-android-4.4-kitkat.html

    (alternativt kan man finne tredjepartsløsninger). Man kan jo også debugge alt fra APP, som knytter trykk og swipes med koordinater, samt om det skjedde noen event rett etterpå. (For å detektere om brukerne prøver å klikke på noe som ikke er en knapp, som de kanskje tror er en knapp, etc).. Mye bør vel egentlig kunne gjøres av utviklerne, det bør være relativt enkelt for de å debugge slikt og lagre logger, sammen med responstid, m.m.

    Men det bør vel gjøres på egne testenheter, hvis man må roote.

    • 9. mai 2014 kl. 1.02 #

      Det er viktig å skille mellom usability testing og acceptance test. 5 brukere er nok for å identifisere hovedproblemene når det gjelder brukbarhet, men flere bør være involvert for å evaluere konsept.
      En interessant MSc studie av Anne-Cecilie Haugstad viser at fun factor er et viktig element i en acceptance evaluering. Anne-Cecilie fikk pris ved NTNU for hennes MS arbeid. Arbeidet er publisert. DOI: 10.1109/ISMAR.2012.6402563

  3. 6. mai 2014 kl. 1.57 #

    Det er viktig å gjennomføre gode brukertester. Man kan gjerne legge opp til at testerne skal gjennomføre noen handlinger. Fremfor å la de gå rundt å «roame» fritt, kan man be en tester om å gjennomføre visse handlingsmønster, som på den måten avdekker svakheter og styrker..

    Man plotter dette videre inn og vurderer tiltak. Det er jo ikke alle tilbakemeldinger man kan gjøre noe med. Man har jo alltid en viss grad av kompromisser, både på innhold, teknologi og økonomi.

    Fremdeles er noen av de samme problemstillingene som før, rapporten nevner blant annet:
    «Ved å skille ut informanter med få tekniske problemer (14 informanter som det
    framkommer av tabell 4.7), ser vi at dette aspektet påvirker vurderingen av tjenesten.
    Informantene har altså vurdert systemets virkemåte under testen like mye som dets
    potensial som museumsguide…»

    Det er fremdeles slik, hvis det tekniske svikter – vil ikke innholdet bli levert. Det blir i alle fall ikke levert i en slik kontekst man ønsker. Men her er det nå kanskje enda vanskeligere, nå som man henter data fra flere kilder.

    Det er mange ting å tenke på, alt fra dekning (3g/edge/4g/WiFi) til hastighet til en APP (oppstartstid, responstid), til UXD. Men samtidig har man andre utfordringer: Hvis du henter data fra flere kilder og en kilde er nede, hva gjør Appen?

    Samt man har jo selvsagt også dette med å vise innhold som passer til det man skal se. I noen tilfeller, vil jo sammenkoblet data ikke gi en mening for mennesker. En maskin kan gjerne koble det på nøkkelord eller nøkler, men maskinen kan ikke skjønne konteksten slik et menneske kan.

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s