Skip to content
    ← Tagasi blogisse

    Vastuste tekstianalüüs: kuidas avatud vastustest järeldused teha

    Vastuste tekstianalüüsis loed vabas vormis antud vastused süstemaatiliselt läbi ja märgistad olulised kohad koodidega. Seejärel koondad koodid kategooriateks ja teed alles siis järeldused. Nii saab sajast erinevas sõnastuses vastusest selge pildi sellest, mida inimesed tegelikult ütlesid. Meetod on sama, olgu tekstiks küsitluse lahtised vastused, uurimisintervjuu transkriptsioon või tööintervjuu vastused. Allpool on kogu protsess ettevalmistusest kvaliteedikontrollini. Lisatud on ka lihtne värbamisnäide, mille saad kohe oma töös kasutusele võtta.

    Resyme
    resyme.ai
    Muuda intervjuuvastused võrreldavaks
    Resyme kasutab kohandatud intervjuuküsimusi ja käitumispõhist hindamist, et aidata värbajatel kandidaate täpsemalt võrrelda.
    Tutvu Resyme AI-ga

    Lühidalt

    • Tekstianalüüs muudab vabad vastused võrreldavaks: kood on silt olulisele tekstilõigule, kategooria on sarnaste koodide rühm.
    • Kui vajad arve (näiteks kui paljud mainisid hinda), sobib kvantitatiivne kontentanalüüs. Kui tahad mõista tähendusi ja ridade vahele jäävat, vali kvalitatiivne sisuanalüüs.
    • Töö käib kolmes etapis: ettevalmistus ja kodeerimisjuhend, tekstide kodeerimine, analüüs ja tõlgendamine.
    • Usaldusväärsust kontrollitakse kahe kodeerija kokkulangevusega: kappa üle 0,7 kuni 0,8 loetakse heaks tulemuseks.
    • Värbamises teevad kandidaatide vastused õiglaselt võrreldavaks samad küsimused ja ühtne hindamisskaala.

    Sisukord

    Mis on vastuste tekstianalüüs

    Eesti sotsiaalteadustes nimetatakse seda meetodite peret sisuanalüüsiks või kontentanalüüsiks. Tartu Ülikooli meetodiportaali järgi on standardiseeritud kontentanalüüs tekstianalüüsi uurimisstrateegia, mis kirjeldab kommunikatsiooni sisu objektiivselt, süstemaatiliselt ja kvantitatiivselt. Sageli kasutatakse seda just ankeetküsitluse lahtiste küsimuste vastuste kodeerimiseks.

    Lahtised küsimused on head, sest vastaja saab rääkida oma sõnadega. Neil on aga hind. Sama portaali küsimustiku koostamise juhend hoiatab, et avatud küsimuste vastuseid ei saa kodeerimata kujul statistilises analüüsis kasutada ja nende kodeerimine võib olla väga ajamahukas. Seepärast on tekstianalüüsi vaja: ilma selleta saab vastuseid küll lugeda, kuid nende põhjal on raske otsustada.

    Tüüpilised olukorrad, kus vastuseid tekstina analüüsitakse:

    • klientide ja töötajate rahulolu-uuringu lahtised kommentaarid;
    • uurimisintervjuude ja fookusgruppide transkriptsioonid;
    • tagasiside koolitusele või tootele;
    • tööintervjuude ja eelvoorude vastused, kus mitut kandidaati on vaja hinnata samadel alustel.

    Kvalitatiivne või kvantitatiivne lähenemine

    Esimene otsus on, mida sa analüüsist ootad: arvu või tähendust. Mõlemad on korrektsed meetodid, kuid annavad erineva tulemuse.

    Kontentanalüüsi tulemus on teksti omaduste esinemissagedused ja meetod on põhjendatud siis, kui uurimisküsimustele soovitakse numbrilisi vastuseid. Kvalitatiivne sisuanalüüs on paindlikum. Tartu Ülikooli kvalitatiivsete meetodite kursuse järgi ei kasutata selles ranget kodeerimisjuhendit ega mõõteskaalasid, koode ja kategooriaid võib analüüsi käigus muuta ning fookuses on latentne sisu, mitte sagedused.

    Tunnus Kvantitatiivne kontentanalüüs Kvalitatiivne sisuanalüüs
    Põhiküsimus Kui sageli midagi esineb? Mida vastused tähendavad?
    Loogika Deduktiivne, testib hüpoteese Peamiselt induktiivne, lähtub andmetest
    Kodeerimisjuhend Range, paika pandud enne kodeerimist Paindlik, täieneb töö käigus
    Sisu Ilmne ehk manifestne sisu Ka varjatud ehk latentne sisu
    Tulemus Arvud ja statistika Kirjeldused, teemad, tüpoloogiad
    Valim Juhuslik või tõenäosuslik Eesmärgipärane

    Tabel põhineb Texase Ülikooli õppematerjalil, mis kirjeldab kvalitatiivse ja kvantitatiivse sisuanalüüsi erinevusi. Kvantitatiivne suund arenes massikommunikatsioonis ilmsete tekstielementide loendamiseks. Kvalitatiivne suund arenes antropoloogias, sotsioloogias ja psühholoogias, et uurida sõnumite all olevaid tähendusi.

    Praktikas kombineeritakse neid sageli. Alguses loed vastused kvalitatiivselt läbi ja lood kategooriad, hiljem loendad, mitu vastust igasse kategooriasse kuulub. Tööintervjuude puhul on see eriti loomulik: sind huvitab nii see, mida kandidaat ütles, kui ka see, kuhu tema vastus teistega võrreldes skaalal paigutub.

    Ettevalmistus: eesmärk, materjal ja analüüsiühik

    Hea analüüs algab enne esimese vastuse lugemist. Kontentanalüüsi ettevalmistus hõlmab uurimisprogrammi, kodeerimisjuhendi ja proovikodeerimist. Lihtsamalt öeldes vasta endale kolmele küsimusele.

    Mida ma tahan teada? Sõnasta üks või kaks küsimust, millele analüüs peab vastama. Näiteks: „Miks kliendid meist lahkuvad?“ või „Kes kandidaatidest on päriselt raske kliendiolukorraga hakkama saanud?“ Kategooriad peavad olema otseselt seotud uurimisküsimustega, vastasel juhul kodeerid hoolikalt asju, mida keegi ei vaja.

    Mida ma analüüsin? Pane paika materjal: kas kõik vastused või valim, kas üks küsimus või kogu intervjuu. Kui vastused on helis või videos, on vaja transkriptsiooni, sest kodeeritakse teksti.

    Mis on analüüsiühik? See on tekstiosa, millele koodi annad. Lühikeste küsitlusvastuste puhul on ühikuks tavaliselt terve vastus. Pikemate intervjuude puhul on otstarbekam ühik lause või mõtteüksus, sest üks vastus võib sisaldada kolme eri mõtet. Ühik tuleb valida enne kodeerimist ja hoida kogu töö jooksul samana.

    Kasulik on ka lühike „lugu“ ehk storyline. Rahvusvahelise Migratsiooniorganisatsiooni juhendi järgi aitab üks lühike lause uuringu sisust otsustada, milliseid teemasid esitada, ning annab kodeerimisskeemile põhistruktuuri. Sama juhendi järgi võib eelnevalt määratud koodide nimekirjas olla kõigest 10, aga ka 40–50 koodi.

    Kodeerimine sammhaaval

    Kood on silt või märksõna, millega tähistatakse olulisi tekstilõike või lauseid. Tartu Ülikooli materjal kirjeldab kolmeastmelist kodeerimist: avatud kodeerimine, telgkodeerimine ja tuumkategooriate leidmine. Praktiline töökäik näeb välja nii:

    1. Loe esmalt osa vastuseid lihtsalt läbi. Ära kodeeri kohe. Üks levinud praktiline soovitus on vaadata enne kodeerimisraami loomist üle esimesed sada vastust, et näha, millest inimesed tegelikult räägivad.
    2. Tee avatud kodeerimine. Tallinna Ülikooli õppematerjali järgi toimub see esimesel lugemisel rida-realt: otsid võtmetermineid, sündmusi ja teemasid ning kirjutad neile esialgsed sildid.
    3. Koosta koodide nimekiri. Avatud kodeerimise lõpus pane kõik koodid ühte loendisse. See annab koondpildi, mida saab edasi sorteerida, ühendada, laiendada või välja visata.
    4. Tee telgkodeerimine. Ühenda sarnased koodid keskseteks kategooriateks. Näiteks „kuulas kliendi ära“, „esitas täpsustavaid küsimusi“ ja „võttis vastutuse“ võivad koonduda kategooriaks „kliendikeskne lahendus“.
    5. Leia tuumkategooriad. Otsi üks või paar keskset kategooriat, mis seovad ülejäänud kokku ja vastavad otse sinu algsele küsimusele.
    6. Kirjuta kodeerimisjuhend. Iga kategooria juurde lisa definitsioon, üks hea näide ja üks piiripealne näide. See hoiab kodeerimise järjepidevana ka siis, kui tööd teeb mitu inimest.
    7. Kodeeri kogu materjal ja tõlgenda. Viimane etapp on andmete analüüs ja tõlgendamine kontekstis: oluline pole ainult see, millised kategooriad tekkisid, vaid ka see, mida need sinu organisatsiooni jaoks tähendavad.

    Seitse reeglit heade kategooriate jaoks

    Tartu Ülikooli kontentanalüüsi juhend annab kategooriate loomiseks seitse reeglit. Need on hea kontrollnimekiri igaühele, kes oma kodeerimisskeemi kokku paneb:

    1. Kategooriad on üksteisest loogiliselt sõltumatud.
    2. Alamkategooriad on ühe ühise nimetaja väärtused.
    3. Andmed kodeeritakse pisut detailsemalt, kui analüüsis lõpuks kasutatakse.
    4. Alamkategooriad ammendavad kõik sisuvariandid, vajadusel lisatakse kategooria „muu“.
    5. Alamkategooriad välistavad üksteist: üks ühik kuulub ühte alamkategooriasse.
    6. Kategooriad standardiseeritakse nii palju kui võimalik.
    7. Kategooriad on kodeerijatele üheselt mõistetavad.

    Kolmas reegel säästab hiljem palju vaeva. Kui kodeerid alguses „hinna“ asemel eraldi „liiga kallis“ ja „hind ei vasta kvaliteedile“, saad need hiljem alati kokku liita. Ühte suurde kategooriasse pandud vastuseid ei saa aga hiljem lahku lüüa, ilma et kõike uuesti loeksid.

    Näide: tööintervjuu vastused koodideks

    Võtame lihtsa käitumispõhise küsimuse, mida küsitakse klienditeenindaja kandidaatidelt: „Kirjelda olukorda, kus klient oli sinuga väga rahulolematu. Mida sa tegid?“ Analüüsi küsimus on: kes kandidaatidest näitab vastuses tegelikku kogemust ja kliendikeskset lahendust?

    Analüüsiühik on terve vastus. Pärast avatud kodeerimist ja telgkodeerimist jäi alles neli kategooriat:

    • K1 Konkreetne olukord: vastuses on kirjeldatud päris juhtum (millal, kus, mis juhtus).
    • K2 Enda tegevus: kandidaat kirjeldab, mida tema ise tegi, mitte mida „me tavaliselt teeme“.
    • K3 Tulemus: vastuses on öeldud, kuidas olukord lõppes.
    • K4 Üldsõnalisus: vastus jääb üldiste põhimõtete tasemele ilma näiteta.

    Viie kandidaadi vastused näevad kodeerituna välja nii:

    Kandidaat Vastuse kokkuvõte Koodid Hinnang
    A Kirjeldab hilinenud tellimust, helistas kliendile ise tagasi, pakkus kiirtarnet, klient tellis uuesti K1, K2, K3 Tugev
    B „Jään alati rahulikuks ja kuulan klienti“ K4 Nõrk
    C Kirjeldab vigast arvet, edastas juhtumi juhile K1, K2 Keskmine
    D Räägib, kuidas meeskond lahendas kaebuse, enda rolli ei nimeta K1, K3 Keskmine
    E Kirjeldab tagastust, pakkus kaks lahendusvarianti, saatis hiljem järelkirja, klient jättis positiivse tagasiside K1, K2, K3 Tugev

    Kvantitatiivselt võib öelda, et viiest vastusest neli sisaldas konkreetset olukorda ja kaks kõiki kolme tugeva vastuse elementi. Kvalitatiivselt on huvitavam vahe A ja E ning D vahel: D kirjeldab hästi olukorda ja tulemust, kuid ei ütle, mida ta ise tegi. Järgmises voorus tasub just seda täpsustada.

    Tõlgendamisel ära piirdu koodide loendamisega. Küsi, mida muster tähendab: kui enamik kandidaate vastab üldsõnaliselt, võib probleem olla küsimuse sõnastuses, mitte kandidaatides. Kui tugevad vastused tulevad järjepidevalt teatud taustaga kandidaatidelt, on see sisend ka järgmise töökuulutuse jaoks.

    Levinumad vead vastuste analüüsimisel

    Kategooriad tehakse enne vastuste lugemist valmis ja neid ei muudeta. Nii jäävad märkamata teemad, mida sa ei osanud oodata. Kvalitatiivses töös lase kategooriatel esimeste vastuste põhjal kujuneda.

    Üks vastus saab liiga palju koode. Kui igale vastusele kleebid kuus silti, kaob vahe olulise ja kõrvalise vahel. Kodeeri see, mis vastab sinu küsimusele.

    „Muu“ kategooria paisub. Kui üle kümnendiku vastustest langeb kategooriasse „muu“, peidab see tõenäoliselt mõnda uut teemat, mis väärib oma kategooriat.

    Järeldus tehakse ühe meeldejääva vastuse põhjal. Tugev tsitaat on hea illustratsioon, kuid otsus peab toetuma mustrile kõigis vastustes.

    Kuidas kontrollida, et tulemus on usaldusväärne

    Kontentanalüüsi kvaliteeti hinnatakse kahe mõiste kaudu: valiidsus ja reliaablus. Valiidsus näitab, kas kategooriad mõõdavad seda, mida sa teada tahad. Reliaablus näitab, kas kodeerimine on järjepidev ehk kas teine inimene paneks samale vastusele sama koodi.

    Reliaabluse kontrollimiseks kodeerivad kaks inimest sõltumatult sama osa materjalist ja seejärel võrreldakse tulemusi. Lihtne kokkulangevuse protsent on mõistlik algus, kuid see ei arvesta juhusliku kokkulangemisega. Seetõttu kasutatakse kappa-statistikut:

    Kui kokkulangevus jääb madalaks, on põhjus peaaegu alati kodeerimisjuhendis: kategooria definitsioon on liiga lai või kaks kategooriat kattuvad. Paranda definitsioone, lisa piiripealseid näiteid ja kodeeri proovivalim uuesti. Kvalitatiivses sisuanalüüsis on see tagasisidering meetodi loomulik osa, mitte viga.

    Ka siis, kui kodeerid üksi, võta pärast tööd juhuslik osa vastustest ja kontrolli, kas koodid sobivad endiselt. Väsimus ja harjumine muudavad kodeerimist märkamatult ning teine lugemine paljastab need nihked kiiresti.

    Vastuste analüüs värbamises

    Värbaja teeb tekstianalüüsi iga päev, sageli ilma seda nii nimetamata. Kui sul on ühele ametikohale 150 kandidaati, on iga vastus andmepunkt. Ilma ühtse kodeerimisraamita kipub otsus sõltuma sellest, kelle vastus jäi kõige paremini meelde.

    Sama metoodika aitab värbamises kolmel viisil. Esiteks, kui kõik kandidaadid saavad samad küsimused ja vastuseid hinnatakse sama skaalaga, on võrdlus õiglane. Teiseks töötab käitumispõhine skaala nagu kodeerimisjuhend: iga taseme juures on kirjeldatud, milline vastus seda väärib, ja see vähendab hindajate erinevusi. Kolmandaks, kui vastused on salvestatud transkriptina, saab neid hiljem uuesti lugeda ja otsust põhjendada.

    Kitsaskoht on maht. Viie kandidaadi vastused saab käsitsi tabelisse kodeerida, viiekümne kandidaadi omi aga mitte, kui sul on ka muud tööd. Siin tuleb appi automatiseeritud intervjuu, mis kogub vastused, koostab transkriptid ja hindab kandidaate ühtsetel alustel. Rohkem praktilisi nõuandeid kandidaatide hindamiseks leiad meie AI-värbamise blogist.

    Meie vaade

    Me näeme iga päev, et värbamise suurim probleem ei ole kandidaatide vähesus, vaid see, et nende vastuseid on raske ausalt ja ühtmoodi võrrelda. Kui värbaja loeb sadu CV-sid ja peab kümneid eelvestlusi, hakkab hindamine paratamatult kõikuma.

    Seetõttu ehitasime Resyme sama põhimõtte ümber, millele toetub hea tekstianalüüs: samad küsimused, selged hindamisalused ja salvestatud andmed, mida saab uuesti vaadata. Meie intervjuud on käitumispõhised ja kohandatud enam kui 20 erialale, nii et vastused on algusest peale võrreldaval kujul.

    Meie jaoks on oluline ka see, mida kandidaat CV-s ja LinkedInis väidab. Platvorm võrdleb intervjuu vastuseid nende andmetega ja märgib võimalikud vastuolud, et värbaja näeks kohe, mida tasub täpsustada. Nii jõuavad sinuni need kandidaadid, kes rollile päriselt sobivad, ja sina saad aega kulutada otsustamisele, mitte esmasele sõelumisele.

    Raul

    Intervjuuvastuste analüüs ilma käsitsi kodeerimiseta

    Resyme viib kandidaatidega läbi automatiseeritud videointervjuud, salvestab heli, video ja transkriptid ning koostab iga kandidaadi kohta üksikasjaliku aruande. Kandidaadid järjestatakse aususe, teadmiste ja oskuste alusel. Lisaks analüüsib platvorm käitumismustreid ja kontrollib, kas kandidaadi väited vastavad tema CV-le ja LinkedIni profiilile.

    Resyme

    Alustada saad tasuta paketiga, mis sisaldab piiratud arvu intervjuusid. Ettevõtetele on Company pakett hinnaga 599 € kuus ja intervjuupõhine tasu 5,99 € intervjuu kohta. Personalibüroodele on Agency pakett hinnaga 4500 € kuus ja 4,50 € intervjuu kohta. Suurklientidele on Enterprise lahendus. Vaata pakette ja alusta Resyme hinnalehelt.

    Korduma kippuvad küsimused

    Mis vahe on sisuanalüüsil ja kontentanalüüsil?

    Mõlemad tähistavad tekstide sisu süstemaatilist analüüsi. Eesti keeles kasutatakse sõna „kontentanalüüs“ sageli standardiseeritud, kvantitatiivse meetodi kohta, mis loendab teksti omaduste esinemissagedust. „Kvalitatiivne sisuanalüüs“ rõhutab tähenduste ja varjatud sisu tõlgendamist.

    Mitu koodi peaks kodeerimisjuhendis olema?

    Kindlat arvu ei ole, see sõltub materjalist ja küsimusest. Praktilised juhendid nimetavad eelnevalt määratud koodide nimekirja suuruseks umbes 10–50 koodi. Parem on alustada detailsemalt ja koode hiljem kokku liita kui vastupidi.

    Kas avatud vastuseid saab analüüsida ka Excelis?

    Saab küll. Pane iga vastus eraldi reale, koodid kõrvalveergudesse ja kasuta sageduste lugemiseks filtreid ning liigendtabelit. Suurema mahu ja pikemate tekstide puhul, näiteks intervjuude transkriptsioonides, muutub käsitsi töö aga kiiresti aeganõudvaks.

    Kuidas analüüsida tööintervjuu vastuseid objektiivselt?

    Esita kõigile kandidaatidele samad küsimused ja hinda vastuseid eelnevalt kokkulepitud skaalal, kus iga taseme juures on kirjeldatud tüüpiline vastus. Salvesta vastused, et otsust saaks hiljem põhjendada. Automatiseeritud intervjuuplatvorm hoiab hindamise järjepidevana ka siis, kui kandidaate on palju.

    Mis on hea kodeerijatevahelise kokkulangevuse tase?

    Levinud lävendid on Coheni kappa üle 0,7 või Krippendorffi alfa üle 0,8. Väärtus üle 0,667 lubab teha esialgseid järeldusi. Madalama tulemuse korral täpsusta kategooriate definitsioone ja kodeeri proovivalim uuesti.

    Allikad