Coerența evaluărilor experților
Dupa obtinerea de protocoale independente între protocoalele calculate bine cunoscute psihologi ai Universității coeficienŃilor conjugat (coeficienții de corelație analogice pentru caracteristicile calitative - Runyon, 1982). Valoarea coeficientului de conjugare calculat indică un indicator compozit "fiabilitate + valabilitate". Cu cât acest coeficient este mai apropiat de unitate, cu atât mai fiabil și mai valid este tehnica de observare în realizarea acestui colectiv de observatori. Gradul de diferență a coeficientului de la 1 indică prezența simultană a erorilor de observație aleatorie (nereabilitate) și sistematice (nevalidate). Coarsening poate spune că proporția relativă de codificare corectă în raport cu numărul total de codificări și este o măsură de „fiabilitate valabilitate“ de observare. Astfel, în orice metodă de evaluare reciprocă, o măsură de "fiabilitate-validitate" este ARMONIZAREA evaluărilor experților independenți.
Evident, un astfel de experiment pentru a măsura fiabilitatea și valabilitatea supravegherii nu este destinul și sarcina practicanților. Acest lucru ar trebui să fie tratat de cei care dezvoltă o metodologie pentru observarea standardizată. Dar. Dar, spre deosebire de standardizare de testare psihometrice (A se vedea secțiunea următoare. 2.3), este important de a testa nu numai calitatea si unicitatea de tehnici manuale, dar, de asemenea, pentru a verifica măsura în care artiștii calificați au fost aceste monitoare speciale, codificatoare.
Retreat pentru explicație. Cum să înveți să măsoară medicii de tensiune arterială? Ei au voie să asculte setul standard de zgomote înregistrate pe audiocaset. Ei învață să facă distincția între sunetele inimii sistolice și diastolice. Ei trec așa-numita "standardizare". Numai după atingerea unui anumit nivel de exactitate (fiabilitate), medicul primește certificatul de certificare corespunzător, care stabilește dreptul său de a efectua o măsurare a tensiunii arteriale.
În mod ideal, o astfel de standardizare pe materialul de referință ar trebui să fie efectuată de toți encodatorii de observatori pentru executarea oricărei tehnici standardizate de observare. Aceasta este, după verificarea tehnica a avut loc în setul de referință de observatori, și tehnica dezvoltat de recunoscut, fiecare nou observator artist merge de standardizare în ceea ce privește materialul, care au avut succes (adică, având în vedere procesul-verbal convenit), primii observatori. Aceasta este logica generală în dezvoltarea oricărei metode de evaluare reciprocă. Inițial, materialul principal pentru evaluarea și evaluarea instruirii sunt considerate non-standardizate, iar în acele prime experți care sunt familiarizați cu ea și primul pentru a atinge consistenta (de multe ori prin revizuirile și modificările repetate în instrucțiunile, semne codificate) acționează ca un fel de referință. Dar după aceea, materialul interpretat (înregistrat) este deja considerat materialul de referință, iar noi experți sunt standardizați în legătură cu acest material. Este clar că mai mulți experți independenți a adus la stadiul sistemului minier codifice primar de semne și mai multe codere implicate în observația practică, cu atât mai credibile sunt rezultatele acestei observații. Acest lucru se datorează faptului că ambele erori aleatorii (din cauza fluctuațiilor de atenție), și erori sistematice (datorită interpretării greșite a oricăror reglementări semn) făcute de un expert se anulează atunci când însumate cu rezultatele altor experți. Acești alți experți fac greșeli, dar acestea sunt diferite greșeli. Dacă probabilitatea unei singure erori în expertul mediu este, să zicem, 0,2, atunci probabilitatea ca aceeași greșeală să fie făcută de 3 (sau mai mulți) experți din 5 este doar de aproximativ 0,05. Asta este, echipa, după cum vedem, lucrează mult mai fiabil decât o singură persoană. Cu o probabilitate palpabilă de o singură eroare de expert, probabilitatea de eroare colectivă este deja aproape de o probabilitate neglijabilă. (Amintiți-vă că o rată de eroare de 5% este considerată un nivel recunoscut de nivel recunoscut de probabilitate de eroare în ramurile umanitare ale cunoașterii).
Principiul sumarizării evaluărilor experților independenți este utilizat pe scară largă într-o sferă cunoscută precum sportul. Să ne reamintim, de exemplu, practica patinajului. Numărul minim de judecători acordă o victorie în box - cinci. Și chiar dacă doi dintre ei au făcut o greșeală și au câștigat victoria celui mai slab boxer, victoria este încă acordată celor mai puternici - opinia celorlalte trei este suficientă.
Articole similare
Trimiteți-le prietenilor: