Jak obliczyć umowę Inter - Rater

Umowa między Rater jestmiarą tego, jak spójne pomiary są między dwoma lub więcej obserwatorów (lub " oceniających ") . Na przykład , badacze medyczni często używają grupę lekarzy , aby obserwować i kategoryzować efekty eksperymentu leczenia. Pomiar spójności obserwatorów jest ważne, ponieważ chcemy mieć pewność, że wszelkie skutki widzimy to ze względu na nasze doświadczenia , a nie do dużych różnic między obserwatorów . Podstawowym statystyka służy do pomiaru porozumienia między rater nazywa " kappa ". Instrukcja
1

Oblicz umowę procent przez podzielenie liczby obserwacji , które zgadzają się na całkowitą liczbę obserwacji . Rozważmy przykład eksperyment z udziałem 100 pacjentów otrzymującychleczenie astmy . Dwa lekarze proszeni są o kategoryzacji pacjentów na dwie kategorie: kontrolowanych ( yes ), czy nie ( nie) kontrolowane objawy astmy . Wynik może wyglądać tak :

Obie oceniających Tak 70

Obie oceniających nr 15

Rater # 1 Tak /Rater nr 2 nr 10.

Rater # 1 Nie /Rater # 2 Tak 5

Liczba obserwacji : 100

w tym przykładzie ,umowa procent (Pa ) będzieliczba obserwacji , w których raters zgadzają ( 70 +15 ), podzielona przez całkowitą obserwacji ( 100 ) , lub 85 proc . W ten sposób można stosować w liczniku w końcowym równania.
2

Oblicz oczekiwaną zgodę wynikająca z przypadkiem. Niektóre umowy będzie obserwowany z powodu czystego szczęścia . Możemy obliczyć, ile umowa będzie widział , czy obserwacje były zupełnie przypadkowe

W naszym przykładzie : .

Zarówno Tak 70

Zarówno nr 15

# 1Tak /2 nr 10

nr 1 nr /# 2 Tak 5

Liczba obserwacji : 100

dr # 1 oceniane Tak 80/100 lub 80 procent ( 0,80 ) .

Dr # 1 oceniono nr 20/100 lub 20 procent ( 0,20 ) . Łódź

dr # 2 oceniono Tak na 75/100 lub 75 procent ( 0,75 ) .

Dr # 2 oceniono nr 25/100 lub 25 procent ( 0,25 ) .

Obserwacje były losowe ,prawdopodobieństwo zarówno ocena Tak byłoby ( 0,80 ) x ( 0,75 ) , lub 60 procent , a prawdopodobieństwo zarówno ocena nr byłoby ( 0,15 ) x ( 0,25 ) lub 4 procent

całości prawdopodobieństwo porozumienia ze względu na przypadek (PE ) będziesumą tych. : ( 0,60 ) + ( 0,04 ) , lub 64 procent . To będzie w liczniku i mianowniku końcowego równania
3

Oblicz kappa za pomocą następującego równania : .

K = (Pa ) - ( Pe )

---------------

1 - (PE)

W naszym przykładzie , Obrazy

k = ( 0,85 ) - ( 0,64 ) /1 - ( 0,64 ) = ( 0,58 ) lub 58 procent
4

ocenić kappa w celu określenia , czy porozumienie między Rater jest silny . Dobrą zasadą jest to, że ponad 80 procent Kappas są doskonałe i powyżej 60 procent są dobre . Wszystko poniżej 60 procent uważa się za mniej niż optymalne umowy .

W naszym przykładzie , 58 procent jest na granicy dobrego niezawodności między dokonała oceny , a wyniki badań powinny być interpretowane z tą myślą .

5

ocenić kappa dla więcej niż dwóch oceniających za pomocą obliczeń kappa Fleiss ' . To jestznacznie bardziej skomplikowane obliczenia , które powinny być wykonywane przez komputer . Imperium