Myślicie że jaka ilość prób testu jest optymalna?
Wydawało mi się że 15 prób jest nie miarodajne. Walneliśmy 99... Czy to nie lekka przesada? Jak patrze na testy turinga to zazwyczaj jest 10 sędziów, 15 albo 30. W każdym razie przedział od 10 do 30.
Czy właśnie nie lepiej wrócić do 15? To tylko kartka, wiadomo przyjmie wszystko nawet plamę. Ale jak by było najlepiej, albo zadowalająco dobrze?
Czyli nie ma sensu badać dla tak dużej grupy, ponieważ mamy bardzo mały przyrost?(Przyrost poprawności)
Dobrze rozumiem?
To zależy czego oczekujesz. Gdybyś chciała dostać nagrodę turinga za stworzenie sztucznej inteligencji która przechodzi test turinga to musiałabyś wykonać tyle testów, żeby uzyskać 3 sigma pewności :)
IMO najlepiej czytać o wiarogodności diagnostycznej (problem jest analogiczny do wykrywania chorób).
Niestety większość jest pisana przez medyków, wiec nie widzę metody szacowania wymaganej ilości testów.