Цитата:
|
Что подразумевать под эффективностью.
|
Баланс между количеством оценок и уровнем защиты от злоумышленников.
Пока имеется явный перекос в сторону уровня защиты, что не совсем понятно.
Цитата:
|
МОжет стоит рассмотреть иной вариант. Что я имею в виду: есть например, шесть параметров внутри категории. Сделать их равнозначными , наверное, вообще невозможно.
|
Согласен. Я тоже к такому выводу пришёл.
Себя же процитирую: "После размышлений я понял, что нужно определять вес вопросов. Никак не получится сделать все вопросы равнозначными."
Цитата:
|
А вот давать разное количество баллов в случае ответа "да" - проще.
|
Если давать разное количество баллов
только в случае ответа "да" - это будет кривая система, асимметричная. Нужно определять вес критерия, вне зависимости от ответа рецензента.
Опять же себя процитирую: "Предложение такое. Сначала нужно определится с вопросами, а потом просто каждый член жюри выскажется по поводу того, какие вопросы более значимы, а какие менее. Потом это всё надо будет проинтегрировать и получить вопросы трёх уровней важности: очень значимые, значимые и малозначимые."
Позже я понял, что для "живости" комментария нужен четвёртый уровень важности: незначимые вопросы. (Например, грамотность, корректность описаний и соответствие формату).
Цитата:
Система подсчёта строится от процента - все "да" = 100% из шести вопросов 100% - это, допустим не 6 баллов, а 9. Потом вычисляется средний балл
Чот я перемудрил, кажется.
|
Кирилл, математический аппарат уже есть, не забивайте этим голову.
Но если хотите непременно забить, скажу, что за идеи лежат в основе этого аппарата.
1. Определяется вес каждого критерия (Wi). Например, 0,1,2,3 - в зависимости от уровней значимости, что я написал.
2. Веса критериев внутри категории суммируем. Получаем вес каждой категории (Wk1, Wk2 ... Wk5).
3. Критерии нормируются внутри каждой категории, т.е. вес каждого критерия категории k1 принимается Wi/Wk1. Категории k2 - Wi/Wk2 и т.д.
4. Считаем оценку по каждому положительно оценённому критерию Ri=Rmax*Wi/Wk1, где Rmax - это максимальная оценка. Аналогично для других категорий.
5. Подсчитывается итоговая оценка за категорию Rk1, Rk2 ... Rk5. Она равна сумме всех положительных Ri. (Итоговая оценка - это среднее арифметическое Rk1, Rk2 ... Rk5).
Приведу пример с оценками по одной категории.
Предположим, рецензент оценил сценарий так 0,1,0,1,1,0 (где 0 - это отрицательная оценка, 1 - положительная).
1. Имеем шесть вопросов. Из вес соответственно 1,2,1,3,2,3.
2. Wk=1+2+1+3+2+3=12.
3. Соответственно, нормированный вес каждого критерия 1/12, 2/12,1/12,3/12,2/12,3/12.
4. В соответствии с массивом ответов рецензента, (0,1,0,1,1,0), имеем массив оценок (0, 6*2/12, 0, 6*1/12, 6*3/12, 0)
5. Считаем сумму. Получаем 3 балла.