Мне было интересно посмотреть, какие тенденции в нашем сообществе можно увидеть на примере голосования КРИЛа, и как отбор голосующих влияет на результаты голосования.
Сразу же хочу оговориться, что все рассуждения про статистические закономерности основаны на предположении, что выборка достаточно большая, чего с уверенностью сказать про оценки порядка 70 голосующих нельзя.
Дополнительная оговорка: я использовал только официальную информацию, опубликованную на сайте КРИЛа 27.01.2019, поэтому имена пользователей будут зашифрованными, а один голос забыт, так как по какой-то причине был опубликован файл с неверным списком голосов. Насколько мне известно, сейчас это исправлено -- но графики в этом посте были получены на основе того файла, который я скачал с официальной страницы КРИЛ. Тем не менее, если первое предположение верно, один голос ничего не решает -- во всяком случае в тех закономерностях, о которых я пишу ниже.
И, конечно, здесь у меня нет цели обсуждать решения организатора -- здесь цель изучить отношение разных групп игроков к разным группам игр, а также влияние отбора голосов на полученные результаты.
Мне неизвестны точные механизмы отбора голосов, использованные организатором, и, более того, любые механизмы фильтрации содержат процент брака. Я решил рассматривать все голоса, правда, выделяя в разные категории тех, кого одобрили, и тех, кто был отфильтрован -- когда это необходимо. Кроме того, отфильтрованных оказалось порядка 40% процентов голосов, а терять такую статистику при общем числе в ~70 голосов не хотелось.
Для начала я посмотрел на распределение числа разных оценок в трёх группах: голоса всех, только допущенных, только забаненных. Графики на первой картинке нормированы на суммарное число оценок каждой из категорий голосующих.
Как видно, одобренные организатором пользователи показывают более симметричное распределение оценок, а забаненные намного чаще ставят очень хорошие или очень плохие баллы.
Кроме того, видно, что любом из трёх распределений хвост десяток поднимается вверх, что говорит, по-видимому, о том, что у нас в принципе более склонны ставить десятки, а не девятки.
Следующие наблюдения я проводил, выбрав из пользователей некоторые группы. Для каждой игры я решил выбрать тех голосующих, которые поставили ей более 7 баллов (то есть 8, 9 и 10). Оказалось, что большинство игр в этом смысле полюбилось не более, чем десяти голосующим. Кроме того, большое количество графиков тяжело анализировать визуально -- и я решил выбрать только те игры, за которые высокие оценки были поставлены хотя бы 10 раз. Важно, что я не учитывал здесь фильтрацию голосов. Получился такой список:
Мои наблюдения здесь таковы: любители "Ради чашки супа" и "Дяди..." (чёрная и тёмно-зелёная линии) ставят играм в основном низкие и высокие оценки. Остальные игроки более традиционны и ставят много средних баллов.
Эта разница в подходе к оценке игр, а также вкусовые различия хорошо видны (в основном для "Ради чашки супа"), если посмотреть на средний балл каждой игре для таких групп любителей.
Как видно, чёрная линия, которой соответствует группа любителей "Ради чашки супа" больше всего выбивается из общей "конформистской" оценки. "The Пять костей...", "Золотарский Хомяк", "Испытание Марсом" и "Чаша гладиатора" получили повышенные симпатии этой группы, а "Домовой", "Домовой поможет", "Многоколонный", "На Страже", "Серость", "Сказочный герой", "Теория...", "Фуга..." им понравились меньше, чем среднему голосующему.
Примерно эта же особенность отражается на общем голосовании забаненных игроков, так как любителей "Ради чашки..." там подавляющее большинство (все оценки в графике отнормированы на число голосов, то же самое в графиках ниже).
Видно, что вкусы забаненной части голосующих сильно отличаются от вкусов одобренной.
Так как организатором в правилах не была описана процедура и критерии отбора голосов, то мы должны понимать, что вполне могли получить и другой список забаненных, и он имел бы ту же силу, что и этот. К примеру, я сделал другую выборку, пометив 28 человек (то есть столько же) в качестве забаненных.
На рисунках ниже приведены два графика, в обоих представлены средние оценки за игры в основной номинации, отнормированные на общее число голосов в группах и отсортированные по предпочтениям одобренных игроков. Первый график повторяет то, что было показано выше, только игры отсортированы, и оставлены лишь конкурсанты по основной номинации (не удивляйтесь тому, что некоторые положения игр не соответствуют опубликованным рейтингам, тому виной один забытый при официальной публикации листингов голос).
Теперь второй график, полученный точно так же, только забанены другие 28 голосующих.
Эти графики и закономерности можно интерпретировать по-разному. Важно только помнить, что интерпретация по определению субъективна.
Любители говорить о "накрутках", получи они второй график, сразу сказали бы:
"Теорию..." пытались накрутить, чтобы она победила в дополнительной номинации от "Сказки", те же забаненные снижали оценки конкуренту, лучшей игре конкурса "Ради чашки супа", а "Сказочному герою" занижать и не надо, всем понятно, что эта игра не займёт высокого места -- как и показали результаты голосования. К счастью, накрутчиков удалось отфильтровать, и в конкурсе побеждает тот, кто должен".
Однако, они получили первый график, и сделали похожие выводы, но в отношении других игр. Но важно помнить, что всё это лишь интерпретации данных.
Ещё важнее понять, что, строго говоря, выбор забаненных игроков -- результат интерпретации данных организатором, не более того. А значит, корректно было бы позиционировать результаты такого конкурса, где возможен не описанный в правилах фильтр голосующих, как "результаты публичного голосования в интерпретации Ивана Петрова, организатора КРИЛ-201?", к примеру. Это было бы корректно и честно.
Отдельный вопрос, которого я только хочу коснуться -- это соблазн действительно поступить недобросовестно, когда для получения 300% от основного приза достаточно оказаться в общем рейтинге выше всего двух конкурентов. Возможно, в будущем организаторам стоит задуматься о том, чтобы не допускать таких соблазнов. Впрочем, тогда у людей появятся другие.
Какой вывод можно сделать из этих графиков? Из-за низкой статистики ничего твёрдо сказать нельзя -- тут каждый волен сам строить предположения. Другое дело, что вся эта картина натолкнула меня на мысль, которая, быть может, вам тоже покажется интересной -- и которая ставит вопросы, однозначных ответов на которые я, например, не знаю.
Предположим, что на следующий КРИЛ в наши игры пришло поиграть, как многие из нас мечтают, множество игроков. Например, это количество может составлять 40% от общего числа игроков. И, предположим, что пришли они не из какого-то вакуума, а из вполне определённого места, скорее всего одного или двух (по крайней мере, мне кажется, что привлечь интерес больше двух других сообществ нам не удастся).
Допустим, нам удалось привлечь интерес игроков из одного сообщества. И, что вполне возможно, ещё и авторов. Допустим, одного. И предположим, что удалось нам это сделать не с помощью какой-то большой дополнительной номинации -- просто мы рассказали людям, как у нас здорово, какие хорошие игры. А они поделились с нами своими сказочными мирами, которым посвящено их сообщество.
И допустим, что вполне вероятно, у игроков этого сообщества есть свои вкусы -- и они отличаются от наших. Например, им не нравятся большие РПГ, они нетерпимы к использованию славянского фольклора, вообще не понимают парсеры и ревниво относятся к тому, как используют лор, разработанный их собственным сообществом. Допустим даже, что они по неопытности своей (впрочем, как и большинство наших голосующих) невнимательно прочитали в правилах необходимость регистрации на форуме -- и, так как они новички, заранее регистрироваться им было незачем. О том, что многие попросту забывают о сроках голосования, даже говорить не стоит -- это традиционно для любых мероприятий с дедлайнами.
Вот они приходят в последний день и голосуют точно так же, как сейчас голосовали забаненные игроки. Ну не нравятся им игры, которые нравятся нам. Мы, оказывается, не одни в этом мире -- и кого-то могут разочаровывать игры вроде "Домовых", "Многоколонного".
Если вы подумаете, что это фантастическая ситуация, оглянитесь по сторонам: все, кому было интересно то же, что и нам, уже с нами. У остальных другие вкусы. В описанной выше ситуации нам придётся эти вкусы принимать и считаться с тем, что наше новое сообщество игроков, на 40% состоящее из новичков, теперь имеет другие вкусы, теперь отчасти любит играть в "Золотарского Хомяка" и советует его друзьям, с увлечением заигрывается в "КрШа...", всей семьёй проходит "Ты всё равно победишь!" и с нетерпением забрасывает просьбами о продолжении автора "Павшего во Мраке...".
Если мы хотим, чтобы наше сообщество росло, нужно быть готовыми принять в него на равных с нами правах людей, у которых могут быть диаметрально противоположные вкусы, но общий с нами интерес -- интерактивная литература и текстовые игры.
Каким мы хотим видеть будущее нашего сообщества любителей интерактивной литературы и текстовых игр?
Сразу же хочу оговориться, что все рассуждения про статистические закономерности основаны на предположении, что выборка достаточно большая, чего с уверенностью сказать про оценки порядка 70 голосующих нельзя.
Дополнительная оговорка: я использовал только официальную информацию, опубликованную на сайте КРИЛа 27.01.2019, поэтому имена пользователей будут зашифрованными, а один голос забыт, так как по какой-то причине был опубликован файл с неверным списком голосов. Насколько мне известно, сейчас это исправлено -- но графики в этом посте были получены на основе того файла, который я скачал с официальной страницы КРИЛ. Тем не менее, если первое предположение верно, один голос ничего не решает -- во всяком случае в тех закономерностях, о которых я пишу ниже.
И, конечно, здесь у меня нет цели обсуждать решения организатора -- здесь цель изучить отношение разных групп игроков к разным группам игр, а также влияние отбора голосов на полученные результаты.
Мне неизвестны точные механизмы отбора голосов, использованные организатором, и, более того, любые механизмы фильтрации содержат процент брака. Я решил рассматривать все голоса, правда, выделяя в разные категории тех, кого одобрили, и тех, кто был отфильтрован -- когда это необходимо. Кроме того, отфильтрованных оказалось порядка 40% процентов голосов, а терять такую статистику при общем числе в ~70 голосов не хотелось.
Особенности оценки в целом
Для начала я посмотрел на распределение числа разных оценок в трёх группах: голоса всех, только допущенных, только забаненных. Графики на первой картинке нормированы на суммарное число оценок каждой из категорий голосующих.
Как видно, одобренные организатором пользователи показывают более симметричное распределение оценок, а забаненные намного чаще ставят очень хорошие или очень плохие баллы.
Кроме того, видно, что любом из трёх распределений хвост десяток поднимается вверх, что говорит, по-видимому, о том, что у нас в принципе более склонны ставить десятки, а не девятки.
Различие во вкусах и категоричности оценки
Следующие наблюдения я проводил, выбрав из пользователей некоторые группы. Для каждой игры я решил выбрать тех голосующих, которые поставили ей более 7 баллов (то есть 8, 9 и 10). Оказалось, что большинство игр в этом смысле полюбилось не более, чем десяти голосующим. Кроме того, большое количество графиков тяжело анализировать визуально -- и я решил выбрать только те игры, за которые высокие оценки были поставлены хотя бы 10 раз. Важно, что я не учитывал здесь фильтрацию голосов. Получился такой список:
- Star Wars: Турнир Юнлингов
- Домовой
- Домовой поможет
- Дядя, который работает в Нинтендо
- Многоколонный
- Ради чашки супа
- Саэска. Демоны и их хозяева
- Серость
- Теория "Сказочного" Градостроения
- Форестьер
Мои наблюдения здесь таковы: любители "Ради чашки супа" и "Дяди..." (чёрная и тёмно-зелёная линии) ставят играм в основном низкие и высокие оценки. Остальные игроки более традиционны и ставят много средних баллов.
Эта разница в подходе к оценке игр, а также вкусовые различия хорошо видны (в основном для "Ради чашки супа"), если посмотреть на средний балл каждой игре для таких групп любителей.
Как видно, чёрная линия, которой соответствует группа любителей "Ради чашки супа" больше всего выбивается из общей "конформистской" оценки. "The Пять костей...", "Золотарский Хомяк", "Испытание Марсом" и "Чаша гладиатора" получили повышенные симпатии этой группы, а "Домовой", "Домовой поможет", "Многоколонный", "На Страже", "Серость", "Сказочный герой", "Теория...", "Фуга..." им понравились меньше, чем среднему голосующему.
Примерно эта же особенность отражается на общем голосовании забаненных игроков, так как любителей "Ради чашки..." там подавляющее большинство (все оценки в графике отнормированы на число голосов, то же самое в графиках ниже).
Интерпретация и её роль в подсчёте голосов
Так как организатором в правилах не была описана процедура и критерии отбора голосов, то мы должны понимать, что вполне могли получить и другой список забаненных, и он имел бы ту же силу, что и этот. К примеру, я сделал другую выборку, пометив 28 человек (то есть столько же) в качестве забаненных.
На рисунках ниже приведены два графика, в обоих представлены средние оценки за игры в основной номинации, отнормированные на общее число голосов в группах и отсортированные по предпочтениям одобренных игроков. Первый график повторяет то, что было показано выше, только игры отсортированы, и оставлены лишь конкурсанты по основной номинации (не удивляйтесь тому, что некоторые положения игр не соответствуют опубликованным рейтингам, тому виной один забытый при официальной публикации листингов голос).
Теперь второй график, полученный точно так же, только забанены другие 28 голосующих.
Эти графики и закономерности можно интерпретировать по-разному. Важно только помнить, что интерпретация по определению субъективна.
Любители говорить о "накрутках", получи они второй график, сразу сказали бы:
"Теорию..." пытались накрутить, чтобы она победила в дополнительной номинации от "Сказки", те же забаненные снижали оценки конкуренту, лучшей игре конкурса "Ради чашки супа", а "Сказочному герою" занижать и не надо, всем понятно, что эта игра не займёт высокого места -- как и показали результаты голосования. К счастью, накрутчиков удалось отфильтровать, и в конкурсе побеждает тот, кто должен".
Однако, они получили первый график, и сделали похожие выводы, но в отношении других игр. Но важно помнить, что всё это лишь интерпретации данных.
Ещё важнее понять, что, строго говоря, выбор забаненных игроков -- результат интерпретации данных организатором, не более того. А значит, корректно было бы позиционировать результаты такого конкурса, где возможен не описанный в правилах фильтр голосующих, как "результаты публичного голосования в интерпретации Ивана Петрова, организатора КРИЛ-201?", к примеру. Это было бы корректно и честно.
Отдельный вопрос, которого я только хочу коснуться -- это соблазн действительно поступить недобросовестно, когда для получения 300% от основного приза достаточно оказаться в общем рейтинге выше всего двух конкурентов. Возможно, в будущем организаторам стоит задуматься о том, чтобы не допускать таких соблазнов. Впрочем, тогда у людей появятся другие.
Немного философии, беспокойства и вопросов
Какой вывод можно сделать из этих графиков? Из-за низкой статистики ничего твёрдо сказать нельзя -- тут каждый волен сам строить предположения. Другое дело, что вся эта картина натолкнула меня на мысль, которая, быть может, вам тоже покажется интересной -- и которая ставит вопросы, однозначных ответов на которые я, например, не знаю.
Предположим, что на следующий КРИЛ в наши игры пришло поиграть, как многие из нас мечтают, множество игроков. Например, это количество может составлять 40% от общего числа игроков. И, предположим, что пришли они не из какого-то вакуума, а из вполне определённого места, скорее всего одного или двух (по крайней мере, мне кажется, что привлечь интерес больше двух других сообществ нам не удастся).
Допустим, нам удалось привлечь интерес игроков из одного сообщества. И, что вполне возможно, ещё и авторов. Допустим, одного. И предположим, что удалось нам это сделать не с помощью какой-то большой дополнительной номинации -- просто мы рассказали людям, как у нас здорово, какие хорошие игры. А они поделились с нами своими сказочными мирами, которым посвящено их сообщество.
И допустим, что вполне вероятно, у игроков этого сообщества есть свои вкусы -- и они отличаются от наших. Например, им не нравятся большие РПГ, они нетерпимы к использованию славянского фольклора, вообще не понимают парсеры и ревниво относятся к тому, как используют лор, разработанный их собственным сообществом. Допустим даже, что они по неопытности своей (впрочем, как и большинство наших голосующих) невнимательно прочитали в правилах необходимость регистрации на форуме -- и, так как они новички, заранее регистрироваться им было незачем. О том, что многие попросту забывают о сроках голосования, даже говорить не стоит -- это традиционно для любых мероприятий с дедлайнами.
Вот они приходят в последний день и голосуют точно так же, как сейчас голосовали забаненные игроки. Ну не нравятся им игры, которые нравятся нам. Мы, оказывается, не одни в этом мире -- и кого-то могут разочаровывать игры вроде "Домовых", "Многоколонного".
Если вы подумаете, что это фантастическая ситуация, оглянитесь по сторонам: все, кому было интересно то же, что и нам, уже с нами. У остальных другие вкусы. В описанной выше ситуации нам придётся эти вкусы принимать и считаться с тем, что наше новое сообщество игроков, на 40% состоящее из новичков, теперь имеет другие вкусы, теперь отчасти любит играть в "Золотарского Хомяка" и советует его друзьям, с увлечением заигрывается в "КрШа...", всей семьёй проходит "Ты всё равно победишь!" и с нетерпением забрасывает просьбами о продолжении автора "Павшего во Мраке...".
Если мы хотим, чтобы наше сообщество росло, нужно быть готовыми принять в него на равных с нами правах людей, у которых могут быть диаметрально противоположные вкусы, но общий с нами интерес -- интерактивная литература и текстовые игры.
Каким мы хотим видеть будущее нашего сообщества любителей интерактивной литературы и текстовых игр?
Крил увы, принёс только разочарование. Это был мой последний Крил.
ОтветитьУдалитьХотя, результаты, вероятно, закономерны.
В главе "Интерпретация и её роль в подсчёте голосов" выводы кажутся мне притянутыми за уши.
ОтветитьУдалитьНа первом графике четко видно, что принятые голоса мало отличаются от общего количества голосов, а забаненные голоса - отличаются кардинально. То есть, организатор забанил (в основном) голоса накрутчиков.
На втором же графике наоборот - забаненные голоса очень похожи на общие, а принятые сильно отличаются. То есть организатор забанил нормальные голоса и принял накрутчиков.
Так что лично для меня данные графики кристалльно точно доказывают, что организатор КРИЛа (в целом) все сделал правильно.