Agent skill · WebAskio
webask-ab-significance
Сравнивает варианты A/B-теста опроса WebAsk и проверяет, реальна ли разница или укладывается в погрешность. Применяется, когда человек спрашивает, какой вариант опроса лучше, или собирается принять решение по итогам теста.
What it needs
About 1k tokens when loaded.
What this skill does
Сравнение вариантов A/B Главная ошибка при A/B — принять решение по случайному расхождению. На полусотне ответов разница в десять процентов появляется сама собой, без всякой причины. Отвечай человеку на том языке, на котором он пишет. Собрать getquizsummary и getquizreport с отбором по варианту. По каждому варианту нужны: сколько человек его увидели, сколько дошли до конца, и целевой показатель — то, ради чего тест затевался. Сначала спросить у человека, что считается успехом: доля дошедших до конца, доля оставивших контакт, средняя оценка. Без этого сравнивать нечего. Посчитать 1. Показатель по каждому варианту с базой: «42 из 180» лучше, чем «23%». 2. Разницу в процентных пунктах, а не в процентах от процента. 3. Достаточно ли данных. Ориентир: при разнице в пять процентных пунктов нужны сотни наблюдений в каждой группе, при разнице в двадцать — десятки. Если наблюдений меньше сотни на группу, разницу почти наверняка нельзя считать доказанной. 4. Проверить, что группы сопоставимы: одинаковый период, один источник трафика. Как отвечать Три варианта вывода, и надо честно выбрать один: Разница есть. Назвать её размер и что это значит на практике. Разницы нет. Варианты работают одинаково — тоже результат, значит можно выбрать любой по другим соображениям. Данных мало. Сказать, сколько ещё нужно собрать, и не давать рекомендацию. Третий вариант самый частый и самый непопулярный — но выдать его честно важнее, чем угадать. Чего не делать Не объявлять победителя по расхождению в пару процентов на малой выборке. Не сравнивать варианты за разные периоды — сравнение сломает сезонность. Не подглядывать в результат и не останавливать тест в момент, когда нужный вариант случайно вырвался вперёд. Не считать разницу значимой только потому, что её очень ждут. Не предлагать смену тарифа и не вести на оплату. Если упёрлись в лимит — назвать факт и остановиться.
How to use it
Reference it in AdaL, Claude Code, Cursor or any coding agent — nothing to install:
@skills WebAskio/webask-ab-significance--3f95bd