Все звучит круто, я прям вижу, как маркетологи побежали к своим разработчикам и начали им доказывать, что вот ребята за 50 тыс. все сделаю и это еще с запасом, а вы меня обманываете, негодяи!
И ребята будут долго и упорно объяснять, что этого мало и возникнут миллион мелочей, которые автор не учел, что нужно еще качественно протестировать, ведь мало получать данные, нужно быть на 100% уверенным, что они правдивые)
| Исходя из оценки в 300 тысяч рублей, подразумевается, что для проведения A/B-теста потребуется 120 часов работы специалистов.
Считать, что в выставленном счёте всю сумму составляет ФОТ их программистов - полный бред.
Генеральный директор должен по себе знать, что там от силы ФОТ программистов тысяч 30. Остальное идёт на аренду офиса, ФОТ остальных сотрудников, в том числе на зарплату директору, налоги, рекламу, которая может быть и половиной затрат, да и прибыль хоть какая-то обязана быть.
Допускаю, про всё это можно не знать, если вся твоя фирма располагается на компьютере в твоей квартире, а сотрудники - фрилансеры из бедных регионов. Тогда, легко разделишь 300 на 2.5 и возмутишься на vc - "Да они там что, охренели?!" Смешно.
PS. "программиста на аутсорсе" надо не любого из пучка, а того, который в теорвер может, а то натестируете. И он не будет стоить 2.5, и программист-математик вряд ли шабашит на фрилансе.
A/B тесты с разделением трафика, подсчётом доверительных интервалов и всем остальным есть в GA из коробки. Также есть куча недорогих сервисов для того же самого. Зачем вообще писать код на php, если есть готовое решение?
Мне одному кажется, специалист не специалист? код - лапша, высказываени: что это невообразимо сложно и используют для этого множество технических слов, типа «legacy», «рефакторить надо», «архитектура не позволяет»
говорит о низком уровне понимания проекта и больше подход среднего менеджера...
Традиционно желаю удачи в проведении A/B людям, которые освоили подсчет доверительного интервала по единственной формуле с некими магическими числами и уверены в том, что этого достаточно для анализа.
а на чем так сильно изменится стоимость? да, будет больше сегментов, но это, вроде как, единственное увеличение в человеческой работе. Будет больше выборка и все прочее - программа будет работать дольше, но для этого особых усилий прилагать не надо, значит, и стоить значительно дороже не будет.
По идее тк сравнивается средний доход на пользователя, а не конверсия, доверительный интервал нужно считать именно для среднего дохода на пользователя. Тк это не выборка из распределения Бернулли (как для конверсии), дисперсию нужно считать исходя из того сколько товаров какой стоимости куплено и сколько пользователей не купило ничего.
Плюс пропущен предшествующий эксперименту анализ мощности, который также потребует предварительную оценку дисперсии.
При большом числе вариаций нужно вносить поправку (тк иначе растёт шанс попасть попасть в 5%).
В общем если не иметь хотя бы базового понимания статистики можно потратить 50к впустую, и потерять даже больше, например, если конверсия статистически значимо выросла, а средний доход упал, но в рамках теста этого не видно.
Все звучит круто, я прям вижу, как маркетологи побежали к своим разработчикам и начали им доказывать, что вот ребята за 50 тыс. все сделаю и это еще с запасом, а вы меня обманываете, негодяи!
И ребята будут долго и упорно объяснять, что этого мало и возникнут миллион мелочей, которые автор не учел, что нужно еще качественно протестировать, ведь мало получать данные, нужно быть на 100% уверенным, что они правдивые)
| Исходя из оценки в 300 тысяч рублей, подразумевается, что для проведения A/B-теста потребуется 120 часов работы специалистов.
Считать, что в выставленном счёте всю сумму составляет ФОТ их программистов - полный бред.
Генеральный директор должен по себе знать, что там от силы ФОТ программистов тысяч 30. Остальное идёт на аренду офиса, ФОТ остальных сотрудников, в том числе на зарплату директору, налоги, рекламу, которая может быть и половиной затрат, да и прибыль хоть какая-то обязана быть.
Допускаю, про всё это можно не знать, если вся твоя фирма располагается на компьютере в твоей квартире, а сотрудники - фрилансеры из бедных регионов. Тогда, легко разделишь 300 на 2.5 и возмутишься на vc - "Да они там что, охренели?!" Смешно.
PS. "программиста на аутсорсе" надо не любого из пучка, а того, который в теорвер может, а то натестируете. И он не будет стоить 2.5, и программист-математик вряд ли шабашит на фрилансе.
Блин, читаю колонку и пла́чу. Я же 6 лет назад точно также думал :joy:
A/B тесты с разделением трафика, подсчётом доверительных интервалов и всем остальным есть в GA из коробки. Также есть куча недорогих сервисов для того же самого. Зачем вообще писать код на php, если есть готовое решение?
Вот этот каммент полезнее статьи. Хотя статься полезна тем, что задаёт вопрос.
Мне лень искать сайты, которые используют этот код, но тут sql injection в каждом запросе.
Мне одному кажется, специалист не специалист?
код - лапша, высказываени:
что это невообразимо сложно и используют для этого множество технических слов, типа «legacy», «рефакторить надо», «архитектура не позволяет»
говорит о низком уровне понимания проекта и больше подход среднего менеджера...
Традиционно желаю удачи в проведении A/B людям, которые освоили подсчет доверительного интервала по единственной формуле с некими магическими числами и уверены в том, что этого достаточно для анализа.
Думается мне что такой подход можно внедрить для маленьких магазинов, для больших (Ламода, например) стоимость как раз будет от 300к и выше.
а на чем так сильно изменится стоимость? да, будет больше сегментов, но это, вроде как, единственное увеличение в человеческой работе. Будет больше выборка и все прочее - программа будет работать дольше, но для этого особых усилий прилагать не надо, значит, и стоить значительно дороже не будет.
По идее тк сравнивается средний доход на пользователя, а не конверсия, доверительный интервал нужно считать именно для среднего дохода на пользователя. Тк это не выборка из распределения Бернулли (как для конверсии), дисперсию нужно считать исходя из того сколько товаров какой стоимости куплено и сколько пользователей не купило ничего.
Плюс пропущен предшествующий эксперименту анализ мощности, который также потребует предварительную оценку дисперсии.
При большом числе вариаций нужно вносить поправку (тк иначе растёт шанс попасть попасть в 5%).
В общем если не иметь хотя бы базового понимания статистики можно потратить 50к впустую, и потерять даже больше, например, если конверсия статистически значимо выросла, а средний доход упал, но в рамках теста этого не видно.