Факторы успеха стартапа: разбор исследования на 21 000 компаний

Три года назад в Scientific Reports вышла работа, которая обещала то, чего до неё никто не делал: измерить характер основателей стартапов и связать его с судьбой компаний. Двадцать одна тысяча фирм, тридцать психологических шкал, шесть типов фаундеров. Данные авторы выложили на GitHub — я их скачал и попробовал повторить выводы.

Сначала пересказ, потом что получилось.

Работа: McCarthy, Gong, Braesemann, Stephany, Rizoiu, Kern, Sci Rep 13, 17200 (2023). Полная версия с методикой лежит в препринте.

Механика такая. Из Crunchbase взяли профили тех, кто сам назвал себя основателем и указал твиттер. Дальше по текстам твитов вывели Big Five — не опросником, а моделью, которая предсказывает личность по языку. Нужно было минимум сто пятьдесят слов постов, чтобы оценка считалась приемлемой. Потом это склеили с данными о компаниях.

Успехом считали одно из трёх: компанию купили, она сама кого-то купила или вышла на биржу. Определение взяли из предыдущей работы про глобальную сеть стартапов, и оно ключевое для понимания всего дальнейшего — успех здесь означает крупное событие с капиталом, а не выручку и не выживание.

После чистки осталось около двадцати одной тысячи компаний и двадцати пяти тысяч основателей. Успешными оказались примерно шестнадцать процентов, а среднее время до выхода — чуть больше шести лет.

Это самая крепкая часть работы.

Авторы собрали контрольную группу хитро. Взяли данные LinkedIn и посчитали для шестисот с лишним профессий, какая доля людей в этой профессии когда-либо была основателем. Получился индекс предпринимательской склонности: на одном конце публичные спикеры и технические директора, на другом кассиры, палеонтологи и грузчики мебели. Из профессий с самой низкой склонностью набрали успешных сотрудников, которые почти наверняка не основатели.

Потом обучили классификатор различать одних от других — только по вектору личности, без образования, возраста и страны. Точность вышла около восьмидесяти двух процентов.

Сильнее всего различает тяга к новому: предпочтение разнообразия, новизны и начинаний с нуля. Дальше — низкая скромность и высокий уровень активности. Значимыми оказались все тридцать шкал, у десяти из них эффект крупный.

Мне здесь нравится не сам результат, а его аккуратность. Индекс склонности к предпринимательству — красивое решение задачи «где взять людей, которые точно не фаундеры». Обычно в таких работах контрольную группу берут абы как.

Дальше авторы задали вопрос, на который вся популярная литература отвечает неправильно: существует ли «личность предпринимателя» в единственном числе.

Сначала проверили, кластеризуются ли фаундеры вообще. Для этого сравнили склонность к кластеризации своих данных с эталонными наборами, у которых кластеры точно есть — измерения ирисов Эдгара Андерсона и пингвинов Палмерского архипелага. Данные о фаундерах кластеризовались охотнее.

Потом иерархическая кластеризация и четыре разных индекса качества, чтобы выбрать число групп. Все четыре сошлись на шести. Их назвали FOALED: Бойцы, Операторы, Достигатели, Лидеры, Инженеры, Разработчики.

Коротко про каждый, чтобы дальше было понятно:

И вот тут авторы сделали ход, который и обеспечил работе всю прессу. Они сопоставили шесть типов с известной формулой венчурного фольклора «Хипстер, Хакер, Хастлер» — дизайнер, технарь и продавец. Три типа легли на Хакера, два на Хастлера, а Инженер оказался Хипстером.

Дальше — самое интересное и самое хрупкое.

В многофакторной модели, где учтены страна, отрасль, возраст компании, пол и число основателей, три конкретных сочетания типов дают больше чем двукратный рост шансов на выход: Лидер плюс два Разработчика, Оператор плюс два Разработчика и трио Инженер — Лидер — Разработчик.

Последнее и есть та самая формула: хипстер, хастлер, хакер. Венчурная присказка, придуманная в 2011 году и с тех пор повторённая миллион раз, впервые получила количественное подтверждение.

Плюс более простое наблюдение: команды из трёх и более основателей успешнее одиночек больше чем вдвое.

Раздел ограничений в этой работе стоит читать внимательнее, чем выводы, — и он гораздо лучше, чем принято.

Авторы прямо перечисляют смещения Crunchbase: там перепредставлены компании с внешним финансированием, технологические компании и — внимание — компании с несколькими основателями, потому что профиль в публичном справочнике охотнее заполняют командой. И компании, которые выжили, тоже перепредставлены: те, что умерли рано, в справочник просто не попали.

Первое из этих смещений подрывает их же вывод про размер команды, и авторы это не скрывают. Второе делает всю выборку выборкой выживших.

Отдельно про пол. Модель показывает, что мужской состав повышает шансы, и авторы сразу объясняют механизм: женщины-одиночки в их данных получали в среднем на пятую часть меньше денег, а смешанные команды — меньше половины от того, что получали полностью мужские. То есть модель поймала не качество основателей, а поведение инвесторов.

Вот первый инсайт от меня, и он про чтение исследований вообще. Раздел ограничений — самая содержательная часть любой работы, потому что в выводы идёт то, что получилось, а в ограничения то, что авторы про это понимают. Здесь понимают много, а пресса пересказала только выводы. Заголовки тогда были про «личность предсказывает успех», не про «наша выборка смещена в сторону многолюдных выживших команд с внешними деньгами».

Данные к работе выложены — правда, не сразу. Через полгода вышла отдельная поправка: в исходной публикации ссылку на репозиторий забыли указать вовсе, и её добавили отдельным документом.

Скачал, распаковал, прогнал триста пятьдесят проверок. Дальше по порядку.

Базовая ставка успеха — те же шестнадцать процентов из ста компаний. Размер команды работает: у одиночек выход случается примерно у десяти из ста, у трио — у двадцати трёх, у редких команд из шести человек — у трети.

Отличие фаундеров от наёмных повторяется уверенно и с тем же лидером — тягой к новому. Связь черт характера с успехом тоже есть: почти все шкалы дают статистически значимую связь, и она переживает поправку на множественные сравнения.

А теперь то, из-за чего я переписал половину своих выводов.

Значимость и величина — разные вещи. Если перевести эффект самой сильной черты из отношения шансов в проценты, получится сдвиг вероятности выхода примерно на один пункт. Медианная значимая связь — полпункта. При этом каждый дополнительный человек в команде даёт в разы больше.

Отсюда второй инсайт, и он объясняет, почему научная статья и её пересказ в прессе — это два разных текста. «Значимо» означает «связь скорее есть, чем нет». Оно ничего не говорит о размере. Отношение шансов растёт от шансов, а не от вероятности, и на низких базовых ставках это несопоставимые величины: рост шансов на одиннадцать процентов звучит как открытие, а рост вероятности на полтора пункта — как погрешность. Это одно и то же число.

Вторая проблема техническая. Если поставить черты в одну модель вместе, значимых коэффициентов не остаётся вовсе — они слишком тесно связаны между собой. Тревога, подавленность и уязвимость ведут себя как одна переменная под тремя именами. Так что «тридцать факторов» — это два-три кластера, посчитанных много раз.

Вывод про разнообразие типов в команде на открытых данных не подтверждается. Как только учитываешь, сколько людей в команде вообще измерено, различие типов перестаёт что-либо добавлять. Работает количество, а не разнообразие.

Но тут я обязан быть аккуратным, потому что причина, скорее всего, в самих данных. У большинства команд измерена только часть состава: у части основателей просто не нашли твиттер. Половина «команд» в выложенном срезе описана одним человеком.

Третий инсайт — про то, что вообще значит «личность команды» в таких работах. Это личность того члена команды, который вёл соцсети. А активность в соцсетях сама коррелирует с открытостью и экстраверсией, то есть выборка смещена ровно по тем признакам, которые в ней изучают.

Самый мощный признак во всей выборке — год основания. У компаний начала девяностых выход случался почти у половины, у компаний начала двадцатых — у единиц из ста. Это не качество: у первых было тридцать лет на то, чтобы их купили, у вторых — пять.

И именно его в модель не поставить. Год лежит в отдельном файле, где нет ни характеров, ни страны, а файлы между собой не связываются — у одинаковых идентификаторов метка успеха совпадает ровно на уровне случайности. Каждый выложенный файл перемешан независимо, это следствие анонимизации.

Претензия не к авторам: в самой работе возраст компании учтён. Претензия к тому, как выглядит открытость данных после обезличивания. Четвёртый инсайт: публикация данных и возможность проверить выводы — не одно и то же. Здесь всё честно лежит на GitHub, и при этом главный фактор не воспроизводится в принципе.

Последнее, что я сделал, — прогнал все черты против всех определений успеха, а потом перемешал метку успеха тысячу раз и пересчитал всю сетку заново.

На настоящих данных значимых связей нашлось на порядок больше, чем дала бы случайность. Сигнал есть, он настоящий, и я не собираюсь делать вид, что его нет.

Но в одной итерации из тысячи чистый шум выдал двадцать одну «значимую черту успешного основателя». На данных, где успех был приписан компаниям жребием.

Единственный вопрос, который имеет смысл задавать автору списка из тридцати качеств: сколько гипотез вы проверили, прежде чем нашли эти. Без ответа на него список нельзя отличить от шума — и, что важнее, сам автор его отличить не может.

Отрезвляющая деталь напоследок: одинаковый знак во всех определениях успеха сохраняют два признака из тридцати пяти. Всё остальное меняет направление в зависимости от того, что мы назвали успехом.

Хорошая. Я потратил на неё несколько дней и остался с уважением.

Контрольная группа собрана изобретательно. Кластеризация проверена четырьмя независимыми индексами, а не на глаз. Ограничения описаны честнее, чем у девяноста процентов работ, которые я читал. Основной вывод — что единого типа предпринимателя не существует, а есть несколько разных — устойчивый и полезный.

Проблема не в работе. Проблема в том, что от неё осталось после пересказа.

Обстоятельства объясняют успех в десятки раз лучше, чем черты характера. Но обстоятельства невозможно продать: никто не купит курс «родитесь на десять лет раньше и зарегистрируйте компанию в другой стране». А курс про качества характера покупают, потому что он обещает управляемость там, где её мало. Индустрия советов устроена наоборот не потому, что кто-то врёт, а потому что продаётся только то, на что человек может повлиять.

Читать ограничения раньше выводов. В выводах то, что получилось. В ограничениях то, что авторы про это понимают.

Переводить эффект в вероятности. Любой результат в отношении шансов просить пересчитать в «сколько из ста». Половина сенсаций после этого заканчивается.

Спрашивать про определение метрики. Выход, выручка, выживание, раунд — четыре разные вещи, и в открытых данных обычно есть только первая.

Не путать отбор с результатом. Кто решается и чья компания выживает — разные вопросы. Портреты основателей отвечают на первый, а продаются как ответ на второй.

Я строю ISweesh — симулятор запуска. Вы описываете идею, ИИ-агенты отыгрывают сегменты аудитории, на выходе видно, где спрос есть, где его нет и какие возражения придут первыми. Вечер вместо трёх недель кастдева, до того как вы потратите деньги на MVP.

И оговорка в духе всей статьи. Симуляция предсказывает реакцию, а не исход. Купят ли вашу компанию через шесть лет, она не скажет — весь текст выше как раз про то, насколько плохо предсказывается исход даже на двадцати одной тысяче наблюдений. Это фильтр перед живыми интервью, а не хрустальный шар. Кто обещает второе — не верьте. Включая меня.

Код и таблицы своей перепроверки могу выложить, если попросите в комментариях: всё воспроизводится одной командой.

Формула «хипстер, хакер, хастлер» — рабочая рамка или красивая присказка, которой наконец подобрали данные? В работе она подтвердилась, но подтвердилась в модели, где половина команд измерена одним человеком.

И для тех, у кого есть история: встречали исследование, вывод которого разваливался, стоило посмотреть на определение метрики? Расскажите.