Привет! Меня зовут Игорь, мне 26 лет. Занимаюсь на фрилансе раскруткой сайтов последние семь лет. Был опыт работы в
социальной сети, в которой занимался привлечением новых пользователей, но это
совсем другая история.
Год назад у меня появилась идея
создать сервис, с помощью которого можно было бы посмотреть историю отношений
пользователей «ВКонтакте». Реализация довольно простая: скрипт запрашивает через
открытое API VK семейное положение пользователя и сохраняет его в базу. И если
пользователь изменил статус, старый остается в базе. С уже готовым проектом вы
можете ознакомиться на Paspart.ru. А теперь история о том, как это было.
Я знал, что есть закон о
персональных данных и нужно было убедиться, что будущий сервис не нарушит его.
Перечитал закон 10 раз, убедился, что нарушений не будет, но чтобы
подстраховаться — проконсультировался с несколькими юристами и отправил письмо
в Роскомнадзор. Юристы и Роскомнадзор ответили, что нарушений нет. Загорелся
зеленый свет, и я отправился на поиски программиста.
Поиск
программиста — первый фейл
На бирже фриланса нашел
программиста, который за 3000 рублей обещал написать рабочий скрипт. Скрипт он
написал, но после сбора 300 тысяч пользователей — скорость сбора данных падала
до нуля. Программист развел руками и сказал, что написал все по ТЗ. Я начал думать,
как решить проблему, предлагая идеи программисту. За каждую правку он брал
дополнительные 500 рублей. В общем, на доработку ушло еще 3000 рублей, но
скрипт все так и не работал должным образом. Потом был еще один программист с
точно такой же историей. Устав от неудач, я прекратил попытки реализовать
проект и забыл про него на полгода.
В начале 2014 года, я рассказал про
эту историю знакомому программисту. Он посмотрел на код скрипта, который
написали два предыдущих программиста и сказал, что все сделано не правильно и
если написать все с нуля, то проблем со сбором данных не будет. Так и вышло.
Чтобы собрать первые данные обо всех пользователей ВК ушло 2 месяца.
Сейчас мы собираем данные обо всех пользователях ВК меньше, чем за сутки.
После того как завершился парсинг,
мы запустили его снова, чтобы выяснить, изменяется ли вообще семейное положение
у пользователей достаточно часто. И снова два месяца ожиданий. В конце мая,
второй круг сбора данных завершился, и мы начали смотреть процент изменений.
Выяснилось, что с февраля по май, семейный статус изменился у 907 450 человек,
а партнера сменили 256 418 человек. Чаще всего партнера меняли люди в возрасте
от 22 до 26 лет.
Ранний старт —
второй фейл
Мы убедились на цифрах, что люди
встречаются и расстаются достаточно часто. И началась разработка внешней
оболочки сайта. А так как программист занимался сайтом в свободное время, то
разработка шла медленно. В середине августа я устал от ожиданий и отсутствия
фидбека от потенциальных пользователей и разослал пресс-релиз в СМИ, чтобы
получить фидбек, по сути, еще сырого сервиса, за что программист меня
хорошенько отругал. Но я уже больше не мог ждать, т.к. запуск постоянно
откладывался и нервы просто не выдержали. В итоге, про сервис написали только в
одном СМИ. Сказать, что я расстроился — это ничего не сказать. Я был подавлен!
Выпил пару бокалов виски и лег спать с дурными мыслями.
Возрождение
птицы Феникс
Проснувшись утром, я увидел
абсолютно новый функционал сервиса, который программист написал за ночь.
Раньше, чтобы посмотреть историю одного пользователя, нужно было скопировать
URL и вставить его в форму поиска. Сейчас можно посмотреть историю всех друзей
любого пользователя в пару кликов.
Если кого-то интересуют показатели
сайта: 15% отказов, глубина просмотра 5,4 страницы, среднее время на сайте 3:23
минуты. 17% пользователей возвращаются на сайт. 80% аудитории — это мужчины в
возрасте от 25 до 34 лет. Первых пользователей мы получили с помощью покупки
рекламы в пабликах «ВКонтакте».
У меня снова появилась вера в
проект. И было принято решение попытать судьбу во второй раз, разослав письма в
СМИ, в том числе и в ЦП. Если вы читаете данные строки, значит, вторая попытка
оказалась удачной. Не стоит расстраиваться, если проект не «выстрелил» в первые
дни — доработайте функционал и попытайте удачу еще раз!
Возвращаем микрофон читателям.
Хотите получить в руки микрофон и рассказать о своем стартапе? Добро пожаловать за трибуну.
Tom Andreevich Zarubin
"Год назад у меня появилась идея"— а зачем?
Кирилл Нарчуганов
TomЕОТ поменяла сп на «помолвлена с Ерохиным», а он не сразу заметил.
Игорь
TomПознакомился с девушкой, посмотрел ее историю, а там каждый день то "все серьезно", то "влюблена". Значит тараканы есть... Есть еще тип людей, которые ставят СП чтобы добиться расположения девушки, а как добиваются - СП убирают.
Комментарий удален
Игорь
GrigoryЭто нарушает закон о персональных данных и не только.
Комментарий удален
Игорь
GrigoryВы плохо читали текст? Роскомнадзор не увидел нарушений. А слово "закон" нужно на инглише писать?
Комментарий удален
Комментарий удален
Валерий Наконечников
Игорь, мне кажется вы приводите не лучший пример в ответ на вопрос "Зачем нужен этот сервис?".
Вы говорите, что можно узнать, что девушка с тараканами, если у нее часто меняется сп.
Я много проработал в сфере датинга и когда прочитал про ваш сайт, сразу пришло в голову другое применение.
Люди, которые ищут знакомства, могут отслеживать девушек, у которых сп "встречаюсь", "замужем" поменялось на "в активном поиске". Человек будет знать, что девушка только рассталась с парнем и к ней есть возможность "подкатить".
100% нужно монетизироваться через датинг. Не губите директом и партнерками не из сферы знакомств. В датинге будут совсем другие деньги. Там поголовно имбицильная помешанная аудитория одиноких дрочеров-неудачников, которых с большой вероятностью заинтересует возможность отслеживать только что брошенных и разведенных девушек.
Игорь
ВалерийТакая идея тоже была :) И думаю, что она будет реализована.
7im0n
ИгорьКак быстро происходит переиндексация всех пользователей? если сегодня я изменю статус, а через три дня верну его обратно, он будет зафиксирован в системе?
Игорь
7im0nПарсинг всех пользователей ВК занимает около 14 часов в одном варианте, и около недели во втором варианте.
Владислав Козуля
Какое бурное обсуждение, однако.
Комментарий удален
Сергей Романов
Ну вообще, если учесть, что идея в своем роде уникальна, вложенные средства минимальны, а возможность заработать на рекламе есть, хоть реклама и не будет дико качественной, то в целом проект то имеет место быть.
Я бы посоветовал добавить визуальных фишек, для того чтобы задержать пользователей на сайте.
Допустим: инфографику отдельных пользователей, критерий "надежности" будущего партнера и прочее. Так, если сайт не будет лагать, пользователя можно задержать и на 5-10 минут.
А еще это неплохая возможность таргет рекламы для сайтов знакомств: если у вас в друзьях все дамы "сомнительные" - выскакивает реклама, где можно найти более надежных
Ну это все навскидку, дерзайте
Игорь
СергейСпасибо, Сергей за комментарий! Над всем этим думали. Есть много классных идей. Были дни, когда среднее время на сайте было 20 минут :)
Сергей Романов
ИгорьЭто мой первый комментарий на цп, так что спасибо)
Ваше главное преимущество, что есть место, где развернуться. Такой сервис всегда можно дополнить и применять по разному, так что желаю только удачи.
П.С. Если бы я проверял кого-то через такой сервис, то было бы классно увидеть соотношение в друзьях людей мужского и женского пола, а также насколько часто кого-то убирают из друзей.
Заранее извиняюсь, если это нельзя сделать; я совсем ничего не смыслю в программировании
Mike Kosulin
ИгорьСреднее время 20 минут, а уников - 10 ?
Ерофей Смирнов
Во-первых, не ясно зачем. А, во-вторых, очень долго загружается. Я уже минут 5 жду.
Игорь
ЕрофейСколько у вас друзей? С ЦП пришло очень много посетителей. Сервер ели выдерживает.
Ерофей Смирнов
ИгорьДоступных для "анализа" 65.
Даня Реймах
Запилите как приложение в вк - успех гарантирован.
Ruslan Nazarenko
ок-ок-ок, а заработать на этом как? Я, к примеру, не буду даже 10 центов платить за то, чтобы посмотреть на то, как у гипотетической половинке менялись предпочтения в течении N лет. И, тащемто, что делать на сайте 3 минуты (грузить базу друзей?) я слабо понимаю. Если это из-за загрузки базы, то я вкладку закрыл и пошел дальше по интернету шариться. Зашел - посмотрел 10 "тех кого надо" и ушел. У меня на это уйдет от силы минута. Ну, может чуток больше. Минута сосредоточенного изучения того, зачем я пришел. В таком случае, на возможную рекламу я даже смотреть не буду. Ну, конечно, рекламодателю можно будет впарить под соусом: "у нас тут ребята по 10 минут сидят". Но потом придет Калинов, разнесет в пух и прах и точка.
Игорь
RuslanЯ открою вам одну страшную тайну: вы - это не все!
Ruslan Nazarenko
Игорьну да, это именно ответ на вопрос: "Как же зарабатывать будете". Молодцы, чо.
Игорь
RuslanС рекламы. Но вы же в это не верите. Если вы не кликаете на рекламу, значит никто не кликает. Логично, чо.
Ruslan Nazarenko
ИгорьЯ где-то сказал, что я не кликаю? Читать не умеем, чо?
Игорь
Ruslan"В таком случае, на возможную рекламу я даже смотреть не буду". От сюда следует, что кликать не будете. Я же сказал выше про страшную тайну: вы - не все. Вы не будете смотреть - будут смотреть другие.
Ruslan Nazarenko
Игорьи это, не забывайте нагонять своих злых программистов, чтоб они шустрее минусовали посты. Детский сад.
Ruslan Nazarenko
Игорьну яснопонятно, парить калл, приговаривая при этом "у нас адская вовлеченность - несите бабло нам". Удачи.
Alexander Romanov
Интересные изменения у всех моих друзей
Игорь
AlexanderВы и ваши друзья еще слишком молоды, чтобы были большие изменения.
Алексей Кузьмин
ИгорьАналогично, если и я молод, то этот сервис ориентирован не на аудиторию Вконтактика, а пенсионеров - Одноклассников.
Комментарий удален
Игорь
СергейНу кто-то "YO" придумывает, а кто-то сервис который может помочь посмотреть на серьезность человека, после знакомства. Познакомился с девушкой, посмотрел ее историю, а там каждый день то "все серьезно", то "влюблена". Значит тараканы есть... Есть еще тип людей, которые ставят СП чтобы добиться расположения девушки, а как добиваются - СП убирают.
Anton Melnikov
Где-то год назад тоже пришла эта идея. Только реализация другая: подписываешься на изменение статуса N человек. Когда статус меняется — приходит уведомление. Надеюсь не нужно объяснять для чего.
Anton Melnikov
AntonТочнее 1.5 года назад. Удивительно, что тогда сам не сделал. Хотя мне легче, я разработчик с опытом работы с API. Хотя на самом деле ничего удивительного, одному всегда было сложно вытянуть идею в какой-то продукт. :(
Игорь
AntonЭто великолепно :)
Олег Юшков
Я так понимаю, скрипт обрабатывает только статус непосредственно на странице пользователя, но если статус скрыт, то и на сервисе его не видно. Если парсить через поиск, то будет видно и скрытый статус. Надеюсь не надо объяснять как это сделать?
Игорь
ОлегМы уже по другому делаем. Не переживайте. Методом "Черепашка" :)
Alex Mixxer
И было бы интереснее собирать статусы пользователей и собирать статистику по "самым популярным" например
Игорь
AlexА зачем?
Alex Mixxer
ИгорьСтранно слышать это вопрос, при условии что сейчас сервис занимается практически тем же самым
Игорь
AlexВы про какие статусы говорите? "Если плюют в спину, значит ты впереди"?
Федор Шепелев
Автор описывает в статье три фейла и делает тем самым четвертый: запуск не подготовленного к нагрузке проекта.
По проекту: Почему бы не сделать дополнительный парсер тех, кого запрашивают в данный момент. Тех, кого хотя бы раз запросили в поиске или через друзей, вносите в отдельный список и начинайте парсить параллельно. Тем самым можно актуальность данных поднять до часа, а то и еще меньше.
Игорь
ФедорОб этом программист говорил сотни раз. Но я почему-то не особо видел в этом необходимость. Надо делать!
Федор Шепелев
ИгорьТаким образом вы еще и сможете составить рейтинг популярности. Кого чаще всего проверяют, тот популярнее. ;)
И да, как писал комментатор выше - добавьте в проект инфографики и разных рейтингов с цифрами. Было бы гораздо интереснее и люди бы проводили не 5 минут, а все 30.
И приложение для вконтакте тоже стоит сделать. И через API уже слать уведомления о изменении статуса, которое вы тоже уже обещали %)
Anton Fedulov
Серьезно, для чего это нужно?
Иван Фишер
Я тут смотрю, как все накинулись не проект и его автора.
Когда-то про приложение Yo тоже так говорили, а потом он раз, и инвестиции привлек. Главное ведь не зачем сервис делается. а сможет ли набрать любыми способами аудиторию, а там уже за другим дело...
7im0n
Хорошая идея и реализация. Желаю успеха Игорь!
Комментарий удален
Комментарий удален
Иван Писклюков
Сервачок уложили на бочок.
А по существу, я вот прочитал все до конца но так и не понял: для чего этот сервис? У вас прежде всего фейл в презентации.
Игорь
ИванПознакомился с девушкой, посмотрел ее историю, а там каждый день то "все серьезно", то "влюблена". Значит тараканы есть... Есть еще тип людей, которые ставят СП чтобы добиться расположения девушки, а как добиваются - СП убирают.
Александр Домашев
Для чего-то связанного с понятием "ревность"?
Даже не знаю, как еще описать. Так много текста, а так и не написал, зачем его сервис нужен и кому полезен.
Konstantin
АлександрДаже не сомневаюсь, найдется куча людей, которые с большим удовольствием будут мониторить чужие отношения. Не уверен, что во всех случаях это будет здоровый интерес и что можно будет говорить о _полезности_ сервиса. Но спрос будет.
Анна Ермачёнок
А я помню, что меняла свое семейное положение раз десять. Сервис же показал только одно изменение, да и то, что оно скрыто.
Игорь
АннаКогда вы меняли? Сервис недавно только работает. Мы показываем только то, что успели сохранить. Естественно, за все время у нас нет данных.
Oleg Pikaruk
Продолжение сервиса - записывать зафрендживание/расфрендживание, не знаю зачем, еще не придумал))
Mike Kosulin
Olegприложения есть для этого.
Павел Тарасенко
Вызывайте третьего программиста, у вас сайт снова еле дышит
Игорь
ПавелУже вовсе не дышит :(
Ростислав Притула
устал ждать пока 500 друзей загрузит.
все очень медленно и тупит.
ну и в принципе бессмысленно.
я так и не понял в чем прикол - зачем знать кто поменял СП месяц назад? можно же на страничку пойти и посмотреть.
Solid
Парсер строки не нужной информации с соц.сети - сервис...?
Аудитория будет (что вряд ли) недалекая.
Евгений Ефимов
"Люди, которые ищут знакомства, могут отслеживать девушек, у которых сп "встречаюсь", "замужем" поменялось на "в активном поиске". Человек будет знать, что девушка только рассталась с парнем и к ней есть возможность "подкатить"." - именно это назвал основной целью создания Facebook герой Марка Цукерберга в фильме "Социальная сеть"))) Просто до сих пор создатели соцсетей давали некоторую "свободу действий" пользователям - смену статуса друзья замечают, проверяя вручнуюю, а вы предлагаете, так сказать, поставить "подкаты" на поток - не успела девушка статус поменять, а ей 217 сообщений - давай дружить))) Это как услуга "Антиопределитель номера" и "АнтиАнтиопределитель номера" - на каждое действеи находится противодействие. Скоро так романтики совсем не останется - встал утром, ага, отправлено 87 сообщений брюнеткам возрастом от 22 до 25, поменявших за последние 3 часа статус с "помолвлена" на "в активном поиске", из них 8 ответили, ну что ж, будем выбирать получше. Роботы любят роботов.
Антон Петренко
Теперь можно смотреть статусы бывших, которые тебя заблокировали - ура!
Sergey Vayser
Не долго музыка играла
502 Bad Gateway
Игорь
SergeyСейчас уже лучше.
Комментарий удален
Игорь
GrigoryЧо, блатной?
Комментарий удален
Андрей Гордеев
Смысл в том, что можно посмотпеть историб отношений конкретнрго человека: с кем, когда...
Oleg Kovalenko
Отличный сервис.
Тарас Тарасов
короче, опять сырое говно
Dmitry Boyko
Идея показывать друзей аватарками - ужасна. Даже десяток перебирать не удобно, что уж говорить о сотне. А поиск по странице, из-за того что имена не выводятся, сделать не возможно.
Игорь
DmitryПредложите свою идею, как вывести >500 друзей компактно?
Dmitry Boyko
ИгорьАватарка а рядом имя, все это разбито в не сколько столбцов, все равно сейчас у вас занимается половина экрана, добавьте имя, хотя бы небольшим шрифтом справа от фотографий.
Иначе какой толк просто в свалке аватарок. Тонна времени уходит на то, что бы глазами найти интересующие аватарки. А они ведь тоже у людей не статичны, некоторые их меняют довольно часто.
Игорь
Приношу свои извинения за долгое выполнение запросов. Фейл №3 (классика) сервер не справляется с нагрузкой.
Тарас Тарасов
Игорькстати, Вам программист верно сказал - минимальный рабочий прототип это, конечно, круто, но у вас он даже не рабочий :)
Игорь
ТарасРабочий. Просто нагрузку не выдержали.
Alex Mixxer
Несмотря на большой поток данных для обработки этот сайт больше напоминает те вещи, которые программисты пишут "чисто ради интереса / для себя" за пару вечеров на коленке.
Марк Ланговой
Так уже минут пять(
Марк Ланговой
МаркИ у Вас там проблема, если ссылку вводить, то начинает по очереди показывать разных людей (для программиста: ajax не сбрасывается, а каждый раз новый)
wuh-wuh
{"error":"invalid_request","error_description":"Security Error"} при попытке авторизации
Mike Kosulin
У вас слишком много скрытых статусов, которые на самом деле можно палить через API.
Через поиск можно глянуть тип семейного положения(не с кем), но оно при этом скрыто.
Игорь
MikeВы говорите про API с токеном?
Mike Kosulin
ИгорьДа.
ОтпускРК
Расскажите в какие СМИ отправляли пресс-релиз, и кто, кроме ЦП, опубликовал его со второго раза?
designer fake
А зачем он каждый раз заново загружает друзей? Я, может, всех хочу посмотреть. Каждый раз по 800 человек - долго ждать...
Игорь
designerМы не храним данные о друзьях. Сейчас база весит 100Гб. Если будем хранить еще и список друзей, то она увеличится в разы.
Александр Чебукин
ИгорьЭто на каком количестве данных?
Игорь
Александр260 млн пользователей ВК по 2-3 раза.
Даня Реймах
ИгорьНад оптимизацией не задумывались? Ведь не весь вконтач меняет сп каждый день, так с каждым проходом можно будет не по новой переписывать статус, а записывать именно тех, кто сменил.
Игорь
ДаняМы над ней постоянно думаем. Меняют не все, но сегодня статуса нет, а завтра есть. Проверка статуса на наличие дубликата в базе занимает слишком много времени, как никак 100Гб. Именно поэтому, в первых двух случаях с программистами падала скорость после 3000 пользователей.
Михаил Дий
Меня сервис не тянет ^~^
Alexander Romanov
понятненько
Дима Пискунов
Херня! Везде "статус скрыт" стоит у всех. Доработайте!
Игорь
ДимаУже все в процессе.
Федор Шепелев
ИгорьИнтересно как вы это решите? Если сделает вывод статуса у тех, у кого он скрыт, то в этом случае точно нарушите конфиденциальность данных пользователя.
Даже писаьмо в Роскомнадзор писать не потребуется.
Игорь
ФедорНичего нарушаться не будет. Мы сначала 7 раз отмеряем приватность и только потом что-то делаем.
Комментарий удален
Алексей Сотников
А скрипт сам дёргает всех пользователей? Или только по запросу, и только потом в базу сохраняет.
Игорь
АлексейСам дергает.
Роман Горбачёв
Нужна такая функция — следишь за определенным человеком — когда он сменит семейное положение, тебе приходит нотифай.
Александр Опекунов
Правда, очень странный сервис. Я правильно понял, что запрос к API идет только во время запроса?
Какой смысл тогда вообще? Если бы база сама обновлялась, то хоть какой - то смысл есть (например не успел посмотреть, а хочешь смотреть), а так.
Александр Опекунов
Александрпрошу прощения за тавтологию.
Игорь
АлександрНет, запрос к API не идет во время запроса (мы только аватарку в момент показываем), а так скрипт постоянно работает и записывает данные в базу.