Сервисы Никита Евдокимов
32 777

Математики из Армении создали сервис, который убирает посторонние звуки во время звонков

С помощью нейросетей Krisp определяет раздражающие шумы (вроде плача ребёнка или шуршания бумаги) и в реальном времени вырезает их из аудиопотока.

В закладки
Аудио
Интерфейс Krisp

Krisp — это приложение для Mac, которое в режиме реального времени устраняет посторонние звуки во время звонков через Skype, Slack и другие VoIP-сервисы.

Пользователь может выбрать, какие шумы блокировать: входящие или исходящие. Первый способ подходит для ситуаций, когда собеседник (или собеседники) находится на оживлённой улице.

Второй — когда пользователь хочет скрыть своё окружение. Например, если звонок застал его в кофейне по пути на работу.

Приложение способно различать и подавлять такие звуки, как шум улицы, кафе или аэропорта, детский плач, шуршание бумаги, стук клавиш и многие другие.

Пример использования сервиса

Технология

Krisp — продукт американской компании с армянскими корнями 2Hz, которую в 2017 году основали два друга: Давит Багдасарян и Артавазд Минасян.

Шумоподавление сервиса работает благодаря технологии машинного обучения.

Команда проекта собрала два датасета: в первом было несколько десятков тысяч аудиозаписей с различными звуками-шумами (например, автомобильной сигнализации). Во втором — примеры чистой речи, записанной в студии.

Затем разработчики стали генерировать сэмплы — накладывать шумы на чистую речь и создавать множество вариантов комбинаций с разными звуками и уровнями громкости.

Например:

  • Тихая речь с громким звуком пожарной сирены.
  • Громкая речь с громким звуком пожарной сирены.
  • Громкая речь с тихим звуком пожарной сирены.
  • Тихая речь с тихим звуком пожарной сирены и так далее.

Далее они создали нейросеть и использовали получившиеся сэмплы для её обучения. Если грубо: давали образец речи с шумами, образец чистой речи без шумов и предлагали убрать лишнее.

И повторяли процедуру множество раз, пока нейросеть не научилась эффективно распознавать и убирать шумы.

Идея

Давит Багдасарян родился и вырос в Армении, а также получил степень магистра в области компьютерных наук в Ереванском государственном университете.

Со студенческих лет он работал в местных аутсорс-компаниях, которые создавали ИТ-продукты для зарубежных клиентов — в том числе из США.

Одним из таких заказчиков была компания Validity Sensors, которая выпускала сканеры отпечатков пальцев для ноутбуков и смартфонов. В 2008 году руководство предложило Багдасаряну переехать в США и возглавить департамент информационной безопасности.

Он проработал в Validity Sensors четыре года, а затем ушёл в стартап Nok Nok Labs, который открыл один из его бывших руководителей. Компания занималась решениями в сфере безопасности, и Багдасарян отвечал за разработку протокола FIDO (Fast IDentity Online), который потом стали использовать Google, Facebook, GitHub, Microsoft и другие компании.

Давит Багдасарян

Со временем он заскучал и решил сменить сферу. В 2016 году устроился в компанию Twilio, которая разрабатывает API для корпоративных коммуникаций.

С помощью ПО Twilio компании могут принимать и совершать звонки, а также отправлять и принимать SMS. Например, Uber использует Twilio для звонков между пассажирами и водителями.

«Мы постоянно ломали голову — как улучшить качество аудио. Чаще всего звук ухудшался именно из-за шума на заднем плане», — вспоминает Багдасарян.

Мне тогда казалось: «Окей, это классическая проблема, которую может решить машинное обучение».

Нужно научить нейросеть, что есть шум, а что — человеческий голос, и разделить их. Мне было любопытно — почему никто ещё не решил её.

Давит Багдасарян

У предпринимателя была и личная причина взяться за проблему. Какое-то время он работал удалённо, находясь в Армении. Из-за разницы во времени ему приходилось коммуницировать с командой по вечерам, и он не знал, где его застанет очередной звонок: в гостях с шумными детьми, в кафе или где-то ещё.

«И я подумал, что было бы круто иметь под рукой сервис, который скрывал бы окружение, чтобы другие участники беседы не могли понять, где ты находишься», — вспоминает Багдасарян.

В конце 2016 года Багдасарян рассказал об этой идее своему приятелю, доктору математических наук Артавазду Минасяну. К тому времени у него уже было несколько компаний в ИТ-сфере. Кроме того, он как раз искал интересные проекты в сфере машинного обучения.

Минасян начал изучать, как можно реализовать идею, и привлёк знакомого математика Степана Саргсяна (сейчас он главный научный сотрудник 2Hz).

Осенью 2017 года Багдасарян окончательно решил уволиться из Twilio и переехать всей семьёй в Армению. Через несколько недель после возвращения они вместе с Минасяном открыли 2Hz.

Трудности разработки

Первые несколько месяцев партнёры посвятили разработке технологии шумоподавления (приложение Krisp появилось только спустя полгода) и для этого подобрали команду исследователей.

«Среди наших сотрудников было шесть докторов наук. И так получилось, что я оказался единственным членом команды без докторской степени», — вспоминает Багдасарян.

Компании требовалось разработать эффективные алгоритмы, которые могли бы в режиме реального времени вырезать посторонние звуки из аудио. Для этого им пришлось решить ряд инженерных задач.

При естественном разговоре задержка между передачей речи не должна превышать 200 миллисекунд. Если нейросеть не успеет обработать аудио за это время, общение станет проблематичным.

Например, абонент Б услышит первую фразу собеседника и ответит на неё в тот момент, когда абонент А будет произносить уже вторую или третью — они запутаются.

На задержку влияют три фактора — скорость интернет-соединения, скорость вычислений нейросети и скорость вычислений аудиокодеков.

Для работы современных кодеков нужно от 5 до 80 миллисекунд. На скорость интернет-соединения пользователей разработчики повлиять не могли.

Соответственно, им требовалось оптимизировать скорость работы нейросети. А она также зависела от трёх факторов.

  • Вычислительной мощности платформы пользователя — нейросеть не должна быть слишком «прожорливой».
  • Архитектуры нейросети — чем эффективнее шумоподавление, тем больше операций и расчётов необходимо выполнить.
  • Частоты дискретизации аудиосигнала. Это качество звука. Например, частота дискретизации при телефонной связи — 8 кГц, а в большинстве VoIP-приложений — 16 кГц. Чем выше этот параметр, тем больше времени и ресурсов необходимо для работы нейросети.

Команде 2Hz потребовалось несколько месяцев на поиск оптимального сочетания между качеством шумоподавления и быстродействием.

Мы тогда сами не совсем отчётливо понимали, во что ввязываемся.

У нас тогда не было экспертов в команде, только математики. Но с другой стороны, если бы мы знали, что нас ждёт впереди, то могли бы испугаться и сдаться.

Давит Багдасарян

В итоге они разработали технологию, которая позволяет не только убирать шумы, но улучшать качество звука: автоматически заполнять прерывания, регулировать громкость и увеличивать частоту дискретизации. Все вычисления происходят за 15 миллисекунд.

При этом, согласно спецификации, для вычислений в реальном времени минимальная частота процессора должна быть больше 200 МГц.

Тактовая частота процессоров, которые используются в современных смартфонах, гораздо выше. У Qualcomm 845 (применяется в Google Pixel 3, Samsung Galaxy Note 9, Xiaomi Mi Mix3) по четыре ядра с частотой 2,8 ГГц и 1,8 ГГц.

Акселератор и инвестиции

Багдасарян думал, что как только команда разработает алгоритм — к 2Hz выстроится очередь из клиентов, желающих приобрести технологию.

Однако этого не произошло. «Сейчас я понимаю, что это был очень наивный взгляд на бизнес», — рассуждает предприниматель. Один знакомый посоветовал Багдасаряну пройти программу акселерации, чтобы узнать о потребностях бизнеса.

Он сказал: «Вы что, действительно хотите вести бизнес из гаража, даже не зная, что действительно нужно миру? Почему бы не выйти и не изучить его?».

Это был довольно простой вопрос, но у нас действительно не было ответа на вопросы: «А что на самом деле хочет мир? Какой продукт ему нужен?».

Давит Багдасарян

У Багдасаряна остались контакты людей из Кремниевой долины, и они познакомили его с представителями акселератора из Беркли SkyDeck, который инвестирует в исследовательские компании.

SkyDeck одобрил заявку 2Hz и сделал посевные инвестиции в размере $100 тысяч. Кроме того, предприниматели привлекли ещё около $400 тысяч от двух фондов из Армении (Granatus Ventures и SmartGateVC) и американского фонда HIVE Ventures, который инвестирует в стартапы с армянскими корнями.

Первоначально Багдасарян планировал продавать лицензии на технологию удаления нежелательных звуков производителям техники (например, смартфонов или гарнитур), автомобилей (для улучшения аудиосистем), телекоммуникационным операторам (для улучшения качества связи), call-центрам и разработчикам стриминговых сервисов.

Некоторые эксперты акселератора знакомили предпринимателей с представителями компаний, которых могла заинтересовать их технология.

Однако переговоры шли «крайне медленно» — они уже использовали технологии шумоподавления (пусть и менее совершенные) и не видели смысла что-то менять.

Но Багдасарян замечал, что люди приходят в восторг, когда он показывает им примеры работы алгоритмов. Тогда у команды 2Hz возникла идея — разработать продукт для обычных потребителей, с его помощью рассказать о технологии и привлечь enterprise-клиентов.

В апреле 2018 года 2Hz стала разрабатывать приложение Krisp. И хотя в то время компании не удалось заинтересовать крупных клиентов, на продукт обратили внимание американские инвесторы.

Увидев работу технологии на практике, они оценили её перспективы и вложили в компанию $1,5 млн. В посевном раунде, который состоялся летом 2018 года, приняли участие два крупных фонда — Sierra Ventures и Shanda Group.

Команда 2Hz

Продвижение и популярность

Компания представила Krisp в октябре 2018 года. В конце месяца Багдасарян опубликовал статью о продукте и технологии в блоге для разработчиков компании Nvidia.

По словам предпринимателя, материалом поделились более тысячи пользователей в социальных сетях, что стоило ему бессонной ночи: он до утра отвечал на сообщения с вопросами.

Ночью 16 ноября один из пользователей опубликовал ссылку на Krisp в сообществе Hacker News, а утром неизвестный анонсировал продукт на платформе Product Hunt.

Это не входило в планы 2Hz — у команды не было необходимых маркетинговых материалов, и Багдасарян попытался связаться с администрацией сервиса, чтобы она удалила упоминание Krisp.

Однако когда представитель администрации наконец-то вышел на связь, Krisp уже имел все шансы стать продуктом дня — и предприниматель решил оставить всё как есть.

Впоследствии Krisp занял первое место в номинации «Продукт дня», третье место в номинации «Продукт недели» и четвёртое в номинации «Продукт месяца», а также первое место в номинации «Продукт года» в категории «Звук и аудио».

Krisp стал лучшим маркетинговым средством для нашей технологии.

Не проходит и дня, чтобы какая-нибудь крупная компания не прислала нам письмо вроде: «Привет! Сколько будет стоить интеграция вашей технологии в наш бизнес?».

Давит Багдасарян

По словам Багдасаряна, сейчас у версии для Mac около 20 тысяч установок и около 6000 активных пользователей в неделю (активными считаются те, кто хотя бы раз в неделю воспользуется приложением).

В ближайшее время 2Hz планирует выпустить версию Krisp для Windows, что увеличит целевую аудиторию приложения во много раз, рассуждает предприниматель.

Например, компания планирует таргетировать продукт на геймеров, которые часто создают групповые чаты на несколько десятков человек на платформе Discord и в других VoIP-сервисах

«Технология шумоподавления Discord не справляется с такими ситуациями, когда участники звонка находятся в шумном окружении. Поэтому наш продукт может привлечь геймеров», — рассказывает Багдасарян.

В будущем компания планирует ввести монетизацию сервиса, однако пока Багдасарян затрудняется ответить на вопрос о конкретной модели и тарифах.

Кроме того, сейчас 2Hz ведёт переговоры с крупными enterprise-клиентами о лицензировании технологии шумоподавления — как и планировалось изначально. Пока у компании нет платящих клиентов, но она «близка к первой выручке».

Мы развиваемся на венчурные инвестиции. Это типичный сценарий для ИТ-компании: нужно время и ресурсы, чтобы закончить создание технологии.

Но когда всё готово, выручка растёт очень быстро.

Давит Багдасарян

В будущем 2Hz планирует выйти на рынок сервисов для улучшения качества видео.

{ "author_name": "Никита Евдокимов", "author_type": "editor", "tags": [], "comments": 151, "likes": 238, "favorites": 157, "is_advertisement": false, "subsite_label": "services", "id": 56580, "is_wide": false, "is_ugc": false, "date": "Tue, 29 Jan 2019 10:31:03 +0300" }
{ "id": 56580, "author_id": 61917, "diff_limit": 1000, "urls": {"diff":"\/comments\/56580\/get","add":"\/comments\/56580\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/56580"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 200396, "possessions": [] }

151 комментарий 151 комм.

Популярные

По порядку

Написать комментарий...
45

Просто армян бесит, что чтобы позвонить надо отходить от мангала. Вот они и шум шашлычка и придумали как убрать.

Ответить
70

Вы угадали :)
Только что наш QA инженер протестировал Krisp со звуком мангала - идальный звук вышел

Ответить
11

Идеальный звук мангала?:)

Ответить
3

Но запах шашлыка передаётся?

Ответить
1

Это отличная идея для стартапа

Ответить
0

Идея давно уже будоражит умы.
Были даже экспериментальные штуковина, которые синтезировали запахи. Но это очень сложная химия
https://ru.m.wikipedia.org/wiki/Технологии_передачи_запаха

Ответить
0

А можно ли упростить, сделав только запахи разных видов шашлыка?

Ответить
0

Конечно

Ответить
5

ну и стереотип про армян :Д

Ответить
0

Мангал на реактивной тяге

Ответить
0

Всегда было интересно, а с кем русские ассоциируются у армян, грузин, белорусов, украинцев и тд, какие про нас стереотипы?

Ответить
0

Большинство казахов называет русских казахстанцев «белоушками», а не казахстанцев — оккупантами и колонизаторами.

Ответить
–3

Завидуй молча, мусульманин несчастный😂
Вам то еще далеко до прогресса....

Ответить
0

Впервые встречаю армянина-альбиноса. Почему альбинос? Потому что чувства юмора нет. ))

Ответить
42

Багдасарян здорового человека

Ответить
36

@ конфколл с заказчиком
@ система фильтрует твой голос, потому что он слишком детский

Ответить
16

Капец! Вот круто! Такую бы технологию, да в музыку, звукорежжиссёрам, когда нужно фильтровать звуки/сэмплы, а эквалайзинг по итогу портит звук.

Ответить
25

В музыку можно внедрить обратный эффект - полное "отрезание" голоса. При этом еще перед отрезанием распознать в текст и выдавать на экран. Результат - караоке из любого трэка. Думаю эти ребята и такое сделают, если захотят.

Ответить
4

Лучше просто сделать нейросетевые крутилки типа "примешать соула", "сделать звук более агрессивным"

Ответить
2

Так бОльшая часть звукорежжисёров останется без работы.

Можно вообще всю индустрию заменить. Представляете, больше никакого Тимати.

Ответить
10

Ну вот... Сначала таксистов роботы заменили, теперь вот реперов на помойку выбрасывают.
Так и до политиков дойти может...

Ответить
0

Не идеально, но уже очень хорошо! Правда не голос вырезан а музыка, но когда будет хорошо сделано вырезание музыки легко можно сделать обучающую базу треков и для вырезания голоса. Так что эти два варианта - вырезать голос или музыку, всегда будут примерно на одном уровне.

Ответить
0

полное "отрезание" голоса

уже сделали, данная идея не новая и ее уже реализовали

Ответить
0

А есть у Вас ссылки на демо записи или информацию?

Ответить
4

скорее Олег возьмет в свой облачный колл-центр

Ответить
1

Лол. Эта "технология" давно уже есть. Это обычный "денойзер", существует хер знает сколько лет уже. Подобных плагинов хоть жопой жуй. Принцип точно такой же, закидываешь сэмпл шума, и вычитаешь из дорожки. Чуваки тупо подсмотрели мамонтовую технологию у гиков и выдают в массы. Впрочем в стартапах так всегда и было.

Ответить
15

для удалёнщиков очень полезный продукт. Тяжело работать и общаться в конференс-колле, когда у кого-то на заднем плане плачет ребёнок, а у другого сосед занимается ремонтом

Ответить
14

или кот мяукает тк думает, что звонят ему)

Ответить
–13

"С помощью нейросетей Krisp определяет раздражающие шумы (вроде плача ребёнка или шуршания бумаги)"

Шуршания бумаги??? ЧТО??? да это один из самых успокаивающих звуков!!! Я БЛЯТЬ ТОЧНО ЗНАЮ! Я ПРОВЕРЯЛ!!!! Как же сука всё бесит!!!!

Ответить
36

Нужна нейросеть для фильтрации убогих шуток на vc.

Ответить
3

Наоборот, при разговоре с абонентом "жена" должны добавляться звуки наковальни и стоны работяг.

Ответить
5

Надеюсь, вы имели в виду, что стоны работяг должны раздаваться не со стороны жены?

Ответить
0

Песнь рабов на галере

Ответить
0

чё никогда не было такого что ты пошутил и не смешно, да? супер шутник прямо с детства?

Ответить
0

Для фильтрации пересчета долларовых купюр

Ответить
0

А чего ты тогда нервный такой?

Ответить
2

бумага кончилась

Ответить
14

Это крутой продукт. Использую уже пару месяцев

Ответить
4

Жену вырезает из разговора?

Ответить
18

Любовницу)

Ответить
4

Слишком много технических деталей! Просто сделайте версию под Андроид и скажите куда платить!

Ответить
16

C мобильными устройствами не все так просто.
Мы создаем виртуальный микрофон или speaker. Для десктопа это возможно без сверхусилий.
Чтобы поставить на телефон Krisp нужно иметь доступ который может дать лишь производитель (вшить krisp по дефолту в OS ).Гиганты рынка не разрешают просто взять и создать прокси микрофон/speaker.
Сейчас общаемся с производителями, как только решим, сразу же анонсируем.
Спасибо за поддержку :)

Ответить
0

Ждём скорее под Винду, чтобы затестить

Ответить
5

Через несколько недель будет версия под windows.
Можете написать мне на почту aram@2hz.ai я вам пришлю инвайт

Ответить
1

Ждём, пока вас купят Эппл или Самсунг. И внедрят к себе в очередной флагман. Крутой продукт. Молодца

Ответить
1

Арам, с Microsoft не общаетесь еще? Отличное дополнение было бы для Teams - они недавно там сделали background blur для видео звонков, как раз в кассу было бы и со звуком порешать!

Ответить
0

Знаю про blur, практически со всеми мировыми игроками сейчас общаемся. Teams классный.
Кстати Krisp можно использовать с любым софтом для VOIP звонков.

Ответить
1

"Это типичный сценарий для ИТ-компании: нужно время и ресурсы, чтобы закончить создание технологии. Но когда всё готово, выручка растёт очень быстро."
У некоторых из уцелевших 8% подобных "ИТ-компаний" только надо добавить.
Для точности, мы ж про ИТ пишем-говорим.

Ответить
9

Вот это Проект! Круто!

Ответить
6

Спасибо Павел!
Активно слежу за вашими статьями на vc.ru и фб. В курсе того что с доменами происходит благодаря этому)

Ответить
8

Спасибо!) Уверен вы ещё знаете песни моего отца Анатолия Днепрова) Песня «Армения Моя» например)

Ответить
5

Наизусть знаю)
И не только эту песню)
Приглашаю в круг, Радовать)
Все детство, все праздники под них проводили, и проводим. Старшее поколение особенно любит)
спасибо что напомнили, ностальгия нахлынула, пойду послушаю)

Ответить
8

Кстати, набирают разработчиков с переездом в Ереван.

Ответить
2

да, классная штука, если она сможет фильтровать и доставлять собеседнику только мой голос, а не весь тот ад что может твориться кругом.

Ответить
21

Девочки-студентки, которые мамам говорят, что ложатся спать, а сами на вписке или в ночном клубе, вполне оценят такой сервис.

Ответить
1

да-да, там в примерах есть :))

Ответить
0

пробивает конечно маленько, но настолько несущественно, что для скайпа, игнорировать домашний шум, хватит за глаза.
жаль для винды пока нет, но хоть на мак воткну, потестирую.

Ответить
0

Я наверно щас америку открою, но айфон (да и другие норм смартфоны) уже как 100 лет применяют шумоподавление по доп. микрофону и все эти шумы прекрасно вырезаются без всяких модных стартапов. Попробуйте.

Ответить
5

А потом открутят рекламу по теме разговора

Ответить
5

Это приложение - спаситель для тех людей, кто работает удаленно, очень часто, я во время звонков с клиентам из ресторана мечтала о таком продукте!!!

Но такое может понадобиться не только в работе, но даже при таких обстоятельствах, когда не хочешь сказать другу где ты :D

Ответить
3

Недавно читал статью, где рассказывалось, что What a Wonderful World Армстронга записывали всю ночь, потому что то поезд гудел, то рабочие что-то строили. Вот где эта технология бы пригодилась.

Ответить
2

Такая штука бы отчасти убила грув. А грув очень важен.

Ответить
2

Ой, мифические понятия эти - грув, вайб. Они либо есть, либо нет.

Ответить
1

Звук после неё не тёплый!

Ответить
2

Такая технология не подойдет для этого - само качество звука ухудшается при такой обработке и это хорошо заметно.
Но для голоса по телефону/мессенджеру подходит.

Ответить
3

Главный вопрос — где взяли столько датасетов для голоса. Прям очень интересно, потому что "записали датасеты в студии" звучит не очень реалистично :)

Ответить
4

1.Сами записывали
2. voice recording datasets( LibriSpeech, TIMIT)
3. Секретный ингредиент ( об этом не могу рассказать )

Ответить
0

Спасибо за ответ. Еще вопрос — ваша нейросеть language-agnostic, или она работает лучше/хуже с определенными языками?

Ответить
1

В том-то и дело. Мы не работаем с речью.Krisp убирает шумы, а они не привязаны к языку.

Ответить
1

is able to perform Packet Loss Concealment (predicting lost network packets) for audio and fill out missing voice chunks by eliminating "chopping" in voice calls.

Вопрос возник из-за этого :) То есть вы эти гэпы заполняете, но безотносительно языка. Любопытно, спасибо!

Ответить
0

3) купили датасеты у VOIP-компаний, мессенджерах/вредоносного ПО))

Ответить
0

Проблема же в разметке

Ответить
0

Вот это хороший продукт. Ничего сложного в реализации - а какой полезный эффект. Молодцы.

Ответить
8

Если капнуть в технологию, то сложностей много.
Такого качества для VOIP в шумоизоляции нет ни у кого сейчас на рынке.
Если бы можно было быстро сделать такой алгоритм, то крупнейшие корпорации уже сделали и вшили бы в свой софт такой продукт.
Но пока это не произошло, а крупнейшие бренды сами обращаются к нам за технологией.

Ответить
4

Сделать технологию такого качества как она сейчас - безусловно задача, но это тоже понятная инженерная. То есть таки сели и сделали.
Ну, а вообще почти уверен, что здесь при разработке работает Паррето.
Вы отшлифовали оставшиеся 20% качества - и поэтому вы лучшие.
Да и вообще проще купить, чем делать, если ты большая контора. Если хочешь покушать, то не надо строить ресторан :)

Ответить
1

А зачем там нужна нейросеть, в чем преимущество ?

Отделить человеческий голос от шума, не было трудно и раньше. Проблема всех Skype, Slack и других VoIP-сервисов в потере пакетов, тайминги и компрессии звука.

Ответить
3

Сам себе отвечу, если в основе лежит нелинейная оптимизация звуковых частот, с использованием кластеризации звуковых волн для фильтрации, то 15мс очень хороший результат... но вопрос теперь другой, отправляет ли новые данные это приложение себе в big data

Ответить
8

Нет, весь процессинг происходит на девайсе. Мы не отправляем данные.

Ответить
1

Как теперь доказывать, что Ты реально в метро и опаздываешь, а не только проснулся.

Ответить
3

Отключить Krisp ?

Ответить
6

Включить имитатор метро

Ответить
1

Так дойдём до имитатора офиса, шума офисного.
Да и вообще, до имитатора работы. Как в армии

Ответить
1

Помнится, такие имитаторы офисного шума я ставил ещё на свою Nokia N72 на Symbian 8.1

Ответить
2

Мы в данный момент работаем над приложением которое, наоборот, добавляет фоновые звуки. Одновременно с этим удаляя лишние шумы.
Можно сказать, что ты в ресторане, с плачущим ребёнком, на совещании, играешь в футбол и т д

Ответить
1

Пользовался такой прогой ещё на Symbian году так в 2005. Плач ребёнка, аэропорт, шумная улица. Было здорово.

Ответить
0

Интересно. А когда планируете выпустить?

Ответить
2

Молодцы, круто

Ответить
2

MOLODTSI REBYATA VI NACHA GORDOSTS PUSTS VES MIR UZNAET KAKIE UMNIE I TALANTLIVIE NACHI ARMYANSKIE MOLODIE MATEMATIKI

Ответить
1

кароче переизобрели то, что и так давно было (и наверняка работало даже лучше) и добавили слово "нейросеть" для лучших продаж инвесторам.
"У нас тогда не было экспертов в команде, только математики." это 5 конечно.

Ответить
0

я вас удивлю, в жопу экспертов, математиков достаточно.

Ответить
1

просто в интернете есть шутка на схожую тему, которая звучит примерно как "стартап по bigdata ищет репетитора по математике". я о том, что прежде чем заниматься чем-то, что на слуху - необходимо обрести компетенцию в этом, а иначе это всё игры в стартаперов какие-то получаются. качество продукта на выходе тоже спрогнозировать не трудно в этом случаи

Ответить
0

согласен, именно поэтому я поставил продукт о котором речь в статье, и он оказался исключительным дерьмом, видимо действительно одних только математиков недостаточно )

Ответить
1

буквально вчера смотрел такой же проект,
https://people.xiph.org/~jm/demo/rnnoise/

Ответить
1

Спасибо что не кофейня или инфоцыгане, а реально нужный стартап.

Ответить
1

Обожаю такие статьи.
Круто! Молодцы!

Ответить
1

крутой апп. поставил, буду пользоваться, посмотрим. у меня постоянно конфы и нойз.

Ответить
0

Буду рад фидбеку, можете на сайте krisp.ai в интеркоме его оставить, или лично мне на почту aram@2hz.ai
Особенно буду ценно узнать над чем стоит поработать.

Ответить
0

поюзал пару дней, но люди жалуются на эхо.
когда меняю мик на обычный, все ок.
может из-за доп задержки не работает эхоподавление видео-приложения. just a guess.

Ответить
0

Напишите пожалуйста детально что за устройство, через какой софт созванились.
Можно на почту aram@2hz.ai

Ответить
1

Вечером поставлю и на созвоне с коллегами как раз попробую -)

Ответить
0

поделитесь фидбеком потом )
можете на почту написать aram@2hz.ai или в телеграм @aramius

Ответить
1

Если будет нормально работать на WIN, просто добавите на сайте кнопку КУПИТЬ я уже готов.

Ответить
0

Как только выйдем из беты, так сразу)
Присылайте почту aram@2hz.ai я организую вам подписку Krisp на 6 месяцев :)

Ответить
1

Полезная штука. Ещё нужно наоборот - добавлять всякие звуки в разговор. Обсуждаешь, например, неприятную тему и тут бац "аппарат абонента выключен" или шипение какое-нибудь

Ответить
1

Буду краток, я попробовал, оно работает ужасно.

Ответить
1

Т.е. теперь можно рыгать, пердеть и причмокивать в микрофон на деловых переговорах, вообще не думая об уважении к собеседнику, в твёрдой уверенности что технологии шагнули и всё сделали? Отлично! Буду использовать. А, не, не буду. Я ещё пока в состоянии контролировать окружающий шум при звонке своими силами и совестью.

Ответить
0

да ты герой
> своими силами и совестью

лол поражаюсь иногда бредовости коментов.

это типа... эй вы все.. а ну заткнулись! официант - вырубил кофе-машину!! я звоню!!11

тока не знаю это вариант силы или совести лол

Ответить
0

Всех волнуют жены-любовницы-коты-ремонт.
Это же удобно криминалу! Вот что плохо...

Ответить
0

Я, конечно, извиняюсь, но абсолютно аналогичный и рабочий кейс рассмотрен в широко известном курсе Machine Learning от Stanford University, а вышел он в 2011 году.

Ответить
1

Компания Термос не изобретала термос, но именно так мы теперь называем этот продукт.
Не важно кто изобрёл - важно кто внедрил.

Ответить
0

Дайте ссылочку?

Ответить
2

1.То о чем вы пишете,это немного другая проблема
Подробнее о ней: https://en.wikipedia.org/wiki/Blind_signal_separation

2.Мы же решаем вот эту проблему
https://en.wikipedia.org/wiki/Noise_reduction

Но мы планируем так же работать над Сocktail party problem.

Ответить
0

Теперь ждём появление App с фильтрами голосов, например, чтобы можно было разговаривать голосом звёзд, политиков и прочих уважаемых личностей.

Ответить
1

Это уже года три как существует. Только не сервис, а технология

Ответить
0

Зачем?

Ответить
1

Потому что это весело, а то что весело пользуется спросом.
Тема хорошо бы зашла в мессенджерах, для использования в коротких голосовых сообщениях

Ответить
0

Арам, а инвайт под Windows можно получить у Вас?

Ответить
1

конечно, пишите на почту aram@2hz.ai
Занесу в рассылку.

Отдельно в принципе следите за рассылкой. Февраль-март будет windows

Ответить
0

Неплохо, неплохо. Особенно, когда с женой разговариваешь а на заднем фоне женские голоса :)

Ответить
0

Так голоса как раз не должны отрезать. Они отрезают шумы, звуки.

Ответить
0

Повод для доработки, не правда ли? :) чтобы слышно было только голос звонящего.

Ответить
1

Скоро появится фича такая.
Заводишь свой голос как template в алгоритм. Он распознает его и автоматически мьютит все кроме твоего голоса

Ответить
0

а если во время разговора собеседник меняется? допустим ты разговаривал с дядей, а тут он твою мать позвал? ;)

Ответить
0

Для звукорежиссеров идея не нова. В обработке музыки используются фильтры отсечения звука. Например: gate, eq, shaper. Но в сфере музыки очень важно не убить полезный сигнал. И я не помню программы, которая бы сделала это адекватно. Только уши звукача. Ибо найти золотую середину для конкретного трека очень сложно. Найти и не убить все дыхание трека.
Вообще разработка у ребят интересная. Ждем конкретных плагинов для Сиквенсеров. Будем тестить.

Ответить
0

Это немного разные рынки.В музыкальной индустрии уже есть много игроков, которые довольно хорошо работают.
У нас в первую очередь история про VOIP и про шумоизоляцию онлайн во время разговора.

Ответить

0

А в звонках через телеграм его не получится использовать?

Ответить
0

В телеграм можно вшить вообще что угодно. Это же open source.

Ответить
0

Не, это понятно, я про то как использовать krisp со стандартным клиентом? В телеграме нет настроек микрофона и динамиков. Я так понимаю, что нельзя выставить krisp в настройках звука мака, только в настройках приложения?

Ответить
0

клиентом на mac os?
Не нужно ничего ставить, переключаете в настройках устройство вывода - krisp speaker.

Ответить
0

Так не получается) Ругается krisp и говорит, что Krisp can't be selected here

Ответить
0

Напишите мне пожалуйста на почту aram@2hz.ai или в телеграм @aramius
Завтра помогу разобраться.

Ответить
0

Если грубо: давали образец речи с шумами, образец чистой речи без шумов и предлагали убрать лишнее.

А если не грубо? Это GAN?

Ответить
0

Это прекрасно!!!

Ответить
0

Круто. Здорово. Спасибо.
Ответ на боль.
Установили за минуту. Тут же протестировали. Восторг.

Ответить
0

А что насчёт AEC (эходав)? И как система работает при включённых внешних динамиках в дуплексном режиме, когда оба собеседника говорят одновременно?

Ответить
0

скоро и это будет, работаем над этим

Ответить
0

Отлично! Был бы рад протестировать то, что получится.

Ответить
0

хреноватенько с AEC.
я выше писал, при использовании крисп собеседник начинает слышать эхо от меня.

Ответить
0

Ну раз разработчик говорит, что АЕС ещё не реализован - это нормально. Боюсь, что эта реализация займёт много времени, хотя сделать это нужно обязательно, если хочется не только в телефонах работать.

Ответить
0

По-моему парни придумали шумоподавление:)
У моего телефона 2 микрофона: один для голоса, другой для окружающего шума. И шум вырезается автоматически.

С нейронной сетью может быть проблема: она может вырезать то, что не является шумом. Ну например, что если я захочу поплакать как ребенок в трубку?:)
Сеть вероятно это вырежет, а шумоподавление моего телефона - нет, так как этот самый плач попадет в микрофон для голоса и телефон оставит это.

Молодцы, что делают стартап, но хрен знает как это применить в шумоподавлении в звонках.

Ответить
0

Шумоподавление в телефонах не работает если буквально на пару сантиметров отодвинуть микрофон.
Именно с этой проблемой мы и столкнулись и решили решить её.
На айфонах попробуйте поговорить по громкой связи - шумоподавления уже не будет.
Нужно плотно держать микрофон ко рту.

И это только для телефонов, а для desktop приложений вообще нет ничего подобного.
Мы протестировали krisp с telegram. Создали свой клиент и на мобильных устройствах протестили звонки через телеграм но с нашей технологией - разница ощутима.
Надеюсь в скором времени сможем в открытую бету запустить приложение.

Но пока можете протестировать версию для MacOS, и с марта будет windows

Ответить
0

Ара, шум, уходи да, по братски!

Ответить
0

на ВиСи появилась цензура в комментах?) где мой очень остроумный комментарий?)) почему стерли?

Ответить
0

То, что мне нужно всегда

Ответить
0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Голосовой помощник выкупил
компанию-создателя
Подписаться на push-уведомления
{ "page_type": "default" }