Моя нейросеть «ломала» 71% двигателей. Я обвинял дешёвые телефоны вместо тишины

Пет-проект Автоухо — бесплатный сервис, который слушает 15 секунд работы мотора с телефона и говорит, что с ним не так. Публичная бета, за месяц 1066 диагнозов.

В выходные открыл статистику и 71% вердиктов — «поломка», и только 14% — «норма». Либо ко мне приходят исключительно владельцы умирающих моторов, либо модель сошла с ума.

Первая мысль была удобная: виноваты дешёвые телефоны. Микрофоны плохие, запись с артефактами, модель принимает хрипы записи за стук в двигателе. Красивая версия.

Прогнал все 1066 записей через простой анализ звука: громкость, шум, доля тишины и гипотеза развалилась. Тихая запись с iPhone «ломает» двигатель так же охотно, как тихая запись с Tecno за десять тысяч. У Samsung в самом тихом квартиле «поломка» в 83% случаев, в самом громком — в 44%. Марка почти ни при чём. Решает громкость.

Тишину. Буквально.

Типичная запись с вердиктом «поломка» на 9 дБ тише записи с вердиктом «норма», и тишина в ней занимает 43% времени против 1% у «нормы». Пользователи пишут в среднем на 13 децибел тише эталонных записей, а у трети записей тишины больше 70%. И чем больше в записи пустоты, тем увереннее модель хоронит мотор: 56% «поломок» на чистых записях против 81% на пустых.

А телефоны попали под подозрение случайно: владельцы разных телефонов просто по-разному записывают. У медианной записи с Infinix три четверти — тишина, у Apple тишины нет вообще. Почему — загадка. Но выглядело это как «чем бюджетнее вендор, тем больше поломок», и я купился.

В коде классификатора с самого начала была защита, но только от полностью пустого файла. Наполовину пустая запись, а это треть всего потока спокойно проходила фильтр.

То есть человек стоит в шумном дворе, держит телефон в метре от капота, половина записи — фон и паузы. Модель слышит эту пустоту и уверенно ставит диагноз: всё плохо, готовьтесь к капремонту.

Сделали фильтр качества записи. Порог отсекает 29% загрузок с «поломка» в 80% случаев. То есть почти треть наших страшных диагнозов были диагнозами тишине.

Врубать жёсткий отказ сразу не стали: 29% — это пятнадцать человек в день, которые вместо ответа получат «перезапишите». Часть просто уйдёт. Будем мягче: сначала подсказки, как записывать.

Если строите диагностику на готовых аудиоэмбеддингах — прежде чем выяснять, что модель думает о звуке, проверьте, что она думает о его отсутствии. Моя модель месяц уверенно ставила диагнозы тишине. И тишина, по её мнению, была неизлечима.