Нашел тут в сети вот такой коммент - это дичь конечно если оно так работает:
Техподдержка Яндекса говорит, что если в настройках стоит галка, чтобы на голос реагировало только одно устройство, то сработает то, которое раньше других достучится до сервера. Так что, рекомендую говорить негромко, чтобы слышала только та колонка, которая рядом.