Не флешку, а сертифицированный носитель rutoken или etoken. Если не оставлять пароль (пин) по умолчанию, то никто ей ничего подписать не сможет.

Можно отозвать потерянную ЭЦП, в этом случае риски будут на стороне тех, кто не проверяет отзыв (интересно мнение/практика юристов).