Зависит от контекста, в котором задан вопрос (кем задан, как часто, с какой интонацией, даже). Можно заменить на "не хочу отвечать на этот вопрос", если "это не ваше дело" звучит грубо.