К счастью, в Kafka есть семантика Exacly-Once, которая гарантирует, что от поставщика не будут приняты сообщения с одинаковым идентификатором. Отличный выбор, но … Какой бы умный не был брокер, легко привести сценарий, в котором «глупый» потребитель может повторно считать сообщение. И если сообщение должно приводить к вставке данных, то это, скорее всего, будет проблемой.