К, примеру, на достаточно древнем и простом Pikabu алгоритм оценки уникального контента работает уже давно:
"Несколько лет назад мы ввели систему автоматического определения дублей: мы анализируем картинки и текст, чтобы люди не публиковали одно и то же. Это в несколько раз уменьшило количество присылаемого контента и сильно повысило его качество. "…