При этом весь процесс полностью автоматический, пароли проверяются только в зашифрованном виде и на серверах VK.Т.е. скачивают себе базу паролей и сравнивают с паролями в VK. При этом не нужно хранить у себя пароли в открытом виде

Слитые пароли, конечно, в открытом виде. Прогоняют эти пароли через их алгоритм хэширования с солью, сравшивают хэши с теми, что лежат в базе. Если есть совпадение, пароль скомпрометирован.