Пару лет назад для одного проекта также пытались собрать список всех существуюих доменов. По каким-то зонам все есть в открытом виде, а по каким-то такой информации нет в принципе. В итоге плюнули и за $4 купили актуальный список доменов, который уже собрали другие ребята - https://domains-monitor.com/

Если интересуют русскоязычные домены, см. https://letsearch.ru/

Бесплатное обновление новых доменов каждый день
https://t.me/datalavka_domains