Заполнение robots.txt требует определенных навыков, ведь от содержимого зависит, какие страницы будут попадать в индекс, а какие нет. Поначалу проще создать стандартный файл, запрещающий индексацию служебных каталогов. И по мере изучения статистики из панели вебмастера пополнять его пунктами для удаления из поиска «случайных» ссылок.
Зачем в статье о Joomla robots.txt из WordPress? Для карты сайта лучше использовать JL Sitemap, которая генерирует статический файл карты сайта. Это удобно на сайтах с десятками тысяч статей или магазинах с десятками тысяч товаров. Для сео в Joomla есть плагин сео шаблонов (тайтлы и дескрипшны по маске, формуле) WT SEO Meta templates