И у меня это было с той же CRM, обязанностями и совсем без опыта. 
Нашел 21 подрядчика, вместе с рекламным отделом составили таблицу со столбцами:
Подрядчик
-Сайт
-Контакты
-Стоимость от
-Стоимость часа
-Срок от (дней)
-Кол-во реализованных проектов
-Коммерческое предложение
-Комментарии
-Ответ на бриф
-Резюме
-Основные криитерии оценки подрядчика

Прошлись по всем в несколько этапов и сложно выбирали из 3 финалистов.
Выбрали, довольны всем, развиваемся, коробка имеет отличный потенциал.

Но чтобы с подрядчиками вдолгую играть, нужно договорится о времени реакции и регулярных созвонах.
При отборе больше разговаривать и глубже копать по каждой из задач в плане реализации, чтобы перед выбором, чтобы для себя понять что у них там внутри.
Нарывались до этого, когда компания - золотой партнер дает тебе команду со стажерами.

В этом деле в штат просто необходим техлид со скиллами по выбранному продукту.
Если нет, то тогда лучше заплатить эксперту, чтобы он помог вам с выбором.