Что нужно знать, чтобы стать инженером баз данных
Дата-инженеры проектируют инфраструктуру хранения и анализа информации. Для этого требуются определённые знания и навыки:
- Владение Python, потому что на нём пишут алгоритмы обработки данных. В идеале — ещё Java и Scala.
- Работа с SQL-запросами, чтобы извлекать информацию из баз данных.
- Работа с Big Data при помощи специальных инструментов: колоночные базы данных, экосистема Hadoop, Spark и Kafka.
- Организация ETL-процессов: добыча (extract), трансформация (transform) и загрузка (load) информации в базу данных.
- Понимание математических алгоритмов, чтобы общаться с data scientists и предоставлять им нужную информацию.
Чем дата-инженер отличается от data scientist
Дата-инженер имеет дело с архитектурой хранилищ и неупорядоченным набором данных. Data scientist получает информацию от инженеров и анализирует её: находит паттерны, составляет прогнозы и генерирует модели. Эти специалисты всегда работают в связке.
Где работают специалисты по базам данных
Дата-инженеры нужны во всех сферах, которые подразумевают большие объёмы информации: в финтехе, ритейле, телекоме и масштабных онлайн-сервисах.
Например, в e-commerce дата-инженеры собирают информацию о действиях пользователей — просмотрах продуктов, поиске и покупках. Потом на основе этих данных data scientists составляют систему персональных рекомендаций и прогнозируют спрос.
Финтех тоже имеет дело с огромным объёмом данных: транзакции клиентов, информация о счетах, кредиты и кредитные рейтинги. Дата-инженеры в банках создают инструменты для аудита, отслеживают потоки информации и управляют рисками.
Сколько зарабатывают инженеры баз данных
По данным «Яндекс Практикума», в среднем дата-инженеры зарабатывают около 230 000 рублей. Уровень зарплаты зависит от грейда. Джуны могут рассчитывать на 70 000 рублей и больше, а мидлы — на вилку от 150 000 до 200 000 рублей. Сеньоры зарабатывают около 350 000 рублей.