Исследовали рынок Python-разработки: оказалось, что интерес к FastApi растет, а в России высокий спрос на Data-инженеров

Python — один из самых популярных языков программирования в мире, а по мнению некоторых компаний он занимает железное топ-1. Так как Python мы активно используется на наших проектах, нам стало интересно, в каких областях он применим, помимо web, и что происходит на рынке ython-разработчиков.

Мы покопались в открытых источниках, и попросили прокомментировать результаты нашего лида Python-направления Альбину Альмухаметову. Поехали!

Согласно глобальному опросу JetBrains в 2021 году 49% разработчиков используют Python в целях Web-разработки, 45% — для анализа данных, 40% — для машинного обучения. По сравнению с 2020 годом выросло количество разработчиков изучающих Python на 2%.

Данные базируются на основе опроса 31 743 респондентов из 183 стран.

Но интереснее не столько область применения, а сколько фреймворки, которые используют разработчики. И тут до 2021 года между собой бодались исключительно Flask и Django. До тех пор, пока не появился FastAPI — новый модный фреймворк, который появился в далеком 2018 году, но который разработчики распробовали только в 2021 (судя по опросу JetBrains).

О любви разработчиков к FastAPI можно судить по опросу Stack Overflow (66 000 респондентов) . Наиболее привлекательным фреймворком для разработчиков в 2021 году стал FastAPI. 70% респондентов заинтересовались им, а вот интерес к Django в 2021 году составил лишь 55%, Flask — 51%.

Если покопаться в Google Trends и Яндекс Wordstat, то тоже можно получить интересные корреляции. Например, если изучить мировой спрос на разные Python-фреймворки в Google, то получается, что FastAPI искали в 2022 на 50% чаще по сравнению с 2021 годом, и это единственный фреймворк, который искали чаще.

В Яндекс Wordstat ситуация аналогичная: самый большой рост количества запросов у FastAPI, но при этом больше всего ищут Pandas, Django и NumPy.

Python используется не только для Web-разработки, но и применим для анализа данных и машинного обучения. Но что происходит с рынком вакансий?

Дисклеймер: данные по резюме актуальны на конец марта 2022 года

Мы проанализировали вакансии и резюме на HH. RU и поняли, что среди 4500 вакансий с упоминанием стека Python 42,8% из них относятся к web-разработке, 32,3% к Data Engineering, 24,9% — Data Science. Но спрос на данные вакансии не удовлетворен. Особенно по DE. На 1152 вакансии всего 74 резюме.

Как мы понимали, какая вакансия относится к Web, а какая к DE и DS?

В исследовании мы договорились, что будем считать, что FastAPI, Django и Flask будем относить к Web, Hadoop, Spark — к Data Engineering, а NumPy и Pandas к Data Science. Мы искали каждый фреймворк отдельно в HH, а потом объединяли результаты.

Если брать направление направление Web, то мы видим, что вакансий, где указан фреймворк FastAPI (356), намного меньше чем Django (989) и Flask (627). Это говорит о том, что фреймворк был оценен разработчиками внутри IT, но до компаний разных отраслей он еще не дошел.

Если говорить об удовлетворенности спроса, то самая неудовлетворенная область — это DE, а больше всего спрос удовлетворен в DS.

В США обратная ситуация. Если аппелировать к данным с LinkedIn, то наибольший интерес работодателей направлен на Data Engineering. Это связано с тем, что в США «собирать данные» начали еще в 80-х годах.

Да, популярность Python связана с тем, что он применяется в разных сферах: Data Science, Data Engineering, Web. Чтобы эффективно утилизировать Python, необходимо задуматься о других направлениях. Легче всего из Web можно трансформироваться в DE.

Если вы Python-разработчик, которые хочет перейти в Data Engineering, то этот раздел будет полезен для вас. Мы спарсили HH.ru и выгрузили все вакансии по запросам: «Data Engineer», «Python Hadoop», «Python Spark», «Python Airflow», «Tensor Flow», «Python Pytorch», «Python Lua». Связку TensorFlow+Pytorch+Lua мы специально добавили для сравнения.

Проанализировали полученный массив данных и вот что у нас получилось:

• Среди 1040 вакансий по запросу «Data Engineer» было обнаружено 179 таких же вакансий по запросу «Python Hadoop», 229 по запросу «Python Spark», 249 — «Python Airflow»; 52 — «Tensor Flow», 70 — «PyTorch»; 5 — «Python Lua».

• Airflow — самый популярный. Tensor flow и Pytorch в Data-инженерии занимает 15,5%.

А вот список компаний, которые требуют от Data-инженера владение сразу четырьмя фреймворками одновременно (Hadoop, Spark, Airflow, TensorFlow/PyTorch) .

Какие отрасли хантят DE специалистов больше всего? IT, Финтех, Телеком:

Python активно используют не только в WEB, но и в Data Science, и в Data Engineering. Этот тезис подтверждают данные по опросу JetBrains, а также собственный анализ вакансий на HH. ru. Этим и обусловлена популярность Python, т. к. он охватывает сразу несколько направлений.

Python в Web. FastAPI наиболее привлекательный для разработчиков фреймворк в 2021 году (согласно опросу Developer Survey 70% респондентов отметили, что интересуются данным фреймворком) . Согласно запросам в Google и Яндекс в 2021-2022 гг. у FastAPI наибольший темп роста. Но вакансий по данному фреймворку мало. Это говорит о том, что фреймворк был оценен разработчиками внутри IT, но до компаний разных отраслей он еще не дошел.

Data Engineering. Среди 4500 вакансий по Python ⅓ занимают вакансии по DE. Большой спрос на DE среди компаний, но на рынке мало специалистов.

Самые популярные инструменты в вакансиях DE — Airflow, Hadoop, Spark. Airflow — в наибольшей степени.

Также подписывайтесь на наш телеграм-канал «Голос Технократии». Каждое утро мы публикуем новостной дайджест из мира ИТ, а по вечерам делимся интересными и полезными статьями.