Исследовали рынок Python-разработки: оказалось, что интерес к FastApi растет, а в России высокий спрос на Data-инженеров
Python — один из самых популярных языков программирования в мире, а по мнению некоторых компаний он занимает железное топ-1. Так как Python мы активно используется на наших проектах, нам стало интересно, в каких областях он применим, помимо web, и что происходит на рынке ython-разработчиков.
Мы покопались в открытых источниках, и попросили прокомментировать результаты нашего лида Python-направления Альбину Альмухаметову. Поехали!
Для чего разработчики используют Python? И какой фреймворк самый любимый?
Согласно глобальному опросу JetBrains в 2021 году 49% разработчиков используют Python в целях Web-разработки, 45% — для анализа данных, 40% — для машинного обучения. По сравнению с 2020 годом выросло количество разработчиков изучающих Python на 2%.
Данные базируются на основе опроса 31 743 респондентов из 183 стран.
Но интереснее не столько область применения, а сколько фреймворки, которые используют разработчики. И тут до 2021 года между собой бодались исключительно Flask и Django. До тех пор, пока не появился FastAPI — новый модный фреймворк, который появился в далеком 2018 году, но который разработчики распробовали только в 2021 (судя по опросу JetBrains).
FastAPI — относительно новый веб-фреймворк, написанный на языке программирования Python для создания REST (а если сильно постараться то и GraphQL) API, основанный на новых возможностях Python 3.6+, таких как: подсказки типов (type-hints), нативная асинхронность (asyncio). Помимо всего прочего, FastAPI плотно интегрируется с OpenAPI-schema и автоматически генерирует документацию для вашего API посредством Swagger и ReDoc
О любви разработчиков к FastAPI можно судить по опросу Stack Overflow (66 000 респондентов) . Наиболее привлекательным фреймворком для разработчиков в 2021 году стал FastAPI. 70% респондентов заинтересовались им, а вот интерес к Django в 2021 году составил лишь 55%, Flask — 51%.
Думаю, интерес к FastAPI можно легко объяснить его простотой и «фишечками». Фреймворк отвечает большинству хотелок разработчиков и действительно приятен в использовании. Однако, не стоит забывать и про бизнес: его раскачать и перевести на новые технологии так быстро не получится (да и не всегда нужно). Поэтому «старичками» мы будем интересоваться еще достаточно долго.
Кого больше гуглят?
Если покопаться в Google Trends и Яндекс Wordstat, то тоже можно получить интересные корреляции. Например, если изучить мировой спрос на разные Python-фреймворки в Google, то получается, что FastAPI искали в 2022 на 50% чаще по сравнению с 2021 годом, и это единственный фреймворк, который искали чаще.
В Яндекс Wordstat ситуация аналогичная: самый большой рост количества запросов у FastAPI, но при этом больше всего ищут Pandas, Django и NumPy.
А что с рынком вакансий?
Python используется не только для Web-разработки, но и применим для анализа данных и машинного обучения. Но что происходит с рынком вакансий?
Дисклеймер: данные по резюме актуальны на конец марта 2022 года
Мы проанализировали вакансии и резюме на HH. RU и поняли, что среди 4500 вакансий с упоминанием стека Python 42,8% из них относятся к web-разработке, 32,3% к Data Engineering, 24,9% — Data Science. Но спрос на данные вакансии не удовлетворен. Особенно по DE. На 1152 вакансии всего 74 резюме.
Как мы понимали, какая вакансия относится к Web, а какая к DE и DS?
В исследовании мы договорились, что будем считать, что FastAPI, Django и Flask будем относить к Web, Hadoop, Spark — к Data Engineering, а NumPy и Pandas к Data Science. Мы искали каждый фреймворк отдельно в HH, а потом объединяли результаты.
Если брать направление направление Web, то мы видим, что вакансий, где указан фреймворк FastAPI (356), намного меньше чем Django (989) и Flask (627). Это говорит о том, что фреймворк был оценен разработчиками внутри IT, но до компаний разных отраслей он еще не дошел.
Если говорить об удовлетворенности спроса, то самая неудовлетворенная область — это DE, а больше всего спрос удовлетворен в DS.
Здесь так же интересно посмотреть на сами вакансии: в большинстве случаев список задач — сборная солянка из dev и ops работы. Кто-то просит настраивать кластера, кто-то помогать писать код разработчикам, кто-то оптимизировать алгоритмы. Кажется, что если отобрать только «чистые» DE вакансии, цифры вполне могут сравняться.
В целом есть ощущение, что DE как выделенное направление до нас еще просто не дошло. Ну или каждый понимает эту роль по своему.
В США обратная ситуация. Если аппелировать к данным с LinkedIn, то наибольший интерес работодателей направлен на Data Engineering. Это связано с тем, что в США «собирать данные» начали еще в 80-х годах.
Да, популярность Python связана с тем, что он применяется в разны�� сферах: Data Science, Data Engineering, Web. Чтобы эффективно утилизировать Python, необходимо задуматься о других направлениях. Легче всего из Web можно трансформироваться в DE.
Data-инженерам на заметку
Если вы Python-разработчик, которые хочет перейти в Data Engineering, то этот раздел будет полезен для вас. Мы спарсили HH.ru и выгрузили все вакансии по запросам: «Data Engineer», «Python Hadoop», «Python Spark», «Python Airflow», «Tensor Flow», «Python Pytorch», «Python Lua». Связку TensorFlow+Pytorch+Lua мы специально добавили для сравнения.
Проанализировали полученный массив данных и вот что у нас получилось:
Среди 1040 вакансий по запросу «Data Engineer» было обнаружено 179 таких же вакансий по запросу «Python Hadoop», 229 по запросу «Python Spark», 249 — «Python Airflow»; 52 — «Tensor Flow», 70 — «PyTorch»; 5 — «Python Lua».
- Airflow — самый популярный. Tensor flow и Pytorch в Data-инженерии занимает 15,5%.
А вот список компаний, которые требуют от Data-инженера владение сразу четырьмя фреймворками одновременно (Hadoop, Spark, Airflow, TensorFlow/PyTorch) .
Какие отрасли хантят DE специалистов больше всего? IT, Финтех, Телеком:
Не думаю, что стоит бросать все и переучиваться в DE — вряд ли в ближайшее время Web сильно потеряет свою необходимость и будет смещен с рынка. Однако, следить за тенденциями и подстраиваться под текущие реалии никогда не будет лишним.
В целом мы уже взяли вектор на развитие DE экспертизы внутри команды, тем более что технологии этого стека могут использоваться и для наших текущих задач. Например, недавно для одного из наших проектов мы развернули Airflow, т. к. он лучше всего подходил под нашу задачу.
Вместо итогов
Python активно используют не только в WEB, но и в Data Science, и в Data Engineering. Этот тезис подтверждают данные по опросу JetBrains, а также собственный анализ вакансий на HH. ru. Этим и обусловлена популярность Python, т. к. он охватывает сразу несколько направлений.
Python в Web. FastAPI наиболее привлекательный для разработчиков фреймворк в 2021 году (согласно опросу Developer Survey 70% респондентов отметили, что интересуются данным фреймворком) . Согласно запросам в Google и Яндекс в 2021-2022 гг. у FastAPI наибольший темп роста. Но вакансий по данному фреймворку мало. Это говорит о том, что фреймворк был оценен разработчиками внутри IT, но до компаний разных отраслей он еще не дошел.
Data Engineering. Среди 4500 вакансий по Python ⅓ занимают вакансии по DE. Большой спрос на DE среди компаний, но на рынке мало специалистов.
Самые популярные инструменты в вакансиях DE — Airflow, Hadoop, Spark. Airflow — в наибольшей степени.
Также подписывайтесь на наш телеграм-канал «Голос Технократии». Каждое утро мы публикуем новостной дайджест из мира ИТ, а по вечерам делимся интересными и полезными статьями.