Исследовали рынок Python-разработки: оказалось, что интерес к FastApi растет, а в России высокий спрос на Data-инженеров
Python — один из самых популярных языков программирования в мире, а по мнению некоторых компаний он занимает железное топ-1. Так как Python мы активно используется на наших проектах, нам стало интересно, в каких областях он применим, помимо web, и что происходит на рынке ython-разработчиков.
Мы покопались в открытых источниках, и попросили прокомментировать результаты нашего лида Python-направления Альбину Альмухаметову. Поехали!
Для чего разработчики используют Python? И какой фреймворк самый любимый?
Согласно глобальному опросу JetBrains в 2021 году 49% разработчиков используют Python в целях Web-разработки, 45% — для анализа данных, 40% — для машинного обучения. По сравнению с 2020 годом выросло количество разработчиков изучающих Python на 2%.
Данные базируются на основе опроса 31 743 респондентов из 183 стран.
Но интереснее не столько область применения, а сколько фреймворки, которые используют разработчики. И тут до 2021 года между собой бодались исключительно Flask и Django. До тех пор, пока не появился FastAPI — новый модный фреймворк, который появился в далеком 2018 году, но который разработчики распробовали только в 2021 (судя по опросу JetBrains).
О любви разработчиков к FastAPI можно судить по опросу Stack Overflow (66 000 респондентов) . Наиболее привлекательным фреймворком для разработчиков в 2021 году стал FastAPI. 70% респондентов заинтересовались им, а вот интерес к Django в 2021 году составил лишь 55%, Flask — 51%.
Кого больше гуглят?
Если покопаться в Google Trends и Яндекс Wordstat, то тоже можно получить интересные корреляции. Например, если изучить мировой спрос на разные Python-фреймворки в Google, то получается, что FastAPI искали в 2022 на 50% чаще по сравнению с 2021 годом, и это единственный фреймворк, который искали чаще.
В Яндекс Wordstat ситуация аналогичная: самый большой рост количества запросов у FastAPI, но при этом больше всего ищут Pandas, Django и NumPy.
А что с рынком вакансий?
Python используется не только для Web-разработки, но и применим для анализа данных и машинного обучения. Но что происходит с рынком вакансий?
Дисклеймер: данные по резюме актуальны на конец марта 2022 года
Мы проанализировали вакансии и резюме на HH. RU и поняли, что среди 4500 вакансий с упоминанием стека Python 42,8% из них относятся к web-разработке, 32,3% к Data Engineering, 24,9% — Data Science. Но спрос на данные вакансии не удовлетворен. Особенно по DE. На 1152 вакансии всего 74 резюме.
Как мы понимали, какая вакансия относится к Web, а какая к DE и DS?
В исследовании мы договорились, что будем считать, что FastAPI, Django и Flask будем относить к Web, Hadoop, Spark — к Data Engineering, а NumPy и Pandas к Data Science. Мы искали каждый фреймворк отдельно в HH, а потом объединяли результаты.
Если брать направление направление Web, то мы видим, что вакансий, где указан фреймворк FastAPI (356), намного меньше чем Django (989) и Flask (627). Это говорит о том, что фреймворк был оценен разработчиками внутри IT, но до компаний разных отраслей он еще не дошел.
Если говорить об удовлетворенности спроса, то самая неудовлетворенная область — это DE, а больше всего спрос удовлетворен в DS.
В США обратная ситуация. Если аппелировать к данным с LinkedIn, то наибольший интерес работодателей направлен на Data Engineering. Это связано с тем, что в США «собирать данные» начали еще в 80-х годах.
Да, популярность Python связана с тем, что он применяется в разных сферах: Data Science, Data Engineering, Web. Чтобы эффективно утилизировать Python, необходимо задуматься о других направлениях. Легче всего из Web можно трансформироваться в DE.
Data-инженерам на заметку
Если вы Python-разработчик, которые хочет перейти в Data Engineering, то этот раздел будет полезен для вас. Мы спарсили HH.ru и выгрузили все вакансии по запросам: «Data Engineer», «Python Hadoop», «Python Spark», «Python Airflow», «Tensor Flow», «Python Pytorch», «Python Lua». Связку TensorFlow+Pytorch+Lua мы специально добавили для сравнения.
Проанализировали полученный массив данных и вот что у нас получилось:
Среди 1040 вакансий по запросу «Data Engineer» было обнаружено 179 таких же вакансий по запросу «Python Hadoop», 229 по запросу «Python Spark», 249 — «Python Airflow»; 52 — «Tensor Flow», 70 — «PyTorch»; 5 — «Python Lua».
- Airflow — самый популярный. Tensor flow и Pytorch в Data-инженерии занимает 15,5%.
А вот список компаний, которые требуют от Data-инженера владение сразу четырьмя фреймворками одновременно (Hadoop, Spark, Airflow, TensorFlow/PyTorch) .
Какие отрасли хантят DE специалистов больше всего? IT, Финтех, Телеком:
Вместо итогов
Python активно используют не только в WEB, но и в Data Science, и в Data Engineering. Этот тезис подтверждают данные по опросу JetBrains, а также собственный анализ вакансий на HH. ru. Этим и обусловлена популярность Python, т. к. он охватывает сразу несколько направлений.
Python в Web. FastAPI наиболее привлекательный для разработчиков фреймворк в 2021 году (согласно опросу Developer Survey 70% респондентов отметили, что интересуются данным фреймворком) . Согласно запросам в Google и Яндекс в 2021-2022 гг. у FastAPI наибольший темп роста. Но вакансий по данному фреймворку мало. Это говорит о том, что фреймворк был оценен разработчиками внутри IT, но до компаний разных отраслей он еще не дошел.
Data Engineering. Среди 4500 вакансий по Python ⅓ занимают вакансии по DE. Большой спрос на DE среди компаний, но на рынке мало специалистов.
Самые популярные инструменты в вакансиях DE — Airflow, Hadoop, Spark. Airflow — в наибольшей степени.
Также подписывайтесь на наш телеграм-канал «Голос Технократии». Каждое утро мы публикуем новостной дайджест из мира ИТ, а по вечерам делимся интересными и полезными статьями.
По поводу переключения с web на data engineering. Мне кажется это не каждому под силу, у меня лично отношение к этому как к бухгалтерии и базам данных.
Возможно web программисту лучше переключиться например на golang например. Интересно было бы мнение кто как сделал.
"Привет и с добрым утром", называется. FastAPI уже в течение двух лет используется активно и популярен. А вы только что это выяснили? Молодцы. Продвигайтесь-продвигайтесь P:
Так вон же на слайде про вакансии и резюме в этом стеке видно, что FastAPI для найма не очень: мало вакансий и резюме. Судя по всему стек привлекательный для разработчиков, но коммерческих проектов на нем пока немного.
На заборе тоже много чего написано.
Ладно, тогда поверим на слово анониму с виси
тебе что ли?
Так я ничего не утверждаю безапиляционно, в отличие от...
pnh
Это ваша фамилия или имя?
Я не понял, FastAPI только для API?
Автонабор айфона считает, что да
?? Не понял иронию. Просто погулил, написано что фреймворк для создания API. Вот не пойму если только для апи годится, почему он так популярен
Всё здорово, но поправьте текст в анонсе, пожалуйста
Мы не можем :(
Сколько лет уже пророчат Django забвение, а до сих пор жива.
Технологии просто так не уходят :)
Комментарий недоступен
тоже навеяло,
FastAPI стильно модно молодежно, но в вакансиях сплошная джанга :Р