Получение списка каталогов и файлов с помощью Python
Друзья, хотим поделиться с вами опытом решения одной из задач, поставленной перед нами. Нам требовалось подтвердить или опровергнуть предположение о нарушении технологии обработки данных в автоматизированной системе, а именно: проверить содержимое каталогов, размещенных на FTP-сервере, на наличие в них определенных файлов.
Работа с данными в pandas, когда их размер не превышает пары гигабайт, проблем не вызывает. Но когда они достигают десятков гигабайт, то обрабатывать их на обычном компьютере становится сложно. Нужно или уменьшать размер датасета или работать с данными, разбитыми на chunk, что долго и не всегда удобно.
Orange позволяет сразу «из коробки» приобщиться к увлекательному миру анализа данных даже тем, кто раньше не решался это сделать из-за опасений, что не сможет разобраться в сложных математических построениях или в программировании. Теперь вам достаточно ориентироваться в своей предметной области и иметь небольшое – совсем небольшое, буквально…
Эта история произошла довольно давно, но некоторые подробности стали ясны только сейчас, отчего и настало время её рассказать.
Не будем останавливаться на описании типов параллельных реальностей, это уже давно и успешно делают многие литераторы, любители альтернативной истории, футурологи и просто поклонники подобных вещей. Перейдём сразу к делу.
Границы только в голове! Как можно обойти ограничение в 100 тыс. строк в Hive? В этой статье мы поделимся с вами опытом выгрузки данных из Hive через WinSCP и Python.
Многим из нас знакома фраза «нет предела совершенству». В каком-то роде, python-модуль pandas можно назвать идеальным инструментом для работы с данными. Но мы попытаемся разобраться, как можно сделать это ещё более эффективно в разрезе быстродействия при использовании другого модуля modin.
Реализация аутентификации пользователя в Django/Python
Давайте поговорим сегодня о том, как можно упростить администрирование и обеспечить двухфакторную авторизацию пользователей для более безопасной работы в Django.
