NTA

+2029
с 2020

Лайфхаки IT, проверенные решения для стандартных задач

2201 подписчик
0 подписок

Иногда проще прочитать всё в виде строк, а потом отдать все на милость получателя данных. Ключевой момент здесь - возможно ли это в принципе. И особенно важно - возможно ли в автоматическом режиме.
Сначала тоже пользовался "костылями" - писал try - expert на тот случай, если заголовок таблицы оказывался смещен на одну строку вниз. Но у меня было всего 30+ файлов, и вариация смещения заголовка была одна(боюсь, сколько использованных try-export пришлось бы писать на 100+ файлов). И заголовок получался не презентабельным, из-за того, что был в оригинале многострочным. С этим была просто беда.
Недавно так же был случай с файлом XLSX на 3GB - вот это был реально монстр. Excel его попросту не смог открыть за обозримую вечность - и каждый лист был без указания диапазона, и содержал 10480000 строк. Здесь важно отметить, что строки в памяти, всё-таки, занимают куда больше места, чем числа или даты/время - и особо разница ощутима если не пользовались PyArrow/Polars. Боюсь, Apache Parquet. Дальнейшая работа с ними в Polars была весьма проста и быстра)
Да, это странный и ужасный пример, но весьма реальный, к сожалению. Кто знает каким инструментом этот файл был создан...

Да, видимо сейчас никто не занимается проектом т.к. не обновляется ни документация, ни GitHub проекта.

Здравствуйте, пришлите в личные сообщения адрес почты, пришлем вам xlsx

Здравствуйте!
Формула определяет величину смещения для веса Bn в зависимости от результата вывода модели в текущей итерации.
Если простым языком, то на сколько нужно изменить вес признака в зависимости от ответа модели.
Сама формула в ячейке – это корректировка веса с помощью градиента сигмоиды = ошибка * значение_признака * предсказание_модели * (1 – предсказание_модели),
где ошибка = реальное_значение (кошка/не кошка) минус предсказание модели ($K3-$X3)
значение признака – это B3
предсказание_модели * (1 минус предсказание_модели) - это градиент функции:
предсказание_модели – это $X3
Градиент функции показывает как быстро функция меняется в разных направлениях.

В публикации есть предложение загружать свой код на платформу PythonAnywhere на бесплатный тариф, чтобы бот был доступен круглосуточно

Все верно, код из 120 строк с библиотекой Pandas и Datetime собран в программу весом почти 220 Mb. Данный метод компиляции не оптимизирует включение только необходимых библиотек, поэтому нужно быть готовым к тому, что его размер будет занимать достаточно объема.

Добрый день! Приложите, пожалуйста, полный скрин с ошибкой, версию python и библиотеки fitz. Возможно, у вас более ранняя или поздняя версия библиотеки, в которой отсутствует атрибут, описанный ранее.

Спасибо за ваш комментарий! В указанном вами примере реализация функционала бота происходит по-другому.

В публикации рассмотрен пример Яндекса, если требуется информация по другой компании, попробуйте заменить значение 'YNDX.ME' на требуемое значение. Предполагаем, что для указанной вами компании это 'GAZP.ME'

В сообществе команда авторов, которые делятся опытом решения различных задач разными методами. По теме, поднятой в данном материале, можем порекомендовать следующие посты: https://newtechaudit.ru/overfitting/ или https://newtechaudit.ru/linejnaja-regressii/

«u202a» - символ юникода обозначающий вставку слева-направо. Считайте строку, а потом извлеките этот символ из строки методом strip.

Решение вашей проблемы описано здесь: https://stackoverflow.com/questions/49267999/remove-u202a-from-python-string

Либо используйте необработанные строки.

Подробнее о необработанных строках тут: https://pythonim.ru/string/neobrabotannaya-stroka-v-python

Добрый день! Уточним информацию, вернемся с ответом )

Здравствуйте, исходный код представлен в материалах публикации, более подробную информацию, к сожалению, не сможем выложить, т.к. задача решалась в рамках рабочего проекта. Спасибо за интерес!

Конечно, 100% вероятность не распространяется на экспертов, кто владеет навыками извлечения ключа шифрования, но для обычных пользователей такой способ будет более, чем достаточен.

Помните, что установка производится на Jupyter notebook. Не забудьте включить в терминале расширения. Попробуйте переустановить с помощью терминала:
pip install jupyter_contrib_nbextensions
jupyter contrib nbextension install --user
jupyter nbextension enable varInspector/main
Надеемся вам поможет

В данной "пробной" версии алгоритма мы работали только с телом и заголовком, но добавление такого функционала может быть следующим этапом развития инструмента.