{"id":14284,"url":"\/distributions\/14284\/click?bit=1&hash=82a231c769d1e10ea56c30ae286f090fbb4a445600cfa9e05037db7a74b1dda9","title":"\u041f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0444\u0438\u043d\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0430 \u0442\u0430\u043d\u0446\u044b \u0441 \u0441\u043e\u0431\u0430\u043a\u0430\u043c\u0438","buttonText":"","imageUuid":""}
Сергей Коновалов

Продолжаем парсить лоты torgi.gov.ru

Почему именно продолжаем? Предыдущие публикации: три, два, раз. Зачем: стала очевидна нехватка категории лота в общем файле выгрузки, добавлена структурированная выгрузка характеристик и процедуры поиска во взаимодействие через web. Обновлён список типов выгружаемых лотов.

Начальная цена: 24 864,00 ₽; Ежемесячный: 24 864,00 ₽; №22000031140000000001, лот №1.

Новые поля общего файла выгрузки

Ежечасную выгрузку актуальных лотов можно забрать тут. Небольшое извинение к пользователям MS Excel, чтоб прочесть файл понадобится применить импорт из файла через вкладку данные. Libre Office и подобное ПО достаточно комфортно распознают в нем (после разархивирования) табличные данные самостоятельно.

Категория (значения могут дополняться)

Автобус Автобусы Акции АО Акции и Доли Водный транспорт Гаражи и машиноместа Годные остатки Грузовые автомобили Доля ООО Драгкамни и металлы, ювелирные изделия Древесина Единый недвижимый комплекс Жилые помещения Запчасти Здания Земельные участки (категория не установлена) Земли лесного фонда Земли населенных пунктов Земли особо охраняемых территорий и объектов Земли сельскохозяйственного назначения Земли специального назначения Имущественные комплексы Иное и годные остатки (кроме автомобильных) Иной объект недвижимости Иной транспорт Инструменты Комплексное развитие территорий Легковые автомобили Мебель и предметы интерьера Мототехника Нежилые помещения Оборудование Объект водоснабжения и (или) водоотведения Объект незавершенного строительства Объект теплоснабжения Объект электроэнергетики Объекты незавершенного строительства Пользование участками недр Права требования Право на размещение некапитального объекта Право на размещение рекламных конструкций Право осуществления торговой деятельности Право размещения нестационарного объекта Сооружения Спецтехника Стройматериалы Управление многоквартирными домами Ценные бумаги Электронная и бытовая техника

Собственно, и считать статистику (то, что было в третьей публикации) более интересно в разрезе категорий.

Структурированные значения характеристик

Карточки лотов имеют предустановленный список параметров к заполнению в зависимости от типа. Далеко не все лоты имеют полное заполнение, но недопустимо не воспользоваться структурированной информацией, если она есть. Теперь все имеющиеся значения параметров выгружаются в отдельный столбец.

Для примера: {А 182 МТ 126 RUS=Государственный регистрационны...};{2019-11-09=Дата государственного регистра...};{2001=Год выпуска};{л.с/кВт – 170/125,=Мощность двигателя};{второй=Экологический класс};{WAUZZZ4B42N043806=VIN номер};{автоматическая=Коробка передач};{полный=Привод};{см3 – 2393=Объем двигателя};{седан=Вид транспорта};{AUDI=Марка};{A6 2.4=Модель};{(420600=Пробег)км}; {(855.2=Общая площадь)м^2 общ. пл};{кирпичные=Материалы наружных стен здания...};{2=Количество этажей };{0=Количество подземных этажей };{нежилое=Назначение здания };{нет=Общие сведения об ограничениях...};{нет=Вид ограничений и обременений};{2058440.74=Кадастровая стоимость };{56:18:0602001:499=Кадастровый номер};{1982=Год ввода в эксплуатацию}; {Ель - 18 куб.м. Береза - 1248 куб.м. Осина - 275 куб.м. Липа - 50 куб.м. Сосна - 153 куб.м. Ольха - 37 куб.м. Дуб - 5 куб.м. Вяз - 7 куб.м. Всего: 1793 куб.м (из них дровяной древесины - 1793 куб.м).=Количество и породный состав д...};{50:16:0402030:484=Кадастровый номер лесного учас...};

Web поиск

В плане удобства ничего не поменялось - всё по-прежнему аскетично. Но для новой колонки характеристик добавлены две функции помогающие: findSquare - определять наличие и заполнение площади (квартиры, участка и т.п.), findVin - VIN (транспорта).

decimal(G)<500000&&!findVin(M).isEmpty() - вывести первые 100 лотов с ограничением по начальной сумме и с наличием значения VIN в характеристиках.

decimal(G)<500000&&findSquare(M)>3000 - вывести первые 100 лотов с ограничением по начальной сумме и с площадью от 3000м^2.

В зависимости от запроса, поиск может занимать достаточно длительное время (порядка полутора минут).

Дополнение

Ещё немного потренировавшись, добавил: equalsAny - любое совпадение из списка, containsAny - любое вхождение из списка, between - вхождение в диапазон, integer - приведение к целому. Возможность сортировать колонки результирующих данных в web.

https://oriri.ru/trg/find?condition=!E.concat(F).toUpperCase().contains('АРЕНДА')&&integer(L).equalsAny(50,77,78,47,23)&&I.containsAny('Земли','участки')&&findSquare(M)>1000&&decimal(G)<1000000 - регионы 50, 77, 78, 47 и 23; категории содержащие в своём названии 'Земли' 'участки'; площадь больше 10 соток; ограничение на стартовую сумму и запрет на наличие в описании 'аренда'.

133 показа
566 открытий
0
1 комментарий
Сергей Коновалов
Автор

Добавил скорости на поиск, теперь результат выдаётся практически мгновенно.

Ответить
Развернуть ветку
Написать комментарий...
-2 комментариев
Раскрывать всегда