Новости МЛ простыми словами

Обзор новостей машинного обучения за прошедшую неделю

txt2video

- Gen2 от RunwayML (создатели SD) в общем доступе (полторы минуты видео генераций на халяву) https://runwayml.com/ Подводка сделана через него + d-id.com. Свои 90 секунд я всадил в ремув бэкграунд как лошара, не успел даже «Уилл Смит ест спагетти» сгенерить(

- Гугл инвестнул в RunwayML (скорей всего серваками, так как профита там пока врятли а доступ уже открыли) https://www.theinformation.com/articles/google-invests-in-ai-startup-runway-to-wrest-cloud-business-from-aws?rc=4soded

video2video

- WarpFusion - блокнот для обработки видео интегрированный с контролнет для консистентности анимаций https://github.com/Sxela/WarpFusion

- Консистентность через карту глубины https://www.reddit.com/r/StableDiffusion/comments/142lsxd/my_quest_for_consistent_animation_with_koikatsu/

Слухи/сплетни/крипота

- Анекдот про ИИ в военном дроне (позже опроверг) https://tass.ru/mezhdunarodnaya-panorama/17910271 Все по классике, МЛ минимизирует лосс, набирая очки и если оператор мешает их зарабатывать его надо уничтожить

- обложка тайм https://preview.redd.it/lqhqurtipm3b1.png?width=640&crop=smart&auto=webp&v=enabled&s=6cd2ee6d79524edebafc9658c7061ea676237324

- Getty имадж тролят Стабилити, подали в суд британии с просьбой запретить СД на островах

txt2txt

- новый алгоритм сжатия моделей, Activation-aware Weight Quantization (AWQ) - в 1.5 раза быстрее GPTQ, пока вроде бумага без практики в ллама.С++

- модель с окном в 100к токенов (это сотни страниц текста), можно загрузить какую ть книгу типа великий язык Перл и попросить объяснить простыми словами (шучу, перл ни одна из моделей объяснить не сможет) https://www.anthropic.com/index/100k-context-windows UPD: уже экспериментируют с бОльшим окном

- Интересная бумага от МС как заставлять ЛЛМ отвечать полнее и правильней https://arxiv.org/pdf/2306.02707.pdf

- И еще одна про то что инструкциями мы имитируем аутпут больших моделей, при это фактуалити (о какое слово я придумал) у малышей на дне https://arxiv.org/abs/2305.15717

- Поддержка метал (ускоритель в эпл силикон) в ламе с++ https://github.com/ggerganov/llama.cpp/pull/1642

- WizardLM 30B релизнулся https://github.com/nlpxucan/WizardLM

txt2img

- Big news！SD2.X model training issue has been resolved！Шучу, всем насрать

- туториалы по СД и не только https://github.com/FurkanGozukara/Stable-Diffusion/tree/main

- либа для инференса SD на плюсах без питона! (там правда ОНИКС - чит) https://github.com/axodox/axodox-machinelearning

Аппы/сайты

- https://d-id.com/ - генератор аваторов (картинки шевелят губами читая текст)