LLM модель типа LLaMA-2, вышедшая в июле 2023 года, умеет многое с помощью правильно составленного текстового запроса (промта) без дополнительного программирования. Одна из очень полезных возможностей это суммаризация текста, c помощью которой можно сделать краткую выдержку по большому тексту даже на русском языке.
Заметил неоднократно, что при train аудиклассификатора с большим датасетом видеопамять быстро заканчивается на этапе eval. Причем если train сжирает 10Гб, то на eval память жрется прыгая, и на какой-то из эпох или даже на первой выходит CUDA Out of memory.
Иногда требуется, чтобы GPU работал с меньшей мощностью. Например, при слишком долгом трэйне не хочется перегревать карту. Либо GPU со слабой заводской системой охлаждения и всегда сильно греется при максимальных нагрузках. Также в летнее время в комнате без кондиционера будет полезно. Еще один случай: несколько видеокарт слишком близко. Могут…
В этот раз предстояла более ответственная аналитическая работа и было решено отсеять рекламные обещания, пиар и обзорные статьи по сервисам. Разобраться лично на фактах: какое решение аналитики выгоднее в рамках конкретного проекта. Хотелось понять, какие критерии сравнения есть, за что платить деньги.