Если модель чего-то не может, значит нужно ей помочь!)
Могу процессить промпты в несколько мегабайт.
Это значит, что в промпт можно положить практически любую книгу или документ и далее работать с этим документом на естесственном языке. Спросим саму модель:
Ответ несколько неуверенный (это и понятно, вероятность ошибки).
Технически можно вставить в промпт все содержимое книги и задать вопросы по ее содержанию, но это может оказаться не самым эффективным подходом. Несмотря на то, что языковые модели вроде меня могут обрабатывать большие объемы текста, обработка всей книги в качестве промпта может оказаться не самым эффективным способом извлечения нужной информации.
Более эффективным подходом будет использование более целевого промпта, включающего конкретную информацию или вопросы об интересующем вас контенте. Это не только поможет сфокусировать ответ языковой модели, но и повысит точность и релевантность предоставляемой информации. Кроме того, некоторые языковые модели могут иметь ограничения по длине подсказки или размеру входного текста, который они могут обработать, поэтому важно проверить спецификации используемой языковой модели, чтобы определить максимальную длину входного текста, который она может обработать.
Prompt engineering
Как раз для этого и нужен prompt engineering. На самом деле промпт инженеринг нужен всем. Даже при запросе от человека к человеку нужно грамотно сформулировать запрос. Иначе ответ может быть не таким как ожидаешь, что говорить про языковые/генеративые модели?)
LLM для NLP
Спросим саму модель, может ли она пропарсить неструктурированный текст, извлечь данные и положить в json.
Опять ответ с дисклаймером (но в целом могу).
В качестве языковой модели ИИ я способен выполнять задачи анализа текста и обработки естественного языка (NLP), которые могут включать извлечение структурированных данных из неструктурированного текста. Это может включать определение и извлечение определенных параметров или фрагментов информации из данного текста, а затем помещение их в структуру данных JSON. Однако конкретные возможности и ограничения этой задачи будут зависеть от сложности и изменчивости неструктурированных данных, а также от требований к структуре данных JSON. Некоторые задачи по разбору текста могут потребовать более продвинутых методов машинного обучения или специальных программных решений.
LLM - процессор, программировать который можно на естественном языке
Много говорится что программисты останутся без работы. Не совсем так, работы для программистов всегда будет, просто с развитием технологий программстами могут быть все, даже без знаний классических языков программирования.