Обычно локальную языковую модель используют как чат: задали вопрос — получили абзац текста. Но половина реальных задач автоматизации выглядит иначе: «это письмо — запрос на возврат?», «в какую очередь отправить заявку?», «насколько срочно?». Для них не нужен связный текст, нужен короткий и предсказуемый ответ. В серии релизов Ollama 0.40.x появилась поддержка именно такого класса моделей — «моделей-решателей» (decision models).
Что именно появилось
Первая такая модель в библиотеке Ollama — nimble от Bespoke Labs: 9 млрд параметров, дообучена из Qwen3.5-9B, лицензия Apache 2.0, файл около 9,3–9,5 ГБ. Она не генерирует свободный текст: вы даёте ей входные данные и вопрос с фиксированными вариантами ответа, а она возвращает вероятность каждого варианта. Пошагового «рассуждения» у модели нет — по описанию на странице модели, именно это делает её быстрой.
Поддерживаются три типа вопросов:
- noul — вопрос «да/нет», в ответе вероятность того, что утверждение верно;
- choice — выбор одной метки из 2–26 вариантов (классификация);
- score — оценка по упорядоченной шкале из 2–26 уровней, от низшего к высшему.
В релизе 0.40.4 (12 октября) эти режимы вывели в командную строку: у ollama run появились флаги --ask, --choice и --level. Сама поддержка моделей-решателей на стороне сервера, по описаниям, требует Ollama 0.35.0 и новее, а CLI-флаги — 0.40.4. В следующих релизах добавили модели Nemotron 3.5 и сопутствующие правки; на момент написания последней была версия 0.40.7 от 18 октября.
Как это выглядит на практике
Примеры ниже взяты из описания релиза и стороннего обзора; автор обзора сам их не запускал, так что при первом запуске сверяйтесь с документацией Ollama — синтаксис флагов у новой функции вполне может уточняться.
# обновить Ollama до 0.40.4+ и скачать модель
ollama pull nimble
# да/нет: текст подаётся через stdin
ollama run nimble --ask "Это запрос на возврат?" < ticket.txt
# выбор метки
ollama run nimble --ask "Какая команда должна это обработать?" \
--choice billing="Платежи и возвраты" \
--choice technical="Проблемы с ПО" < ticket.txt
# оценка по шкале (от низшего уровня к высшему)
ollama run nimble --ask "Насколько это срочно?" \
--level "Плановое" --level "Скоро" --level "Немедленно" < ticket.txtДля скриптов удобнее HTTP-интерфейс. Модели-решатели обслуживаются по адресу POST http://localhost:11434/v1/systemone: в запросе передаются model, state (текст или JSON, который нужно оценить) и до 64 именованных вопросов, ответы приходят в том же порядке. Точную схему полей лучше смотреть на странице модели в библиотеке Ollama.
Где это пригодится дома и в мастерской
Я бы смотрел на эту функцию как на «умный if» для bash-скриптов. Несколько идей, которые укладываются в её возможности (это предложения, а не проверенные рецепты):
- сортировать входящие сообщения от системы мониторинга: «это ошибка диска?», «это просто предупреждение?»;
- разбирать строки журналов (например, сообщений PostgreSQL или Home Assistant) на «требует внимания / шум»;
- классифицировать текстовые уведомления умного дома по важности и отправлять в push только срочные;
- оценивать результат автоматической проверки по шкале и складывать в базу вместе с вероятностью.
Главное практическое преимущество — ответ можно разобрать машиной: это число или метка, а не абзац, который надо вычищать регулярками. Всё работает локально, данные не уходят в облако.
Ограничения, о которых стоит помнить
- Модель работает только с текстом; для изображений Ollama предлагает отдельные модели Clef и Clef Flash.
- Промпт каждого вопроса должен помещаться в 8192 токена, тело запроса ограничено 64 КиБ.
- Модель выбирает только из ваших вариантов — добавляйте вариант «ничего из перечисленного».
- Вопросы оцениваются независимо, согласованность между ними никто не проверяет.
- Вероятность — это не точность. Перед выбором порога проверьте модель хотя бы на полусотне своих размеченных примеров.
- Цифры качества приведены самими разработчиками; в стороннем обзоре отмечено, что по модерации nimble заметно уступает более крупной модели Jev (70,3 против 81,0).
Выводы
Модели-решатели — небольшой, но практичный шаг: Ollama становится не только чатом, но и инструментом для встраивания ИИ-проверок в обычные скрипты. Для системного администратора это самый естественный сценарий: pipe на входе, метка с вероятностью на выходе. Пока функция свежая, закладывайте тестирование на своих данных и не завязывайтесь на детали синтаксиса, пока они не устоялись.
Добавить комментарий