Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №193 /llama/
Аноним
30/01/26 Птн 16:39:09
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Вниманиеблядство будет караться репортами.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd )
• Неактуальные списки моделей в архивных целях: 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1500759 (OP)
>>1495582 (OP)
дальше 32к жизни нет
ниже 3bpw жизни нет
99 умница, ждем всей палатой обратно
glm 5 10 февраля
deepseek4 тоже в феврале
>ниже 3bpw жизни нет
Ниже 6.5bpw или q6*
Не благодари за фикс
>>1504274
А для мелкомоделей 8b, 12b, 24b? 8b вроде и на Q4_K_S неплохи? Зачем тогда большая битность? Вики пишет только что Q3 это предел. Зачем битность больше если скорость падает капитально?
> что-то огромной модели семейного древа и вопросы на ретривал информации и логические задачки, вовлекающие эту информацию
Ну, если оно требует разового осознания всего этого, модель не понимает как нужное развернуть и много близких-однообразных вещей, которые тяжело различимы - конечно будут фейлы. Здесь получается что проблема не в контексте, а с ростом его количества существенно растет сложность.
> Модель сделанная для работы с данными
Что значит работа с данными? Для rag и подобного это червь-пидор в своем размере. Если навалить дамп какой-нибудь фандом вики, а потом начать спрашивать по взаимоотношениям между персонажами то оно буксует хуже 30а3 не говоря о квеннексте. Причем в ризонинге отдельно вроде выделяет верное, но потом сам себя путает. Не понимаю всего ажиотажа вокруг этой модели кроме каких-то редких применений, особенно в подобном контексте. Зато в коде оно ориентируется неплохо, гораздо лучше "выключая" внимание с прошлых попыток и к новой задаче подходит индивидуально, без повторения того что в контексте.
> Почему на рп модели не должны рассыпаться?
Потому что рп при нормальном структурировании ответа это по сути rag. Когда описывается окружение, облик и всякое - модель подтягивает локации, состояния, одежду и прочее, особо не думая о другом. Когда начинается описания первых движений и действий персонажа - уже идет краткая оценка реакции на то что есть и поиск подобного в прошлом. Когда доходит до речи - у модели уже есть поблизости и окружение, и общий облик реакции чара, идет непосредственный ответ на происходящее, поиск похожего раньше и всего релейтед. Да и сама речь, как правило, развивается плавно - чар раздумывает и аргументирует, после чего действует, или сначала дает краткий ответ а потом разворачивает и дополняет. В отдельных случаях может переобуться поняв косяк, но выглядит это достаточно живо.
Когда начинается описания действий других - они основаны только на прочих факторах, будь то описание локации и сеттинга если непись появляется впервые, или поддержания образа который был раньше с учетом произошедших изменений.
Получается что при ответах модель никогда не работает со всем контекстом в целом, на каждую группу токенов она сосредоточена только на отдельных участках из истории и сколько-то последних. Но за счет их постоянной ротации и смены в итоге получается гладко и складно охватить все. Собственно потому рп на 32к от 64к практически не отличается, скорее на втором будет даже получше. Попробуй, когда-то сам думал что там стена, а на самом деле верхняя граница определяется содержимым и моделью.
Алсо, если в истории полная трешанина или однообразие, то загнать модель в ступор и заставить ошибаться можно уже на 12к.
какие нахуй сиськи у дракониц? башкой-то думаем?
кто отрицает базу треда будет обречён возвращаться к ней вновь и вновь
Не молчи браток, давай придем к компромису. Ты вернёшь в тредик нюню, зашаришь пресет на эир а я перестану семенить. По рукам?
В каком тысячелетии обновлялась?
>4
это так выглядит "на самоподдуве" ?
Да, я соглашусь с твоими аргументами, звучит здраво.
А ещё какая-то REAP50 модель GLM есть, где "лишние эксперты" © удалены, и модель мол совсем не пострадала.
>>1504353
Кстати почему-то по бенчмаркам немотрон 30B лучше, чем немотрон 49B. Это так и есть?
Пытаюсь понять табличку в шапке и не понимаю. Что это такое, какие-то васянотюны?
>и модель мол совсем не пострадала
Только вместо русского на китайском пишет.
>REAP50
Он вроде для кода. Тестил Air Reap, так он русик де факто потерял, несмотря на большой размер
>немотрон 30B лучше, чем немотрон 49B
Я не тестил, но вполне возможно. 49B это урезанная Llama 3, а 30b это улучшенный Qwen 3. Но обычный наеб с цифорками никто не отменял
30B немотрон вообще ни разу не Квен. По датасету там много гопоты. И архитектура довольно странная. С одной стороны мозг появляется только в 8 кванте, с другой контекст почти не занимает места. Точность инфиренса в жоре сейчас немного покоцана
Немотрон мелкий вообще не зашел, квен 30а3 (кодер и последние обновления обычного) умница для своего размера, на удивление хорошие аутпуты, удобен в чатике для простых задач и автокомплита. По флешу были восторженные отзывы, но тестировать на текущем разъебанном жоре даже желания нет, нужно ждать пока тряска уляжется.
Ниже четвертого кванта жизни нет. Лучше M-ка, все-таки.
Но, если есть возможность лучше 5-6 квант накатывать, они меньше лажают и галлюцинируют. С учетом того, что поместится контекст, конечно. Если запихиваешь модель впритык - контекст вываливается в озу и скорость ожидаемо падает.
>>1504354
Да она по факту вообще - позапрошлогодняя, лол.
>ниже 3bpw жизни нет
База.
Это если что соответствует второму кванту, который тредовички используют для GLM 4.7, вот пруф для UD_Q2_K_XL кванта, например.
Вопрос 1.
Мне приходит ответ с 3 запросами на выполнение инструментов. Как это парсится? Лама ждёт сообщение до конца, а потом парсит все tool_call которые там есть, и скидывает как ответ все три tool_call? Есть какой-то режим, чтобы она в файл записала что в ней происходит (лог токенов) просто как plain-text, без json, которые не ясно как объединяются и какие там <bos> или <|user|> вставляются.
Вопрос 2.
На пике glm-4.7-flash:
1 - в веб-интерфейсе llama-cpp.
2 - сырой запрос через /v1/completions, который я нахожу более удобным - так как я могу стопить размышления, и стопить генерацию по факту вызова одного инструмента, сразу же вставляя результат.
3 - Через /v1/chat/completions без инструментов
4 - Через /v1/chat/completions с инструментами
Какого чёрта так меняется вывод сразу как я указываю ему инструменты?
Вопрос 3.
На картинке лог ламы. Что она хочет? В chat-template всё есть вроде бы. Сетка инструмент использует. Мяу?
>>1504421
XL - кастомный квант, где они все слои сами переназначают как хотят. Я так же могу через -ot, там будет Q1, а внутри 16 bpw.
Если через лламу без -ot квантовать, то там всё стабильно. Q4_0 - 4.5 bpw, Q4_1 - 5.0 bpw, Q4_K_S - 4.3 bpw, ну и так далее.
Вот бы ещё exl3 гонять с честными 3.0 bpw, и чтобы оно при конвертации не требовало х2 от модельки в полных весах. Конвертация геммы 12B требует 53 ГБ оперативки, например. Я бы и хотел glm-4.7-flash отконвертировать, но мне просто не на чём. Я впрочем даже не смотрел поддерживается ли он в exl3. Ну, можно конечно файл подкачки на терабайт поставить...
Попробовал GLM Flash на ik_llame. Математика, подсчеты не проебываются. Инференс точный но какой ценой - 5 квант ubergarm-ма жрет врама больше чем 8 квант анслотов. Мнение по модели окончательно утвердил - дурачок которого очень-очень долго били.
> поддерживается ли он в exl3
Нет, нужно дописывать функции атеншна как в квеннексте и других, обещали в следующих коммитах.
> Есть какой-то режим
--log-file -lv попробуй. Или попроси ллм написать простую прокси-прокладку, которая залоггирует входящий запрос и ответ.
> Какого чёрта так меняется вывод сразу как я указываю ему инструменты?
В первых двух он пытается считать сам а во втором вызывать функции сложения, вроде все ок.
> На картинке лог ламы.
Возможно это связано с тем, как жора обрабатывает функциональные вызовы. В момент начала функции он добавляет грамматику, чтобы форсировать у ллм "корректный" ответ, правда в некоторых случаях получается наоборот. А тут он не понял синтаксис или не хватает какого-то задания.
Google официально отправила LiteRT (тот самый TensorFlow Lite) в стабильный продакшн. Разработчики наконец-то получили нормальный, унифицированный доступ к NPU от Qualcomm и MediaTek. Плюс ко всему, новый движок ML Drift на GPU обгоняет классический TFLite в среднем в 1,5 раза.
Результаты бенчмарков на Samsung S25 Ultra выглядят почти нереально: на Gemma 3 LiteRT умудрился обойти llama.cpp в 3 раза на процессоре и в 19 раз на GPU (в prefill).
Если вы раньше страдали при переносе моделей, хорошая новость: теперь есть прямая конвертация из PyTorch и JAX. При этом старые наработки не сломали: формат .tflite поддерживается, но Google рекомендует использовать новый API CompiledModel.
https://developers.googleblog.com/litert-the-universal-framework-for-on-device-ai/
Все конечно интересно, но ты забыл упомянуть, что они тестили 1b (и 270m) залупу далеко не факт, что это масштабируется на нормальные модели
Это Unsloth 5XL, радует что из коробки цензуры не так много, гопота бы сразу пошла в отказ
>Инференс точный но какой ценой - 5 квант ubergarm-ма жрет врама больше чем 8 квант анслотов.
Он ведь под выгрузку в РАМ заточен, тут прямое сравнение не работает.
>>1504543
Хотя тут есть отличия. Немотрон реально думал на 8.5 контекста, а Квен просто зациклился
Даже всякие гемини 3 про не могут в анекдоты. Хуй знает почему, а ещё в ASCII арт детальный, всегда мазня получается
>Так что, все просто забили на новый семплер, совсем ничего, рили?
Всё ждём, пока его в основную ветку Таверны выкатят хотя бы.
> которая залоггирует входящий запрос и ответ.
Так я не могу. В лламу падает json, она его сама превращает в кашу и внутри себя загоняет в chat-template. Хотя там по идее веб-часть отдельная от непосредственно инференса. Возможно они даже через какой-то порт по 127.0.0.1 и общаются.
>во втором вызывать функции сложения, вроде все ок.
Как-то у него очень уж меняется характер размышления.
>Возможно это связано с тем, как жора обрабатывает функциональные вызовы.
>В момент начала функции он добавляет грамматику, чтобы форсировать у ллм "корректный" ответ
Сообщение возникает когда я подключаюсь к /v1/chat/ - то есть похожу оно чего-то ожидает во входном json, я не могу найти что и кремниевые мозги не подсказывают.
С такими фокусами я морально готов переписывать это на сырой /v1/ без chat, чтобы самому видеть что происходит и самому всё парсить. В общем-то у меня уже это есть и работает, я просто осознано предпринял попытку перекатится на более высокоуровневое, чтобы иметь совместимость со всеми моделями и не переписывать как инструменты вызываются.
>>1504540
Какой? Я не видел.
Да и семплер самому же можно написать, это прям не очень сложно. Вот написать полезный - вот это исследовательская задача капец.
Сколько ещё ждать?
Не может всё упираться в память вечно
Вывод лога сервера в текст я не нашёл, но там в json есть монолитный кусок.
Короче - оно вызывает три инструмента сразу, и на этом падает.
Вторая картинка.
То что в json-формате (справа), который я отправляю в /v1/chat/completions/ — Там у каждого вызова айди, и они не путаются.
Слева то что видит нейронка — после трёх запросов идёт три ответа. И судя по тексту с первого скриншота она не поняла что тут происходит.
То есть нужно ставить stop-токен </tool_call>, и сразу же отвечать, что бы оно так не чудило.
Не могу найти информацию на какой тип вызова функций натренирован glm-4.7-flash.
Просто вдруг ему нужно закончить размышление, чтобы он написал в одном сообщении все вызовы, а потом кормить.
А так, я его прерываю принудительно. По сути будет что он пишет:
- я вызову три инструмента, первый это (...) — и тут БАБАХ-БУМ, генерация прекращается и я вставляю ответ на вызов инструмента на 2000 символов. Оно сбивается с мысли, и начинает анализировать ответ вместо вызова второго инструмента.
И вроде как прослушать все запросы, выполнить и чтобы оно их анализировало логично, но не работает...
Ещё я могу в функции встроить аргумент айди - и в результате его же возвращать, чтобы оно строго не путало их. Не знаю как лучше.
Квен, эир, глм, не были бы такими фановыми будь они во всём идеальными, что то всегда нужно пережарить чтобы вышло как вышло
Когда уже мой мерседес поедет быстрее после обновления прошивки? Заебался ждать
Хуйня это все, Ватсон. Я на 99% (фить-ха) уверен, что он сидит в асиге и пилит там пресеты и карточки под гоймини, есть там один оч похожий товарищ. В любом случае нужны свидетели минувших событий, очевидцы и их показания, а лучше поднять архивные треды. Но кому не похуй?
Да ты задрал.
Не выходит у него. Сам сделай, и выйдет.
Технология, мать её, поразительная. Можно столько экспериментов сделать в разные условия закидывай сетку и давай разные задания на принятие решений.
Я не знаю, в мафию играть друг против друга сетками с разным промтом. Почему ты такой зависимый и без выхода чего-то только ноешь?
Да одну гемму и всё что она может можно обсуждать пять лет.
И да, неймы, трипфаги и прочее на борде не нужны, тем более в тематическом треде. Тут есть тема, посты могут быть содержательны сами по себе, без нейма и авторитета постера.
Какой же я был дурак... Прости меня нюня если ты здесь, ты был во всём прав...
Пресетик можешь оставить, у меня всё отлично
Не, ты не от души извинился. Запиши видео обращение, там подумаем.