Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №254 /llama/
Аноним
04/08/26 Втр 18:18:53
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1665553 (OP)
>>1663069 (OP)
gemma 4 12b q6_k + mtp для 16+ гб
gemma 4 26b a4b q6_k mmap + mtp для 24+ гб
gemma 4 31b q4_k_L + mtp для 24+ гб
Все остальные существующие модели выкиньте нахуй
>qat
>mtp
Пережим пережимыч отупляющий и без того далеко не умницу. Серьёзно, откуда взялся форс 26б как великой умняши?
>Серьёзно, откуда взялся форс 26б как великой умняши?
Она умняша для своего размера. Из коробки. Как только ты начинаешь что-то поверх вертеть она превращается в тупня.
> Серьёзно, откуда взялся форс 26б как великой умняши?
Великолепна для своего размера. В пух и прах разносит плотные модели прошлого поколения, все вплоть до 32б включительно.
Из говногайда с шапки очевидно. Абу апасные модели всем загоняет, оп в гайде рекомендует лоботомита. Вот шизы и ведутся
64гб нищуки, ваш господин приказывает вам провести двачебенчмаркинг (чайный клуб, Mallorie, фифи)
>оп в гайде рекомендует лоботомита
Покажи лучшую модель для конфигурации 16 + 16 или 12/8 + 32, которая будет работать также быстро и иметь столько же мозгов. Альтернатива это только моешный квен, который чуть выигрывает только в унитазно-кодинговых задачах.
>чайный клуб, Mallorie
Это один анон, 128гб господин, да ещё ггуф и весов нет. Чел у тебя в посте 3 ошибки! Не стыдно в шизах треда не разбираться?
>>1668216
>mtp
>Говно без задач
>Пережим пережимыч
Буйные снова атакуют тред. Держимся.
Хватит чуму разносить собака ебаная. Тесты mtp показали что он в большей части нетиповых задач срезает скорость вместо увеличения. Буквально без него у тебя условные 20 токенов, с ним 17. Прирост ты получишь только спрашивая почему трава голубая а солнце зеленое.
>12/8 + 32
12+48. Что даст лучший результат - гемма 26б или квен 122б? Допустим у меня специфичный вкус на тысячелетних вампирш с детскими телами всякую нёх с когтями/хвостами/чешуёй. Какая модель будет лучше держать образ монстровайфу не сбиваясь и не забывая, что у неё не кожа а шерсть/чешуя, что она ниггер биггер дан юзер, и имеет хвост/рога/длинную зубастую пасть? Хотя бы на дистанции в 50к контекста.
Вопрос был про 12/8 + 32, ты притащил 12+48. Ты долбаеб, скажи честно?
>Что даст лучший результат - гемма 26б или квен 122б?
>гемма 26б
>квен 122б
Кто сильнее - кашляющий младенец или водородная бомба?
>Буквально без него у тебя условные 20 токенов, с ним 17
Буквально без него 25т/c а с ним 40+ т/c в моэ гемме Q8 при РП на русском. Хотя если кривыми руками настраивать, то может и да... Забываю иногда сколько в треде хлебушков. Прошу прощения.
Ну если это рп уровня "ты меня ебешь" то да, mtp будет работать. Даже драфтовый лоботомит на 200M параметров догадается "ты меня ебешь" ответить.
Какое там у тебя РП уникальное, что MTP не может сделать верных предположений? Нука показывай, умник.
У меня одна системная инструкция только 2.5к токенов весит, и то это самый "лайт" вариант из которого я вырезал более специфичные вещи потому что гемма их слишком буквально воспринимает. Мультитокен сразу же идет нахуй потому что ему нужно соблюдать верную разметку и учитывать разные параметры. Попробуй выкинуть серафину вместо нее персонажа посложнее прописать, удивишься как хорошо твой мтп работает.
Конкретики не будет, ясно.
Хз братан, наверное у тебя все плохо, мой MTP дал прирост 30% к tg. Специально бенчи делал.
Лолд. Ну с другой стороны я даже рад, что гейткип теперь не только по мощности железа и его стоимости, но и по скиллу чтения и навыка разбираться. Пока одни получают опыт качественного (и вдвое ускоренного) РП, другие сидят на аблитках с 0,0000001 клд, меромеро всяких и довольно урчат на 20 т/c. Все счастливы и все довольны - а это главное =)
> Ну если это рп уровня "ты меня ебешь" то да, mtp будет работать
Ага, ведь как известно, именно на этом тренируют mtp модели. Ебанат, в голос. Каждую неделю тред не перестает удивлять манядодумками и эзотерикой я так чувствую
А то, что он семплерами вероятности сжимает и рандомайзит, из-за чего эффект mtp снижается, это так, по хуйне
Мимо тоже 30% прироста в рп
Так, погодите. ОП == чайный клуб == меллори == н..ЭКСТРЕМИЗМ? Железо так то сходится, у всех 24+128
>семплерами вероятности сжимает и рандомайзит
На гемме? Кекнул.
Всм притащил? Обсуждение шло не за конкретное железо, а за народные моехи для работяг.
>>1668242
>У него SWA
Это у тебя сва. Отвечал на строчку:
>Альтернатива это только моешный квен, который чуть выигрывает
С хуя вы оба разорвались в визг?
>>1668237
>кашляющий младенец или водородная бомба
Проиграл.
>он семплерами вероятности сжимает и рандомайзит
Или это, или слишком агрессивная выгрузка, или файнтьюн/аблитерация. На них mtp тоже херово работает.
>Это у тебя сва. Отвечал на строчку:
Отвечал не на пост, продолжающий обсуджение двух постов, а отвечал на строчку. Вот что бывает с теми, кто сидит на гемме и прочих с SWA моделях! Задумайтесь
>Обсуждение шло не за конкретное железо, а за народные моехи для работяг.
Ты ответил на конкретное обсуждение по конкретным категориям. И в любом случае, 122B моделька это нихуя не народная моеха для работяг. Работяги в лучшем случае сидят на 16 + 32, уж никак не на 48 гигах, это вообще что за комбинация должна быть? Две по 16 и две по 8? Или три по шестнадцать? Или одна 32 и одна 16? Много таких работяг видел?
И он же автор гайда. Олдфаги знают, только нахуя протыков искать? Есть и есть.
Гемма 26b и гайд для новичков в ОП-посте, где написано как её запустить. С твоим конфигом там и 64к контекста спокойно влезут.
Тензорпараллелизм когда все по х4 будет нерационален, только если разблокируют шину 4.0. В пайплайн параллелизме все как обычно, генерация упирается в один поток упирается в псп врама, который быстрый. Не будет ускорения выше, но и не будет негативного импакта от шин, если только там не совсем х1 чипсетный.
Вот если все будут на х16 - уже можно попробовать, ген точно ускорится, но что будет с пп - вопрос.
мимо
>>1668226
> 69a3
Too small
Жорик — ничто, вместо крови понос
Вместо мозга пронюханный жадный нос
Вместо сердца у Жоры мусорный бак
Жора, бля, конченный, нахуй, мудак
Подробнее? Пативен вряд ли отправят, но риск бана у некоторых провайдеров есть. Правильно понимаю?
>Какая модель будет лучше держать образ
Любая если добавить напоминалку в post-history instructions
Ну тут кстати хуй знает, большие квены почему-то говно, хуже 27б. Я бы тут ещё задумался на кого ставить.
Именно так, Ватсон. Оп не может быть автором гайда, это исключено. Иначе бы он обновлялся. Плюс оп одобрял этот гайд прежде чем добавить. История дала крутой оборот...
Так где же правда?
https://github.com/ggml-org/llama.cpp/pull/26398
https://huggingface.co/tarruda/DeepSeek-V4-Flash-0731-GGUF/edit/main/MXFP4/DeepSeek-V4-Flash-0731-MXFP4-00001-of-00005.gguf
Вот тутова новая жижа
https://mistral.ai/news/shieldstral/
3B open-weights multimodal safety classifier that outperforms models up to 7x its size
>Наконец-то comeback от Мистралей
>3B
В словах диапазон выставляй. ИИ не видит кол-во высранных токенов, но можешь посчитать слова.
А вообще :
Narration & Formatting:
- Balance: Maintain a 50/50 balance between dialogue and descriptive action.
- Length: Keep responses concise. Use 1 to 4 paragraphs maximum.
- Dialogue: “Use speech quotes for spoken words.”
- Thoughts: Use italics for internal monologues. (Example: I can't believe he just said that, he thought.)
- Action: Use double asterisk for making accent on specific words and loud sound/voice.
- Action: Use plain text for exposition and movement.
>Серьёзно, откуда взялся форс 26б как великой умняши?
Оттуда же, откуда большинство анонов пришло в этот итт - из /aicg/ загона. Тут большинству нужно рп, а в нем гемма показывает себя отлично. Вот только если выйти за пределы выкручивания хвостиков лисодевочкам, то сразу видно, какое оно тупое по сравнению с квеном. А ведь скоро выходит квен 3.8, который еще сильнее даст на ротан гейме во всём кроме creative writing.
Be concise. Write short answers.
Проверь что нет конфликтов с карточкой и самим системным промптом для нарратора.
В карточках часто добавляют назидания на стиль ответов.
Еще можешь руками пару раз обрезать ответы, тогда мб нейронка подхватит суть.
Понимаешь, ризонинг макс добавляет в начало инструкции фразу "баля, ну ты ризонь там максимально кароч". И всё. Я префиллом ризонинга намного большего достигаю.
>то сразу видно, какое оно тупое по сравнению с квеном
А можешь привести примеры в чем он лучше (кроме очевидного кода и агентских задач)?
>Плюс оп одобрял этот гайд прежде чем добавить.
Как будто ОП не может быть хитрым манипулятором, одобряя свой собственный гайд и делая вид, что исчез.
Спасибо, попробую. А это лучше в промт добавить или в пх? У меня в постхистори сейчас сорта "держи персонажа, мразь". Одна инструкция не захуярит другую?
Ещё попробую ограничить лимит слов. 200 норм будет, это сколько токенов примерно? ~400? Как лучше об этом написать? Что-то типа "Limit response to 200 words or less"?
>>1668397
Не поверишь, я так и сделал. Раз срезал, два, три, четыре. Всегда работало, но в этот раз нейромозг как срал стенами текста убивая флоу, так и продолжил срать. Пришлось в тред зайти спросить.
>Проверь что нет конфликтов с карточкой
Нету. Карточка неплохая, на 2.5 токенов, без слопа, с адекватной разметкой. Хз чё моделька так перевозбудилась в этот раз.
Вот и я так думаю. Меллори это чайный клуб, его посты в прошлом треде были. Никуда не делся. Оп скорее всего заебался гайд поддерживать вот и слился. В эту версию верю, в ней противоречий нет. Скандалы интриги расследования.
Пихать в систем промпт. Там подправь чуть чуть, я с черновика скопипастил, там не отредактирован и чуть лишнего, но суть я думаю понятна.
На глаз в таверне оцени, сколько тебе слов надо. удали в сообщении лишний текст. Посмотри сколько токенов сообщение занимает. И сделай диапазон от N-20% до N+20% в систем промпте.
В карточке примеры диалогов есть? Если они через <start> подаются и там большие ответы то вот причина.
Я тестил у него, нормально работает для своих размеров
>>1668206 →
Так это и есть Gemma 4 26b a4b ванильная, просто квантована до 12.4Гб
На конкретно этом префилле проходило обучение. Расскажи, чего и каким префиллом достигаешь
Спасибо за совет с диапазоном, это и правда лучше сработает. Всё понял, пойду чинить.
>>1668419
Нет, нету. Но тоже спасибо, теперь буду знать, что старты нужно убирать.
Я просто потыкал на апи Квен 3.8 MAX (сколько он там, 2,4Т?) и мне понравилось для ролеплея, хотелось бы получить небольшой кусочек сего локально (хуй с ней, с цензурой, у меня безъебабельный ролеплей пополам с блокнотингом).
Или будет только 27B плотняша и всё?
Обещают хуй к носу приложить
В прошлый раз было так же, типа ни в коем случае не будет никакого квена, кроме квена3.5, иц овер. А потом взяли и выгрузили 3.6, и с этим так же будет.
Печально сие.
Не заботятся господа хорошие о качестве моего ролеплея в автономном варианте.
А ведь могли бы увеличить количество тёплоты, лампоты и превозмогания, сгенерированных локально.
>На конкретно этом префилле проходило обучение.
Так это даже не префилл, а тупо инструкция.
Замени его любой другой инструкцией с таким же смыслом - и наблюдай как она ничуть не хуже будет ризонить.
Дак тупо нет ни одной модели, которая лучше геммы в соотношении интеллекта на скорость и вес модели.
> Так это даже не префилл, а тупо инструкция
Инструкция, которая предшествует всем предыдущим, инжектится в начало. Самый настоящий префилл. Посмотри внимательнее на Жинжу, если тебе это интересно. И да, в том числе на этой инструкции в конкретном месте проходило обучение. Дипсик поддерживает структурный вывод и обучался на этом, что тоже есть в Жинже, подробнее в бумажках и статьях лабы.
>>1668126 →
> странно что Жоржанов ему противится.
Ничего подобного: https://github.com/ggml-org/llama.cpp/pull/26452
https://github.com/ggml-org/llama.cpp/issues/26369
> Support FP8 base model conversion
Все будет, но не сразу.
> всем предыдущим
В рамках последнего инпута, конечно же. Пока меня тут снобы и любители полемики не съели.
>Инструкция, которая предшествует всем предыдущим, инжектится в начало. Самый настоящий префилл.
Я имел ввиду что не префилл ризонинга.
>Посмотри внимательнее на Жинжу, если тебе это интересно.
Я знаю как там все устроено, я те инструкции уже внес в свою жинжу и даже добавил свои кастомные инструкции для low и medium ризонинга, написанные по аналогии. И они прекрасно работают.
> И да, в том числе на этой инструкции в конкретном месте проходило обучение.
Ты небось еще и из секты тех кто считает что пользовательские инструкции могут лоботомировать модели и потому той же аблитерации надо обязательно обучать.
>отвечал на строчку
Как и все абсолютно здоровые люди. Только шизы с окр и гиперфиксацией отвечают на каждое слово в посте, а не на интересующую их часть. Pow core mill.
>>1668263
Ну так тут есть олигархи и с 128 и 64. У меня скромные 48. Вполне народные числа. От занимаемых плашками слотов мазерборды суть вопроса не изменилась. 26 гемму нахваливают с такой силой, что кажется будто она уделает даже крупномое и плотнях. И где обширные тесты, мнения, факты?
В прошлом треде был чел у которого 26б-умняша в восьмом кванте умудрилась проебать элементарную "" разметку, не забыв приправить текст излюбленным квеновским "—". У - умняша.
> Ты небось еще и из секты тех кто считает что пользовательские инструкции могут лоботомировать модели и потому той же аблитерации надо обязательно обучать.
Где я в своем посте сказал что-нибудь плохое про пользовательские инструкции? Снова ищешь от кого ущемиться? Зачем? Рад, что у тебя все хорошо работает. И квант у тебя хороший. Только не взрывайся.
> Вот только если выйти за пределы выкручивания хвостиков лисодевочкам
Ответственно заявляю что 26 для этих дел слабовата. Ты не только будешь удивляться ее забывчивости и неуместным реакциям, но и: не опишет нормально текстуру и структуру меха, не отличает глажку у кончика и основания, не понимает разницу между хвостовым и ушным мехом, вообще не понимает физику мокрого, так еще через 3 поста чар перевозбудится и прыгнет к тебе на хуй.
31 еще как-то, но тоже часто недостаточно.
мимо ценитель
> Support FP8 base model conversion
Это не похоже на
> new ggml data format - fp8
и линк стоит на спекулятор.
>>1668476
> 26 гемму нахваливают с такой силой, что кажется будто она уделает даже крупномое и плотнях
Да потому что 12-гиговые и хуже бедолаги способны только ее запустить и она позволяет иметь хоть какое-то рп. Года два с такого перфоманса бы ахуели, да и если ты непритязательный - на безрыбье и гемма топ рп. В треде куча неофитов которым она норм, а с другими моделями сложности по железу или навыку.
>Ответственно заявляю что 26 для этих дел слабовата.
Гемма в принципе во всем слабовата если реально смотреть на её производительность и полезность. Два её единственных плюса - приличный русский язык и очень хорошая скорость. Просто в её размере больше нет конкурентов. Квен 35B с натяжкой, потому что жрет больше и требует больше. Остальные конкуренты это старье на которое уже без слез не взглянешь.
Но даже так, русский геммы сильно быстро заебывает. Она сама по себе не может в вариативность и имеет примерно два чойса на следующий токен, так еще и русский это второстепенный для нее язык и там еще меньше разнообразия. Короче лично я вернулся на мистральский слоп до лучших времен. Пока не обновлю систему или пока не выйдет что-то еще из мелочи.
>вообще не понимает физику мокрого, так еще через 3 поста чар перевозбудится
>пишешь: мокрый хво...
>гемма4: WET... CUNT? I GET IT! LET'S FUCK!
Ещё у геммы странная сосредоточенность на посторонних вещах. Я как-то пытался с Серафиной по душам попиздеть, просто уютный хендхолдинг в залитой солнцем роще, чистый холсом. Так гемма стала придумывать каких-то лесных существ, какие-то потусторонние силы правящие рощей, какие-то договоры на крови и ледяные ветра пронизывающие кожу. Я аж в карточку полез, чтобы проверить, нет ли там такого. Спойлер: там такого нет. Гемма с потолка начала сочинять то, чего не должно было быть, в итоге уведя повествование в дебри, в которых сама запуталась, забыв и про меня и про Серафину, начав галлюцинировать какую-то отдельную от нас историю. А мы с Серафиной би лайк: "Можно мы уже пойдём?"
> я вернулся на мистральский слоп до лучших времен
Держись там! Скорейшего апгрейда, а то совсем захвораешь.
>>1668499
А случаем нет никаких дополнительных и огромных инструкций и шизопромптов? Типа "пиши имеерсивно, захватывающе и много", только в виде полотна.
Хотел вот так угодить, другой бы восхитился насколько она инициативная, а ты носом воротишь. Абсолютно закономерно надо сказать, модель должно понимать настроение юзера, когда он хочет просто спокойно посидеть и поговорить, когда хочет обниматься, кумить или куда-то двигаться.
> начав галлюцинировать какую-то отдельную от нас историю
Хуясе ебать
Нет конечно. Было бы не удивлялся бы.
>пиши имеерсивно, захватывающе
Иммерсивно и захватывающе не равно "уводи сюжет в дебри". Иммерсивно и захватывающе можно описывать даже высыхание краски, оставаясь на месте. Я поэтому и люблю хартфайр. Он натаскан на то, чтобы ты со своей вайфой сидел у костра 100к контекста и беседовал по душам.
>другой бы восхитился насколько она инициативная
Но ведь это Я инициатор и главное действующее лицо. Я задаю направление сюжету, выбирая что и куда дальше разовьётся. Если бы я хотел посмотреть тв, я бы включил тв, евпочя.
>модель должно понимать настроение юзера
У геммы свой путь. Шизопуть. И ты на нём - помеха.
>Хуясе ебать
Забавно, один раз. А потом ты приходишь в чайный клуб чтобы погладить девичьи хвостики, а вместо этого на вас падает метеорит и начинается зомби апокалипсис.
Мне так однажды наикозиейший наихолсомнейший роадтрип с вайфу гемма превратила в хоррор с элементами гуро. Говно блять. Для хоррора с гуро у меня есть специальные карточки. А эта вам не это. Эта для другого. Но для геммы всё едино.
> Я поэтому и люблю хартфайр. Он натаскан на то, чтобы ты со своей вайфой сидел у костра 100к контекста и беседовал по душам.
Линк?
> Но ведь это Я инициатор
Это к тому, почему у других может быть совершенно иное мнение, такое наоборот по первой воспримут как манну небесную.
Сорян, не всем интересен дроч. Как ассистент и задачерешатель оче неплохая моделька была, долгое время держалась. QAT из коробки тоже делал ее привлекательной.
Не дрочем единым, трудно представить себе задачи где она была бы настолько хороша чтобы соответствовать тому описанию. Код - слаб, довести до конца задачу у нее вызывало трудности. Дебаг или анализ готового проекта - с трудом понимает содержимое, путается, предлагает ошибочные решения. Контекстное окно на момент рилиза уже мало, четверть от него съедается максимальным ризонингом.
+30% к тг, -30% к пп 🤡
Пока на Gen2 x4, хотя на моих картах сейчас по x16 линий распаяно спасибо доброму человеку.
Я когда раньше тестировал TP на своих 3090/4090/5090, то пришёл к выводу, что, при Gen3 x4, тензор-параллелизм даёт профит только на плотных моделях, а вот для MoE такого канала связи мало - при пайплайн-параллелизме скорости у меня выше выходили. Жалко только, что ссылку на рентри потерял - кидал прошлой осенью бенчи на своём конфиге, так бы мог подтвердить цифры.
В случае 170HX их пока смогли анлокнуть только до Gen2. Поэтому, вероятно, TP может быть имеет смысл если их все посадить на условные x16 линий, но на моей текущей платформе я не могу себе такого позволить.
Планирую пока сидеть на пайплайн-параллелизме, а, в этом случае, PCIe-линии фактически не могут боттлнекаться т.к. активации между слоями копеечные, хоть на Gen1 x1 сажай это всё.
> будет сильно больше чем на ddr5 под разгоном
Тут хз если честно - по хорошему сравнивать надо в рамках одного движка т.к. даже на одинаковом конфиге, но на разных движках, скорости сильно отличаться могут. При этом выгрузка в RAM из +/- мейнстримных движков поддерживается только в жоре и в ktransformers. С жорой у меня много негативного опыта было в плане скоростей и качества квантов (при сравнении с квантами аналогичного размера для vllm/exllama), хотя понятно, что это, вероятно, лучший вариант для случая "1 карта + много RAM". Для ktransformers нужен гомогенный конфиг с видеокартами, с чем у меня раньше были проблемы, поэтому его толком не смотрел. Ещё буквально неделю-две назад для exllama запилили возможность выгрузки в RAM, надо разбираться.
Скидываю первые тесты при делении поровну по 6 картам на том, что было под рукой:
1. exllama Step-3.7-Flash 6.0bpw (196B A11B): при 58к контекста 1.3k pp/s, 27 tg/s
2. vllm Qwen-3.5-122B fp8 (A10B): при 50к контекста 11k pp/s да, 84 tg/s
По хорошему надо по нормальному бенчи погонять, но пока некогда было. По быстрому pp на vllm я перепроверил на нескольких длинных чатах - контекст действительно считается на уровне 10-11к токенов/сек в одном запросе, что выглядит очень вкусно.
В случае vllm там fp8 квант, а 170HX не имеет для него нативного ускорения - в идеале тут бы int4 кванты потестить. Да и что-то на полный набор VRAM загрузить, а то тот же 6.0bpw квант степа - это только около половины доступной мне сейчас VRAM.
Что-то я знатно сегодня вернее уже вчера подзаебался, пока подключал-настраивал эти 170HX, хотя там проблема больше в райзерах была и в собственной криворукости, а не в самих картах.
Так че новая мета вот это некроговно вместо 3090? Че по игрулькам и стабл дифужену, видосы генерит?
Воркфлоу на комфи для анимы что 8 сек на моей 5090 отрабатывал, на 170HX отрабатывает за 12 сек. Так-то неплохо с учётом того, что памяти тут в два раза больше, а цена в 3-4 раза ниже.
По остальному хз, не смотрел пока. Для видеогена возможно хопперы/блеквеллы поинтереснее будут за счёт поддержки fp8/fp4, там это сильно ролляло для того же Wan, хотя не знаю насколько это с новым MiniMax H3 актуально, не было пока возможности посмотреть его.
>Так гемма стала придумывать каких-то лесных существ, какие-то потусторонние силы правящие рощей
Сука долбоёб.... Это в лорбуке всё. Задеваешь случайно слово активации (одно из слов "лес" насколько помню) и получаешь лором в еблет.
Пиздос, тредовики не знают как таверна работает. Отправлю вас всех в буткэмп /aicg/
>>1668624
Ну че, выходит это всё не наёб был, прикольно за 8к таких накупить пачку.
Но для нищуков момент упущен, остаётся ждать рам за 150р/гиг опять
Ну не в этот раз. Если щас её брать это цена 64гб ддр5 в днс да и по миру, ну т.е кто хотел себе память по такой цене тот уже купил. Все ждут подешевления рам, каждая живая душа с пк, и оно наступит, как с видяшками. Не может мафия вечно наживаться на простых работягах.
>Сука долбоёб
Зачем ты так о своих родителях. Они же старались...
>Задеваешь случайно слово активации (одно из слов "лес" насколько помню) и
Лорбук был отключен.
>Пиздос
Действительно пиздос, когда не знаешь о чём речь, но спотыкаясь бежишь доказывать, что постер в треде не прав.
У меня 12б тройка так себя вела. Четвёрку, наоборот, приходится пинать ногами, чтобы она поднимала жопу и двигалась дальше по рп, не зацикливаясь на старых сценах. Даже с инструкциями продвигать сценарий и чаще брать инициативу в свои руки за персонажей.
Вот рецепт, если кому надо, использовать с квантом батрухи.
^blk\.\d+\.ffn_gate_tid2eid\.weight$=i32
^blk\.[0-2]\.ffn_(gate|up|down)_exps\.weight$=mxfp4
^blk\.\d+\.ffn_down_exps\.weight$=mxfp4
^blk\.\d+\.ffn_gate_exps\.weight$=q3_K
^blk\.\d+\.ffn_up_exps\.weight$=q3_K
^token_embd\.weight$=bf16
^output\.weight$=bf16
^blk\.\d+\.ffn_gate_inp\.weight$=bf16
^blk\.\d+\.attn_compressor_(gate|kv)\.weight$=bf16
^blk\.\d+\.attn_compressor_ape\.weight$=f32
^blk\.\d+\.indexer\.proj\.weight$=bf16
^blk\.\d+\.indexer_compressor_(gate|kv)\.weight$=bf16
^blk\.\d+\.indexer_compressor_ape\.weight$=f32
^blk\.\d+\.hc_(attn|ffn)_fn\.weight$=f32
^output_hc_fn\.weight$=f32
^blk\.\d+\.attn_(q_a|q_b|kv|output_a|output_b)\.weight$=q8_0
^blk\.\d+\.indexer\.attn_q_b\.weight$=q8_0
^blk\.\d+\.ffn_(gate|up|down)_shexp\.weight$=q8_0
Вот уже готовый абсолютно идентичный квант, для ленивых https://huggingface.co/ddh0/DeepSeek-V4-Flash-0731-GGUF/blob/main/DeepSeek-V4-Flash-0731-3.86bpw-Q3_K.gguf
Рад, что пригодилось.
> -np 2.
Не забудь сделать -kvu. По дефолту включается только если не трогать -np.
>>1668796
Он даже чуть лучше, потому что есть imatrix. Свой я тоже собирал с imatrix, от tarruda. Предвосхищая русикосрачи: нет, он не вредит русику. Проходили уже, были и PPL/KLD сравнения. Никакого трейд оффа нет, это просто лучший способ квантования, сложность - знать об этом и подобрать подходящий imatrix, они отличаются по архитектурам, для каждой желательно свою imatrix. Так будет эффективнее, но ни одна не навредит.