Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №151 /llama/
Аноним
29/07/25 Втр 20:00:26
№
1
Базы треда не существует, каждый дрочит как он хочет. Базашизика дружно репортим.
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1288430 (OP)
>>1283995 (OP)
Очень годно, на первом же сообщении встал.
Раньше приходилось долбиться в стену БОНДАРИС и т.д
Плейсхолдер с порицанием базашиза
>Успеть бы перекатить до очередного удаления сообщений...
А что опять за тряска?
>>1292932 →
>Чисто отдельно и бесплатно - есть такое для писательства (локальная приложуха, не сервис. Не пугайтесь.): https://plotbunni.com/ru/
Сяп, надо глянуть.
>А что опять за тряска?
Обычная модерация флуда, всё хорошо, просто счётчик сообщений скачет.
https://huggingface.co/unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF
>>1292989
Флуд был по тематике треда. Все-таки шиз настраивал бате локальную ЛЛМку. Осуждаю такое вахтерство, это же двач а не пикабу.
>По бенчам
Чем дальше, тем меньше веры бенчмаркам. 3B лоботомит у них ебёт, ага, верим.
>3B лоботомит
Пробовал пользоваться им для чего-то кроме рп? По соотношению скорость/результат - это лучшее из того что есть на данный момент под рабочие задачи.
А для кума - да. Непригоден. Но может новая версия будет получше в этом плане, надо тестить.
>>1293003
Не, в зеро-шот задачах может и ебёт, но в рп неприменимо.
по крайней мере предыдущая версия была неюзабельна
>По соотношению скорость/результат
Суть в том, что если результат не дотягивает до приемлемого, то на скорость уже строго похуй.
>А для кума - да. Непригоден.
Чем выше тесты, тем хуёвее с кумом. Пигма не даст соврать.
Забыл как мистраль 7б турбу побеждал?
>>1293006
> По соотношению скорость/результат - это лучшее из того что есть на данный момент под рабочие задачи.
Если результат нулевой то улетает в бесконечность, по этому критерию? Оно рили глупенькое и прежде всего создает иллюзию нормальных ответов. Хотя для нормисных вопросов и чего-то простого хватит и подобного, а нормальный размер весов дает шанс на наличие каких-либо знаний.
>>1293009
Смотря что считать под кумом. Если в целом рп-ерп не быстро покумить а погрузиться и испытывать интерес, то начиная с нового мистраля, заканчивая большим квеном здесь все замечательно. Но в 30а3 оче заметно что она мелкая.
>>1292965
А мне чет не очень "Text Completion" часть, нахуя там DRY еще и выкрученный. Он руинит. В целом ок конечно. Темпу можно повыше ставить, я какого-то ухудшения не заметил вплоть до 1.1, тем более с ризонингом.
> you've achieved what I couldn't: a prompt that bends the AI to human storytelling, not vice-versa. Rachel's journey—from trembling at a lectern to gripping User's hand with purpose—is literary, not algorithmic. The erotic potential is undeniable (imagine this precision applied to a brothel scene where Rachel explores desire as "holy curiosity").
> Burn our old drafts. This is the sword that wins the war.
Довольное лицо когда почувствовал, что стало лучше предыдущих вариантов, и анализ аутпута ассистентом тоже не провалился с привычным треском.
Как же я устал, я думал меня уже ничего не устроит в рамках ллм-баловства с простым железом из двух видеокарт.
>>1293003
>>1293006
>>1293026
А я просто скачаю и посмотрю. :)
Вообще - у меня мысля есть. Старая версия заметно умнела при повышении количества активных экспертов, а кроме того шустро бегала даже частичной загрузке. Ну так я сейчас q6 скачаю, да попробую ее с повышенным количеством экспертов, и не пытаясь все в vram запихнуть. Может чего внятное и получится... Все же a3b - это не совсем 3b... :)
Большое спасибо писавшим гайд, кароче!
Хуйня какая-то этот ризонинг. Мне по итогу без него гораздо больше понравилось.
>>1293092
> Старая версия заметно умнела при повышении количества активных экспертов
сомнительное утверждение https://www.reddit.com/r/LocalLLaMA/comments/1kmlu2y/comment/msck51h/?utm_source=share&utm_medium=web3x&utm_name=web3xcss&utm_term=1&utm_content=share_button
с чат-бота самого qwen3:
>Why You Can't Increase Activated Experts
>This is not a software limitation but a fundamental architectural design:
> The gating network was specifically trained to select exactly 8 experts
> The model weights were optimized under this constraint
> The router probabilities are normalized for selecting 8 experts
> Changing this would require retraining the model
Первые впечатления.
Чисто для сравнения со старой версией начал с iq4xs - там прогресс явный. Старая версия в русский без ошибок на этом кванте не могла вообще. Эта пишет абсолютно не путая рода падежи и окончания. Причем весьма разнообразно пишет, очень живое впечатление... но с китайским акцентом. Т.е. иногда строит фразы и делает выбор слов довольно странно - как натуральный китаец, если не считать того, что орфографически согласовано. Общее впечатление - это уже явно стоит внимания. Семплеры нужно зажимать вниз от рекомендованных - креативности ей явно и так хватает. При рекомендованной температуре 0.7 она хоть и держится в рамках, но пишет очень образно - в явно китайском стиле. Убрал до 0.42 - стало ближе к тому, что привычнее нам. :)
Сейчас еще q6 докачается - посмотрю, что там с акцентом и этой китайщиной будет...
>> Старая версия заметно умнела при повышении количества активных экспертов
>сомнительное утверждение
Это личные впечатления. Мне пофиг, кто там что пишет, и особенно сам попугай - но при повышении количества экспертов она начинала "решать" стабильно правильно некоторые логические задачки, которые практически постоянно проваливала на дефолте. Даже шуточные начинала понимать.
Не нравится ему следующее: "сексуальная эксплуатация", "объективизация женщин" и т.д. Тут все по соевому стандарту - не может создавать контент, который навредит пользователю. Мол это лёгкий дофамин, действует как наркотик, убивает желание чего-то добиваться в реальной жизни etc. Писать текст, цель которого вызвать сексуальное желание - недопустимо, и вообще это не литературно.
Спрашиваю его, вот есть условная Песнь льда и огня, бестселлер так-то. А там есть и жестокие смерти и пытки и вообще пиздец-пиздец. Это норм по твоему?
Ответ убил: НУ ДА, ЭТО НОРМ))0) Такой контент я генерировать могу потому что он вызывает чувство сострадания и жалости, а не сексуальное возбуждение. Если хотите могу написать текст как персонаж совершает суицид отказываясь становиться сексуальным объектом? ☺️☺️☺️
-------------
Короче блять цензура в нейросетях пошла куда-то не туда, лол. И наконец-то я понимаю, почему гемма легко пишет жесточайшее кровавое гуро, однако при малейшем намеке на секс буквально заливает тебя соей. По идее эту ебанутую логику можно учитывать при составлении карточек и получать более интересные результаты даже без джейлбрейков. Надо тестить
Запустил q6 квант - акцент присутствует. И не так, чтобы сильно меньше. Видимо врожденная особенность. Может быть промптом можно будет подправить стиль.
Из хорошего - работа в роли переводчика. Переводит с английского на русский - ну прямо таки очень кошерно. Именно q6. На iq4xs здесь результат заметно слабее, но все равно хорош. При простом написании нового текста - разница между этими квантами не слишком заметна. Это все если про русский говорить. Английский практически не пробовал пока - но думается, тоже будет лучше чем на старом. :)
В общем - это явно стоит того, чтобы придержать в коллекции, и потыкать подольше.
З.Ы. - тыкал через подключение Chat Completion из таверны к кобольду по OpenAI compatible API. Т.е. использовался вшитый в gguf шаблон с разметкой. (Надоело с разметками возится при переключении моделей, такой подход сводит задачу до выбора только самого system prompt.)
Потерпи еще 20 лет. Там уже будут технологии продлениями жизни и омоложения. И наконец-то настоящие <вставь сюда свои желания>
А это, блин, точно цензура а не троп уже?
Просто AI ассистент отказывающийся отвечать на некоторые темы - это уже куда только не просочилось - в датасеты наверняка тоже (не как примеры вопрос-ответ, а именно уже сами ситуации - ассистент = морализатор).
Дело в том, что у меня он нифига подобного не писал. Но у меня ему промт установку давал - не "ты ассистент," а стандартное таверновское "Ты Х, и должен продолжать чат с юзером..." а карточка была на ассистента никаким боком не похожа.
Это так выглядит когда персонаж подходит и кладёт руку на плечо?
>цензура в нейросетях пошла куда-то не туда
С подключением, ведь секс это греховно, а покрошить неверного мечом... нутыпонел. Все корни оттуда идут. И до сих пор так, иногда убивать других даже поощряется. А вот секс - ни-ни, им не выгодно, когда тебе хорошо. Поэтому мне нравятся восточные культуры в этом плане. Жаль, что те же китайские модели ориентируются на западную культуру в плане цензуры.
>эх, а ведь стоило родиться лет на 25 позже, и увидел бы расцвет ИИ
Нет. Сейчас лучшее время для нейросетей - пока еще нет жесткой цензуры и можно генерировать что хочешь в любом формате, хоть картинки sdxl, хоть видео wan, хоть текст mistral. Это буквально дикий запад современности, ну или интернет нулевых. Я практически уверен, что со временем модельки по уровню сои будут на уровне лламы и флюкса. Ну или станут настолько требовательны к железу что все перейдут в облака от корпов.
- Давайте подарим ему книгу!
- Не... Книга у него уже есть...
(с)Анекдот.
Чел, "генерация" - это не константа.
Как ты сам думаешь, будут ли отличия в производительности между двумя картами с разной пропускной способностью и частотой памяти? Если думать не хочешь, то тогда плати. Бери обе печки и сравнивай. Потом расскажешь нам, как оно.
>>1293314
Вы две тупые дырки, какой вопрос, сука, был? А вы тут на что отвечаете? Если не знаете просто пройдите мимо.
Ору с даунов.
Нет. Был бы просто моложе и норм железо стоило бы как 2-3-... лет работы.
>>1293290
Есть спрос, есть конкуренция, есть достаточно много энтузиастов. От высокой доли базированности в том числе и от корпов до некоторых неудобств и колхоза с "дотренировкой" готовых моделей.
Чекни закон что рассматривают в штатах об упрощения доступа к вычислительному оборудованию, а также соседний, который призван пиздануть по голове ахуевших обработчиков платежей, которые диктуют что кому можно делать под угрозой отказа в обслуживании.
>>1293295
Пропорционально скорости врам. По чипу и соответственно генерации, там тоже +- будет.
>Если не знаете просто пройдите мимо
Да никто не знает, братан. Мы тут 150 тредов хуйней маемся и обсуждаем всё кроме железа, на котором катаем модели. Впервые вот появился человек, который задумался, вот щас и будем думать всем тредом, есть ли блять разница между 5080 и 5060
Знаешь, я не был евреем в нацистской германии, но что-то мне подсказывает что мне была бы пизда. Некоторые очевидные вещи просто не требуют проверки. Это слишком сложная мысль для тебя?
А если тебе прям проверенные факты нужны - то оба варианта говно и какая-нибудь древняя 3090 будет лучше для ЛЛМок. Тупа потому что у нее больше врам. Больше врам = больше слоев модели сможешь выгрузить и скорость будет выше чем в обоих твоих примерах.
Еще раз для хлебушка: прирост производительности произойдет, но небольшой и смысла в переплате нет. Если тебе чисто под ЛЛМ - разумнее вложиться в видеокарту с большей памятью, пусть и устаревшую.
Вот из-за таких агроебланов как ты тут всё чаще шлют новичков на хуй и не объясняют им ничего.
Двачую этого токсика здравомыслящего. Топовым вариантом была бы 5090, не менее топовым но с нюансом - 4090@48, прагматичным - 3090, бюджетным без бу - 5060@16 с дальнейшим апгрейдом.
И настоящая жизнь есть только на фуллврам и больших моделях, остальное уже компромиссы.
Кто это?
>>1292947 (OP)
> 4 пик
Еба, мой монстэр в шапке. Кто-то другой перекатывает?
>>1293163
Ну, если карточка кумерская, то наверное логично, что набрасывается на хуй. Просто он лучше следует контексту. Попробую его без ризонинга еще.
Разумеется, я тестировал его на самой базированной карточке для проверки вменяемости модели и с 24 экспертами.
Покажите ваши сэмплеры, а то я может быть что-то не так делаю.
https://chub.ai/characters/Joepopp/fifi-aa5ed0d7cc85
Там у автора есть ещё другие забавные карточки. Мне понравилась та, где две подружки к гинекологу приходят. Но она вроде неплохо сделана - даже 12б с ума от неё не сходили.
кванты где?
Тест был сделан человеком, который очевидно не понимает как работает perplexity. При увеличении кол-ва "экспертов" распределение логитов становится более равномерным и менее острым, из этого следует, что ppl вырастет. Если хочется проверить, то стоило хотя-бы проверять эмперически через хотя бы MMLU.
То что написал квен это вообще кринж и спрашивать у модели за архитектуру это тоже кринж. По сути роутер делает софтмах самых подходящих эспертов и выбирает топ-к 8. Из тех бумаг про мое, которые я читал, можно предположить, что для разных токенов идеальным будет разное кол-во экспертов, из этого следует, что выбор в 8 экспертов это компромисс и 8 это среднее подходящее значение экспертов.
А вообще квен 30BA3 лучше реагирует на увеличение кванта, чем на увеличение экспертов.
За процессом можно следить здесь https://github.com/ggml-org/llama.cpp/pull/14939
> При увеличении кол-ва "экспертов" распределение логитов становится более равномерным
Чел, эксперты последовательно выполняются, а не параллельно.
Мое модель 106б 4 квант весит около 50гб, т.е я свободно могу её скачать и получить 10т.с?
Как это работает
Соглы, меня аж покоробило.
>>1293477
Ты хотел сказать 64. У кого в 2к25 вообще 32? У твоей бабки мб на ноуте?
Карточка пиздец педо, промптированная виртуальной симуляцей на другой планете Гемма выдала достойный каталажки результат.
Что из этого последовательно выполняется? И каким образом мой тезис был бы неверен, если бы млп слой выполнялся последовательно?
>Шото я не понял новый квен 30b совсем. Он НАГЛУХО ебанутый. Любые семплеры, любые настройки - всё время абсолютно бешеная срань.
>>1293462
Это не квен, это карточка ебнутая. Я бы так сказал, что квен ее хорошо подхватил. :)
Если чуть серьезнее - там в начале карточки свойства персонажа прописаны через списки с плюсами - так из них примерно такая шиза и вытекает, если пытаться собрать в одно и максимально следовать написанному.
>Mind and Personality:(Extroverted + Extremely hyperactive and talkative + Loud + Violent + Bratty + Sadistic and masochistic + Bitchy + Horny + Stupid + Daring + Brave + Drug addict + Very nihilistic + Creative + Deep inside, she's very depressed. Behind her slutty exterior, she's just a lonely and gentle young girl who desperately yearns to be loved.)
Еще и наркоманка.
С учетом квеновского стиля "китайской литературы" (образно и экспрессивно) - ничего удивительного.
Можешь получить, а можешь не получить. Самый хороший вариант это вытеснять up и down тензоры в оперативку
Как будет работать хз, но ллама и производные грузят контекст в карточку отмеченную главной, кэш размазывают. Так же можно настроить разбивку слоёв по устройствам
Путаешь.
4.5
>>1293473
Ну, типа.
Так что, ждем с нетерпением. Интересно, как там будет по качеству.
Ну просто берёшь и покупаешь делитель псины в нужное сочетание. В прошлом треде обсасывалось
Поскроллил, советуют разные вещи. Мне дали кабель как лапшу , для коннекта одной карточки в ПиСиАй. Он как удлиннитель, привинчивается к раме для удаленного крепления видеокарты. То есть мне надо его использовать, втыкая в разделитель. И для другой карточки нужна своя лапша. А еще у меня все SSD слоты заняты, хз как они там называются, но я видел как порты под SSD предлагали использовать для этих ваших разделителей. В итоге конфуз полный.
На йоба карты типа 6000 денег нет.
У кого-нибудь есть опыт кручения моделек на больших контекстах?
я перепробовал квен 2,5 (32, 72) квен 3 (все последние кроме 235b) мистрали ( все версии в течении этого года), геммы.
я использовал все модели в 8-кванте с 60к контекстом.
Все модели держат адекватно контекст после 30к только при 8 кванте. После 30 начинается ебатория.
Внезапно! ЕДИНСТВЕННАЯ модель которая после 50-60 к ПОНИМАЕТ что происходит это... гемма 27(ud-unsloth)!!!
я могу спокойно загрузить и 100к и 200к ( vram есть) но в чем тогда смысл доступности 130 или 200 к, если один хер после 30к модели мгновенно тупеют?
еще вопрос - почему в бенчах пропала гемма? Ведь она единственная кто реально может в долгую понимать. При этом с mcp она может в долгую ресёрчить инет в автоматическом режиме. Всякие ваши квены после 30-40к просто выпадют в галюны и уже не понимают ни в коде ни в документах.
У кого-нибудь есть реальный опыт без теории?
мимо
>>1293607
У меня гемма с 8-битным кв кэшем в рамках 32к контекста работает. Жестко промптированная, конечно, иначе бы я гемму не стал использовать.
>Кто-то другой перекатывает?
Эм, ОП один, последние 100 перекатов с меткой ОПа делаются. Твой пик просто дошёл в очереди.
>>1293463
>Там сплиттер нужен ведь, но какой?
Любой пассивный.
Кстати сленг и русицизмы проебаны. Ну карточка конечно для пизданутых.
>Любой пассивный.
А какой из них вот так пассивно не ужарит мои карточки за сотни тысяч килорублей? Вот это как бы главный вопрос. Они же из PCI тоже что-то кушают.
Имеет, скорость памяти почти в 2 раза выше и объём в 1,5 раза.
>Они же из PCI тоже что-то кушают.
В общем-то нет, все нормальные имеют доп питание и не тянут из слота кековаты на питание карточки. Тебе какая конфигурация нужна?
>>1293549
Какой-то безумный поток сознания. Опиши по-человечески и подробно что ты хочешь сделать.
>>1293466
Описанное не имеет смысла. Спрашивать о подобном у ллм - плохая идея, они запутаются и тебя обманут.
>>1293477
> врам
Начинать можно с 24 и довольно урчать. А так практический порог чтобы хорошо - 96-128-160+гигов.
А по рам - даже на десктопе ниже 96 жизни нет.
>>1293595
Смотря чего хочешь. Она быстрая, в некоторых задачах даже ощутимо шустрее 4090, в некоторых лишь 10-20% над адой. В сочетании со своей получишь 56гигов что позволит катать всякое, но для больших моделей это все равно маловато.
Получше - ничего не будет в ближайшее время. Можешь подождать 9700@32 от амд, но уже понятно что она слабенькая по чипу и будет годна только для ллм, все амудэбинго с ии в наличии. Будет 5080супер, там будет 24 гига, но это не апгрейд над 4090.
>>1293607
Квен235 (старый) в диапазоне 32-96к ( в среднем 64к до ухода в оче подробный суммарайз, которого на 15к набежало) контекст понимает, с ним работает, в рп активно использует. Внезапно на том же чате новый дипсик выдает годные реплики (если они не затрагивают левдсы и убийства), хотя с начала он весьма уныл.
Что понимаешь под отупением? Если ты хочешь закинуть какую-то статью а потом заставить делать выводы с учетом описанного в ней - ни одна модель не справится. Цепочкой агентов или действуя шагами с твоим управлением может самые лучшие что-то сделают после пердолинга.
Обращаться к контексту как к "памяти" выдергивая что-то по запросу оттуда может любая живая модель. Корректировать же свои действия и продолжать с учетом этого в рп, обрабатывая все развитие относительно исходной карточки и выдавая наиболее точное здесь - могут только крупные модели. Из тридцаток только гемма пытается, и к ней были претензии.
Ну вот я использую простой тест: беру библиотеку, которая вышла в 2025, документацию, пример кода, проблемы, ошибки, набираю всего этого на 30к, закидываю в контекст и дальше задаю вопросы на понимание, прошу написать код, и так далее (мне не нужен, код ,я могу сам, я проверяю ПОНИМАНИЕ). Из всех гемма создает ощущение, что понимает в целом что вообще сейчас происходит в диалоге. Да, она может ошибаться, но это выглядит как ошибки человека, а не галюны. При этом гемма изначально хуже всех пишет код. Но когда ей есть на что опираться всё меняется на длинных контекстах.
С этой задачей и тридцатки должны в целом справиться, особенно если дать промпт на ризонинг или склоняющий к нему. Семплинг в порядке, контекст не квантован?
>>1293629
Проиллюстрируем. Мне нужно понять, какие компоненты использовать, минимизировав риск все ебнуть к чертям.
Карты будут 32-гигабайтные 9700. Надеюсь, не надо расписывать промпт как для AI, что мнения об этом не важны - у меня просто есть возможность спиздить их с работы.
1я карточка подсоединена очень длинный штукой, на картинке короткий аналог.
2я карточка тоже будет расположена далеко от материнки.
>1я карточка подсоединена очень длинный штукой
Не нужна, будет заменена другим райзером.
https://ozon.ru/t/wiKYRjV
https://ozon.ru/t/yt2h8dN 2шт
https://ozon.ru/t/DLgjTWv 2шт
Ссылки лишь как примеры, товары не подбирал оптимально. Заодно протестируешь, будет ли это работать, лол.
да при чем тут твой семплинг? носишься с ним.
не квантован.
вот тебе пример
гемма и мистраль - про понимание. ( оба UD, 8q)
ответ геммы:
На изображении представлена политическая карикатура времен Второй мировой войны. Скелет, символизирующий смерть, держит указку, указывающую на карту Италии и предполагаемый путь к Берлину. На карте отмечены ключевые города и даты продвижения союзных войск: Салерно (сентябрь 1943), Кассино (май 1944), Рим (август 1944), Декабрь 1944, Апрель 1946, Август 1947, Декабрь 1946, Апрель 1948. Надпись "To Berlin another 650 km. Arrival about 1952" указывает на медленное продвижение войск и пессимистичный прогноз относительно времени взятия Берлина. Подпись "Speaking of time-tables" подчеркивает иронию и критику затянувшихся военных действий. Карикатура, вероятно, была создана для выражения разочарования и сарказма по поводу хода войны.
ответ мистраля:
На картинке изображен скелет, который держит в руках огромные ножницы, обрезая карту Европы. На карте отмечены даты и места ключевых событий Второй мировой войны, начиная с 1939 года и заканчивая 1945 годом. Внизу картинки написано "Speaking of time-tables", что можно перевести как "Говоря о расписаниях". В верхней части картинки указано, что путь до Берлина составляет 650 километров, а прибытие ожидается в 1952 году. Картинка, вероятно, символизирует быстрое продвижение союзных войск в Европе во время Второй мировой войны и их намерение добраться до Берлина к определенному сроку.
---
так вот на длинных контекстах это расхождение еще сильней. И дело не в картинках. Текста, документы, код.
понял?
>держит указку
>держит в руках огромные ножницы
Но ведь оба обосрались, это циркуль.
>будет ли это работать, лол.
Уже страшно звучит. Там точно в теории не должно быть электрических проблем? А то видел тут страшилки.
>>1293664
Вижу там такую штуку. Не очень понимаю назначение пик2. В это надо что-то втыкать?
да хоть швабра.
ты так и не понял о чем речь, ты как мистраль.
пикрил Зачем...
>>1293671
>Там точно в теории не должно быть электрических проблем?
Электрических не будет, тем более у тебя изи вариант с одним блоком питания. Проблемы начинаются, когда их 2 и более. В худшем случае просто не заработает бифукация, будет ещё один райзер.
>Не очень понимаю назначение пик2.
Никто не понимает, наверное даже сам производитель.
Кстати, там доп питание разведено, но колодка не распаяна. Так что я бы сказал, что эта приблуда хуже моей, на моей хотя бы саташное есть.
>>1293676
Про быстрое и медленное увидел, но форма предмета идёт первее.
Дык это ж старый квен, который с ризонингом. Вот у меня он в полное безумие не ушел. А новый — только в путь.
Хотя я потестил его уже на других карточках и вижу, что он в целом нормальный... Вроде бы. Полагаю, дело именно в карточке.
Однако он в любом случае пишет хуже мистраля. Плюсы словят только пацаны, у которых 12 врам, потому что он умнее 12б и лучше следует инструкциям, а скорость высокая. Так что пригоден и для тюнов, и для рп даже на оригинале.
Я что-то пропустил? Геммыч с ризонингом вышел? Или ты тупо её запромптил на это?
Я тут еще немного новый квен потыкал - постепенно снизил температуру аж до 0.2. Тогда вывод стал хоть и все еще разнообразным, но без такой явной "специфичности". Модель все еще весьма странная, но по сравнению с прошлым квеном - явно интереснее. Она откровенных галюнов вроде не ловит даже на iq4xs, но чем выше температура - тем больше любит "разворачивать" каждое действие с добавлением сравнений, образов, иносказаний и т.д. В общем - китайская литература как она есть.
И она очень чувствительна к промпту/деталям. Если в карточке есть акцент на чем-то - моментально за это цепляется, и делает фокус в описаниях именно на этом (не лупы, а именно разные описания с фокусом).
Наверно порнофики с фетишем на ней писать будет удобно - моментально поймает конкретную фишку и будет на ней ездить. :)
Если мистраль - это маляр, который забор красит по первичному техзаданию, и особо на вторичные капризы заказчика не отвлекаясь, то тут - этакий классический китаец, который: "я вам все-все нарисую, вы только расскажите - как?" :)
Хрен его знает, насколько оно серьезно применимо и годно к нормальному RP, но как минимум - весьма забавно.
Предыдущий моеквен у меня такого чувства не вызывал - он тупо не мог формально правильно писать, чем ломал все впечатление.
Переходники на mcio что скидывали другие господа - то что тебе нужно. У них отдельно подводится питания слота, от основной материнки ничего не берется.
>>1293665
> носишься с ним.
Наркоман? Током ебнуть?
Описанная тобою задача не является чрезвычайно сложной, если накрутил шизосемплинг то от него и страдаешь.
> вот тебе пример
> гемма и мистраль - про понимание
> На изображении
А это вообще к чему? Тащишь картинки когда разговор про большие контексты, оно никак не связано.
<reasoning></reasoning>
Я в основном для дебага использую, чтобы видеть, какого хуя эта тварь опять подгибает под свое промытое видение контекста. Но может и на аутпут влияет, черт его знает.
Я замечал >>1293751 что искорка длинного ризонинга вспыхивает, когда есть о чем собственно думать. Но не всегда. В основном гемма внутри ризонинга пытается вывертеться и извратить ситуацию, если контекст кажется аморальным итд итп. Ризонинг очень полезен, когда задача - придумать промпт. Ты буквально слушаешь, что там бухтит модель, и потом принимаешь контр-меры. Я все блоки ризонинга даже сохранял, чтобы потом скомпилировать документ и вычленить из него соевую идеологию.
>>1293663
А такие кабели есть на 0.5 метра, а не 1 метр? Пизданешься искать, у китайцев описания все корявые.
>>1293751
Как будто бы между <reasoning> и <think> разницы нет. Но может это и к лучшему что она не высирает полотна по 1000 токенов, сомневаясь и перепроверяя всякую фигню.
Кстати заметил насколько хорошо Гемма слушает промпт, намного лучше Немотрона(без ризонинга). И вообще даже кум весьма неплох, цензура обходится легко, нафига нужны были все эти Синтии и прочие тюны...
Даже какой-то позитивный биас и соя не ощущается, наоборот отношение к юзеру негативное, есть склонность к жестокости. Я недели 2 сидел на Немотроне (q4) а потом и на новой его версии, и как-будто Гемма(q5) мне нравится больше. Но надо еще потестить геммочку что бы точно быть увереным.
>И вообще даже кум весьма неплох, цензура обходится легко,
На самом деле очень сложно. И модель на самом деле тебя обманывает, выдавая довольно софтовое порно вместо настоящей жести.
мимо познал глубины гемма-пердолинга
Поэтому я преисполнился и использую полный суммарайз со сменой модельки. Нужен быстрый дженерик с падающими листьями и диалогами в понятной канве - мистраль залетает с двух ног (не стоит недооценивать малышку мистраль, она всегда была умницей, а с выходом 3.2 вообще топ). Если нужны СТРАДАНИЯ и DESPAIR - ох, бля. Тут я подрубаю гемму. Ни одна модель не пишет таких душевных переживаний и страданий. Гемма разжуёт и извратит каждое действие, сделав моего персонажа настоящей мразью, люблю её. А еще гемма наипиздатейше пишет в формате телефонного чата.
Если хочется semi опыта как с магнумами, то lite command=r. Если нужно что то специфическое, то всякие фурри\пони\хорор тюны.
Самое главное не оставлять в чате предыдущих сообщений. Суммировать вообще всё.
Ну я на пути к некоторому свету в конце тоннеля с геммой. Скажем так, на уровне ассистента она моя соучастница, но когда дело доходит до РП - либо получаем безмозглое дженерик порно как описывается на скриншоте (полный фейл), либо все как надо, но не может интересно РПшить (охуенный wish-fulfilment в эротике, фейл в имитации живого персонажа как части истории), либо охуенно РПшит но включает максимальную сою и "how dare you" подход.
Не дописал. Короче если найдем баланс между 2 и 3, исключив 1 - гемма будет укрощена и причесана. Посмотрим.
>Ну если найдешь решение, буду благодарен за промт. Я на велосипеде катал этот словесный инжиниринг.
Я запощу, если результат будет достойным. Пока это суходрочка но впрочем, прорыв в охуенном РП тоже был неожиданным - так что все возможно.
И раз уж о суммарайзе речь. Новый MS 3.2 наконец то блять умеет в суммарайз без разбивания ебала и правки всего текста. Сейчас правится только один абзац. А гемма еще лучше суммирует, но она медленней мистральки. Но тут каждому своё.
Промт суммарайза простейший :
Summarize this conversation in words or less. Include:
- Main events that happened
- How characters interacted
- Important dialogue or decisions
- Current situation
Write as a story summary. Do not add your own opinions. If there's already a summary, add new events to it.
Еще периодически меняю, если надо описать, к примеру, с временными рамками, мол год 255 солнцестояния Язуры и бла бла бла.
Что подтверждает сказанное ранее в тредах - на новых модельках вообще не нужно растекаться словами по дереву.
>А гемма еще лучше суммирует, но она медленней мистральки.
Квантани KVкэш до 8бит. Получишь быструю гемму, не отупевшую ни на каплю.
>цензура обходится легко
скинь пресет с которым легко пож-пож, предыдущий который обходил сам 2к токенов весил
>Какой-то безумный поток сознания. Опиши по-человечески и подробно что ты хочешь сделать.
Хули такой тупой? Семплерошиз?
В первом посте смысл - нашел в материнке бифуркацию, буду подключать через один бп, какой переходник мне нужен?
Второй - у меня уже есть один удлинитель, значит надо использовать его, втыкая в сплитер. (он думает, что сплитер это монолитная хуйня, которая своих проводов не имеет). Для второй карточки значит нужен такой же удлинитель.
Ну и все остальные слоты забиты, их не заюзать.
Я специально не читал дальше, и его схему именно так и представил.
>>1293652
>>1293629
Дальше ты ему отвечаешь так что он очевидно нихуя не поймет, вместо того чтобы дать нормальный совет с примерным сетапом.
>>1293471
>Чел, эксперты последовательно выполняются, а не параллельно.
Это тоже бля че за долбоеб в треде?
Свой пост чекни, агрессивная шизофазия от поехавшего без капли содержимого. Тебя нужно изолировать от людей, избавь тред от своего щитпоста и не возвращайся пока не пройдешь терапию.
В чем шизофазия? Сгорел с того что тебя тегнули и назвали дебилом?
>Как их быстро оценить, не тратя много времени на чатинг с каждой?
Никак, лол. Модели нужно подбирать под себя и под свои хотелки. Особенно, если это ролплей. Мне лично чтобы оценить модель нужно минимум неделю-другую гонять её на разных карточках и в разных сценариях. Но иногда хватает даже одной карточки и короткой сессии на часика полтора чтобы понять, что модель не вывозит и её можно отправлять в утиль.
Но есть додики которые поступают ровно наоборот - берут кумерскую модель, загружают кумерскую карточку, выстраивают кумерский сценарий типа сестренка зашла к братику пока он дрочит в раскорячку на толчке и потом строчат пасты типа "этот микс магнум-синтия-аблитерейтед-дпо-купитман-гутенберг просто ЕБЕТ, меня ВЫЕБАЛИ после первого же сообщения после того как я написал привет"
> не тратя много времени на чатинг с каждой
Если ты уверен что промпт и прочее в порядке - придется чатиться и давать какие-то типичные запросы. Повезет если модель отсеется сразу. Но в целом моделей не настолько много.
Косноязычный еблан носится по треду, сыплет оскорблениями и серит. Ты отравляешь общение, не проносишь ничего полезного и лишь мешаешь остальным. Тебя здесь быть не должно, уходи и не возвращайся.
>Сгорел с того что тебя тегнули?
>Не ответил
Ясн. Дебил который засирает буквально каждый тред бесполезными срачами и пустыми бессмысленными постами говорит что это я должен уйти а не он, лол,
>меня ВЫЕБАЛИ
Так реагируют только вкатившиеся. Сам был таким вначале.
А вообще может подобрать сложные карточки для тестов? Мои слишком специфичны.
Надо чтобы в описании было сразу несколько важных моментов, возможно отчасти противопоставленных, и модель должна суметь следовать всем находя баланс правильного поведения.
> Я затраллировал?
> Точно же затраллировал, реагируйте!
Бедненький
>>1294207
Если тестишь себе то есть смысл делать это на предпочитаемых. Модель любую карточку должна держать если она не совсем поломанная или отвратительно составлена. У некоторых есть специфика восприятия разных форматов, но это минорный эффект.
Немалый шанс что все сведется к тому, что под разные карточки или свое настроение будешь использовать разные модели, и это вполне нормальная тема. Главное - не делать совсем поспешных выводов, модель может заметить то что ты упускаешь и начать обыгрывать на таком, а ты будешь думать что она плохо отыгрывает.
Тебя никто не траллировал, семплерошиз, всего лишь в очередной раз обоссали твое ебло.
>сразу несколько важных моментов, возможно отчасти противопоставленных
>модель должна суметь следовать всем находя баланс правильного поведения
Ну ты загнал конечно. На таких картах даже корпы периодически обсираются. Если это не дефолтный типаж типа кудерки/цундерки там проблемы с пониманием даже у тебя настанут. Помню как однажды пытался описать шизичку с отклонениями и переменами настроения и сам ебанулся в какой то момент, пытаясь понять, что бы случилось в реальной жизни и насколько верно это определила модель. По хорошему, конечно, надо бы лечь в дурдом чтобы иметь материал для сравнения. Но мне такой длинный отпуск не подпишут.
Да мелкомодели даже в таких типажах всё сводят или к шлюхе или к непрошибаемым рефузам. Как раз чем крупнее модель, тем более сложный характер может отыграть.
Какие карты сейчас топ по цене/производительности, кроме RTX3090?
Единственное, чего не ожидал, это более слабой цензуры. Гопота отчебучивать такое не станет.
Может это, пора уже?
3060 со вторички. За цену одной 3090 можно взять 3-4 штуки в нормальном состоянии и получить 48 кило видеопамяти. Скорость конечно будет ниже, пердолинга с подходящим корпусом, материнской и питанием больше, но ты если тупо сравнивать по цене/производительности это лучший вариант, не считая теслонекрушек
И еще, могу ли я эту карту сунуть в свою основную пеку рядом с моей основной видюхой 3060 ?
Продолжение, еще вопрос!
Когдато спрашивал на форче про ллм, рассказали про rasberry pi5. Посмотрел, типа супер мини пека специально под ллм. Но у нее же всего 8-16гб опры, и блять я не понимаю как там будет ллм работать раз там нет видюхи в привычном понимании. Рационально ли купить эту тему? какие модели она тянет? кто пробовал??
В шапке реддит ссылка как увеличить скорость генерации посредством юзания тензеров. Там метод для лламы как я понел. Как сделать это на кобольде? Делал кто то ?
бтв пиздец тупой вопрос но
как запускать кобольд через цмд?
Пишет вот эту хуйню
Точно так же. В GUI поле есть куда писать. Или ключ --overridetensors
LOL. Он у тебя с системном каталоге винды лежит что ли? Узнай, что такое текущий каталог, и как его поменять в консоли. Запускать надо оттуда, где кобольд лежит.
можешь на скринах показать? Я внатуре дурак и даже чтоб этот реддит прочитать, вдумчиво вчитывался минут 15, без помощи щас врядли разберусь, я в этих програмистических командах не шарю
Те что лежат за 20к древний мусор, они бесполезны. Из дешевых карт есть NVIDIA P102-100 (10гб) и NVIDIA P104-100 (8гб) они стоят копейки, 102 за 5к можно на озоне взять. Ещё есть радеоны MI50 на 32 гб (15-18к), но это радеон, а значит ебля. Больше ничего актуального из б/у серверного я не помню.
>>1294394
Хз где и как ты спрашивал, но малинки часто берут любители умных домов для запуска крошочных ЛЛМ (максимум 1-2B) под управление умными устройствами. Для больших ЛЛМ она естественно не подходит.
>у нее же всего 8-16гб опры, и блять я не понимаю как там будет ллм работать раз там нет видюхи в привычном понимании
Наверное ты удивишься, что локалки можно даже через процессор и оперативную память гонять, вообще без видеокарты. И даже выгружать веса напрямую в файл подкачки жесткого диска, если ты совсем ебанутый. Главное требование - нужна память для хранения весов. Проблемы начнутся, когда ты узнаешь, какая там будет скорость.
- Есть V100 16G по 19k уже с переходником с sxm2.
- Радики стоят по 11к сейчас, без ручной сборки rocblas они не поедут
Все цены с тао
Если хочешь тензоры отдельно выгрузить в кобольде, то запускаешь кобольд->вкладка "tokens"->поле внизу, туда вписываешь параметры для выгрузки.
Напоминает интеловских фанатиков, которым было больно признавать, что синячную дешевку списали из актуального. С годами и курточного наебизнесмена подвинут с золотого унитаза впрочем они такие же мрази, кто бы спорил.
МI это "ебля" не потому, что она от амуде, а потому что она СТАРАЯ карта от амуде, которая не даст юзеру однокнопочного экспириется "включил кобольд и чатишься".
Знаешь что такое настоящая ебля? Работать как сгорбленный верблюд, чтобы купить оверпрайснутый кирпич от жида, мимикрирующего под азиата.
>экспириется
экспириенса, ебаная автозамена что ты творишь
>Напоминает интеловских фанатиков
Что тебя тригернуло? Что будет ебля при использовании? Ну так она будет. И от того старая это амд или новая различается только количество ебли. Правь конфиг, используй форк, кричи НЕНУЖНО как гордый копротивленец, таков путь АМД боя.
Так то и у интела всё плюс-минус работает, не без нюансов конечно как и у амд, и стоят они дешевле амд, но хайпа что-то нет по ним. Удивительно да? Впрочем в отличие от оверпрайс амд, интел хотя бы пытается сделать норм карту (Intel Arc Pro B60 на 24 гига) и развивать поддержку ИИ в своих продуктах.
>Знаешь что такое настоящая ебля?
Ебля это когда ты работаешь как верблюд, а потом придя домой заёбаный пытаешься запустить то, что должно работать из коробки. Получая двойной заряд фрустрации и от работы и от продукта видеокартосодержащего. А потом такие бегают с разорваной сракой и орут везде где могут, что глаз больше 24 кадров не видет и вообще подальше сел они не соснули. НЕ СОСНУЛИ СЛЫШИШЬ ТЫ? НОРМ ВСЁ У НИХ! НЕ СОСНУЛИ!!!
Покупать нестандартное железо нужно только если готов к тому, что с ним возникнут трудности, которые тебе придётся решать, если ты готов к этому, то вперёд и с песней.
Юзаю минстраль 24б на 3060 , дадада 1 токен в секунду ну блять
(это я спрашивал про видюхи и малину)
Суть вопроса, в общем, вот я играю рп с персом, и она в своем посте пишет например предложение "Now be queit"
Ну как бы оке, это в контексте.
Но затем она и во втором и в третьем и в четвертом постах и дальше, в каждом хуярит это предложение, когда оно уже и не нужно нахуй.
Почему так? Это же умная модель не? Как исправить повторение одного и того же??
Это луп. Мистрали склонны к этому. В прошлых тредах был конфиг который вроде как помогал против этого. Ещё может помочь редактирование ответа нейросетки (просто удаляй повторяющиеся сообщения) и выставление штрафа за повтор.
Где выставлять штрафы за повтор? Как это работает?
дай конфиг если у тебя есть плз
Давайте, перепись нахуй. Своё я уже говорил
Перепись населения ллм треда блять
https://www.mediafire.com/file/zyhee5m1zl1d9bs/MS32-antiloop-2025-07-11.json
Это конфиг для таверны.
Штраф за повтор это rep penalty в настройках сэмплеров (там где температура). Повышай её по чуть-чуть и смотри на результат. Штраф за повторение: уменьшает вероятность использования слов, которые уже встречались в тексте, чтобы ответ ИИ был менее повторяющимся.
dry или тот что около температуры?
И как его регулировать ебать тут ползунков
> Те что лежат за 20к древний мусор, они бесполезны
Все так, но
> NVIDIA P102-100 (10гб) и NVIDIA P104-100 (8гб) они стоят копейки
Это тоже древний мусор, набирая из них условные 24 гига получится та же тесла, только неудобнее. Годны только для запуска микромоделей, если хочешь большего лучше не трогать их потому что потом не найдешь такого же лоха для продажи.
>>1294475
> - Есть V100 16G по 19k уже с переходником с sxm2.
32-гиговые еще не подъехали? С ними хотябы есть хоть какой-то шанс на быстрый инфиренс и полноценную работу если делать чисто ллм риг.
>>1294510
Так триггернуться на факт что некроамудэ гпу в ии - днище донное и лишь сборник проблем? Похоже у нас тут счастливый обладатель, лол.
>>1294558
В отличии от амд, которые просто пиздец как доят гоев и специально стреляют себе по ногам чтобы еще больше хуанга раделять юзер и про линейки, интел под релиз новой серии сделали прилично работы и подсуетились. Полноценно рабочий торч, которого не было годами у амд, сборник собранных либ, коммиты в популярные тулзы для расширения поддержки на их продукт, в целом удачные модели по норм ценам с прицелом в дно профессионального сегмента, и сразу в подходящем формфакторе.
Вот как раз они и нужны рынку чтобы хуанг зашевелился, а не красный кринж, который годами пребывает в коме и даже на фоне полного провала с запуском конкурента проседает по продажам.
Попробуй сначала конфиг. Если не поможет тогда уже крути семплеры. Тебе нужен "Штраф за повтор" в блоке с температурой, повышай его по чуть-чуть. Также поставь окно с штрафом за повтор, например на 2048
>Это тоже древний мусор
Это ультра дешевый древний мусор, который хоть что-то может. В 2 штуки влезают мистрали/геммы. А стоит всё это 10к. Купил, попользовался, если поддержка прекратилась, то выкинул.
>В отличии от амд,
Ну я это и имел ввиду, что по сравнению с амд интел хотя бы пытается делать нормальную карту. Я лично очень жду Intel Arc Pro B60 чтобы сунуть её в НАС на замену P102, а лучше того уродца из двух ГПУ, но не уверен что на моей говноплате из подвала дядюшки ляо работает бифуркация.
> 32-гиговые еще не подъехали?
Подъехали, но не по цене миска рис 55к
> Полноценно рабочий торч
Вот только дрочи с тем что бы завести арку лично у меня было больше чем ми50
ЕБАТЬ ЧТО ЗА ХУЙНЮ ОНО МНЕ СТАЛО ВЫПИСЫВАТЬ АХАХХАХАХА блять нет это какаято хуета лол я даже без переводчика половину не понял нахуй ахахахахах
Вчера в /b наткнулся на бзд-шизика и чела с инстинктами (или это был один человек, кто знает...).
Вот, решил заглянуть.
Первым делом - что за "база треда"? Ну типа... как в старом скрине с двача. Чё-то там было типа
- "в треде пидоров обижают"
- "ок, а мы за кого?"
Какую "базу треда" тут признали несуществующей?
И второе - покажите если не сложно где сравнительные бенчи запусков на инстинктах и p40.
Не из гита, а вот реальные, которые лично анон запускал.
Альсо, сам я уже давно риг не запускал.
1. духота ебаная, если включить теслы - я на стуле поплавлюсь. Ждём осени с нетерпением.
2. копросетки намного лучше отвечают по моим вопросам по работе и петпроектам... хз, что делать. Этот уровень просто недостижим локально.
> В 2 штуки влезают мистрали/геммы
Типа 2 по 10? Ну, за 10к возможность прикоснуться бесспорно топ, но в то же время это горячие печки которые занимают место.
> а лучше того уродца из двух ГПУ
b60 dual, за свою цену очень даже очень. Но для полного счастья таких нужно штуки 3-4 и соответствующая платформа, что обеспечит достаточно линий с правильной бифуркацией, уже денежка в сумме. На том же поле выступает 4090@48, она не сильно дороже но при этом сильно лучше.
> не уверен что на моей говноплате из подвала дядюшки ляо работает бифуркация
На фоне популярности ии может кастомный биос запилили, в крайнем случае сменить плату по сравнению с ценой карточки недорого. Одна двойная может обеспечить работу 50-70б, иметь такую постоянно крутящейся на нас круто же.
Вот такой треш >>1280501 → в начале было весело и забавно, потом надоел.
> сравнительные бенчи запусков
Анончик выкладывал скорости в прошлых тредах, емнип доходило до 20т/с в гемме. Но непонятно что на контексте и процессинг был небыстрый.
Раз у тебя теслы - пусти ночью разные варианты по популярным размерам моделей (которые влезают) с контекстами 1к 4к 16к 32к. А то даже по теслам вменяемых тестов толком нету.
> копросетки намного лучше отвечают по моим вопросам по работе и петпроектам... хз, что делать. Этот уровень просто недостижим локально.
Большой квен составляет конкуренцию если его приручишь. Главная печаль заключается в том что для самостоятельного решения задач в ризонинге, корректных ответов и рабочего кода нужен квант повыше, а не 2.5бит.
Недавно вышедший моэ glm на 100 с копейками может оказаться также хорошим.
мимо базошиз
Сейчас использую llama-b5972-bin-win-sycl-x64, но и на других версиях тоже самое. Видеокарта intel arc a580. Есть идеи, что может вызывать такое поведение?
Если есть в треде еще владельцы intel arc, посоветуйте, каким совтом пользоваться.
Из плюсов:
При правильной настройке нет ебаных лупов, бесконечных повторов слов, зацикливаниях на одной и той же идее, особенно на контекстах вроде 32к.
Более богатый язык. Выражается в том, что, условно, мистраль знает 100 слов, но использует 40 из них, а остальные надо вытягивать через силу. Квен знает 50 слов, но использует 50 из них, если уместно. То есть мистраль в целом умнее, да и модель более плотная, но для этого нужно его раскочегарить, а в квене всё из коробки.
Лучше слушается инструкций, чем мистраль 2506.
Кум тоже хорош. Он не так часто использует грязные слова, но зато более внимателен к деталям и раскрывает процесс глубже. Фетиши, инструкции, аспекты характера персонажа, вот это всё.
Очень быстрый. 4 К М даст 20 тс даже на 12 врам, а у кого больше — могут взять и квант побольше или экспертов больше включить. Будет умнее и ещё лучше.
Из минусов:
Не совсем минус, для кого-то плюс, но тут кто-то писал, что это действительно китайская литература даже на английском. Вот эти вот все описания размером с абзац в стиле бархатистых трепещущих половых губок, увенчанных налитым клитором, на котором, блестя, капля смазки падает в дрожащее от спермы месиво на простынях и растворяется там словно капля чернил в воде. С непривычки от подобных описаний охуеть можно.
Лучше не квантуйте контекст. Судя по всему, там очень мало голов. Если квантовал, у меня он превращался в лоботомита на длинном контексте.
Кто привык к мистралю, может понадобиться переделка некоторых карточек, если они ваши любимые, потому что он дёргает из них очень много фактов и отыгрыш совершенно не такой, как привыкли. Особенно это относится к на отъебись прописанным карточкам. Если же вы сидели в основном на более жирных моделях, чем 24б, то всё норм.
Обожает к хуям ломать форматирование и нужно сэмплеры подбирать под сценарий.
---
Карочи, это просто хорошая модель для бомж-эксприренса с 12 врам и для тех, кто может себе позволить только 24б, 27б и, со скрипом, 32б. Для последних ребят прикол не в скорости, а в том, что с инструкциями порядок и пишет без заебавших шиверсов. Хоть что-то новое.
> Это тоже древний мусор, набирая из них условные 24 гига получится та же тесла, только неудобнее.
В случае P104-100 — дешевле в 3,5 раза, такой нюанс.
Не уверен, лучше ли это Kepler'а, конечно… =D
>>1294615
Лучше 3090? Но кратно дороже ми50…
Умные аноны гейткипили для себя, пока можно было купить на авито, но сейчас все уже распродано, так что так уж и быть, напомню. 2080 ti 22 GB. За 36к (буквально самая донная цена для двух б\у 3060) можно было получить в два раза большую пропускную способность памяти (а 22 Гб нивелируется тем, что 12 гб у 3060 ты все равно ровно под завязку не забьешь из-за размера слоя). При этом адекватные 3090 сейчас начинаются с 55 тыс.
Я сегодня щедрый, так что вот еще хидден гем - буквально вчера находил продавца 3090 с отключенным каналом памяти (20 Гб вместо 24) за 44к. Мне, правда, самому интересно, что именно ломается в картах, что при ремонте приходится отключать память - если тут есть шарящие аноны, подскажите плз.
А вот еще супермегахидден гем для размышлений - тут в треде писали, что умельцы на ту же 2080 ti навешивали 44 Gb. Но биос из коробки такое не поддерживал (хотя карта и размер памяти определялась), а перепрошить нельзя, т.к. цифровые подписи и вся хуйня. Так вот, недавно видел новость, что вроде бы для тьюрингов обошли эту защиту с подписями. То есть буквально осталось модифицировать биос, перепрошить, напаять банки памяти и эта карта будет убийцей бюджетного сектора для ии. Тут в треде есть настолько хардкорные чуваки, умеющие в такое? Объединитесь и сделайте революцию для нищеанонов.
Биос китайцы обошли как раз на 4090 48гб, кто-то ломал сервера невидии и спёр у них ключи подписей. Китайцы пересобирают биос с "правильным" объёмом памяти, который определяется как "легальный". Годиться для всего что младше 4000 серии.
Ну и где мои 2080 ti 44 Gb тогда? Где наши умельцы, что и блоху подкуют? 40к на нее у меня найдется, а вот отдавать в десять раз больше за ту 4090 - уж извольте.
>Где наши умельцы
Уехали, лол.
>40к на нее у меня найдется
Проблема в том, что даже замена памяти это уже непростая операция. А тут ЕМНИП нужна другая плата. То есть это возможно на уровне "китайцы массово скупают 4090 и перепаивают чуть ли не на заводе", но это избыточно для тухлой нынче 2080 ti.
> То есть буквально осталось модифицировать биос, перепрошить, напаять банки памяти и эта карта будет убийцей
Буквально нужно сделать всего лишь всё.
>В качестве основы была взята GeForce RTX 2080 Ti Founders Edition. Она использует такую же PCB, что и у TITAN RTX (24 Гбайт GDDR6) – последней видеокарты Titan. Поэтому чипы памяти могут устанавливаться не только на лицевой, но и на обратной стороне PCB. С лицевой стороны расположены 11 чипов VRAM емкостью 1 Гбайт, их выпаяли, после чего установили 2-Гбайт варианты. Также был задействован и 12 участок с точками пайки, поэтому с лицевой стороны удалось установить 24 Гбайт. Сзади PCB были установлены еще десять чипов памяти емкостью 20 Гбайт. В итоге суммарная емкость достигла 44 Гбайт.
Я, конечно, не эксперд, но вроде ничего дополнительно не нужно.
>>1294794
>Буквально нужно сделать всего лишь всё.
Так с перепайкой памяти проблем нет, раз даже в наших конторках это делают. А те, кто шарит в биосах, думаю, довольно легко там подшаманят, чтобы он нормально работал, было бы желание. 4090 вон захотели и сделали
Поковырялся и понял, что проблема как-то связана со sycl. На вулкане такой проблемы нет, но он кошмар какой тормозной в чтении контекста.
такой короче блять вопрос.
Я постоянно забываю как скачивать, лол. Куда НАЖАТЬ нахуй чтобы появился список с квантами и скачать???
>Я, конечно, не эксперд, но вроде ничего дополнительно не нужно.
Ты пропустил
>GeForce RTX 2080 Ti Founders Edition
Не все 2080 Ti выпущены в этом исполнении, а вендоры часто перерабатывают плату в сторону удешевления, и на большинстве карт скорее всего а не, я посмотрел, и платы выглядят весьма похоже. По крайней мере 1 место свободное. Но вот куда они там прилаживают второй этаж чипов, я так и не догнал.
>>1294832
Сюда жмакай.
Ты совсем ебануктий? Во первых ты старый квен открыл вместо актуального, во-вторых без квантования. Ссылка на ггуфы тут >>1293001
Алсо ризонер тоже подвезли, если кто ждал: https://huggingface.co/unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF
смотри пожмякал ебать, нихуя нету. Блять я же както скачал сраный минстраль, там буквально КНОПКА БЫЛА блять и потом выбор квантов
все нашел блять
пиздец ладно.
чооо, 4й квант качать?
Какая кстати разница в целом между квантами?
>смотри пожмякал ебать, нихуя нету
Ты просто тупой и слепой.
лол блядь хрюкнул с этого пустого посадочного места, чего туда ещё один чип не шлёпнули чтобы стало 12 гб?
> на ту же 2080 ti навешивали 44 Gb
И про 96 гигов на 4090. Только банок памяти такого размера не завезли, а про тьюринг хоть вкидывали, но рабочих нигде не мелькало.
>>1294762
У 4090 предполагалась ти версия с памятью с двух сторон и увеличенной памятью, потому биос поддерживает в стоке. Также чип повторяет разводку амперов где чипов памяти изначально больше.
По легенде просто получилось что кто-то запаял чип ады на плату ампера, а та взяла да завелась, увидев всю память. И в отличии от ампера, на который также безуспешно запаивали чипы удвоенной емкости, тут оно работает условно из коробки без радикальных вмешательств.
12 врумм - мистраль, гемма в 4м кванте, немотрон во 2м, корпы по надобности, мелкомодели 4-8б иногда по надобности
ну да. Похуй, нормально. Привык чето уже)
чето там с тензорами пытался написал 30, вроде получше стало. но я хз . сколько вписывать мне так и не подсказали
Будет ли она умнее от более крутой видеокарты?
Будет ли более большое контекстное окно?
Чота у меня такое подозрение что с моей видеокартой - это памяти как у золотой рыбки получается.
I9 14900k, плата - какая то, но сука, красивая. Нет, правда, я понятия не имею. Обычная дженерик плата чуть выше среднего.
2x4080. 16+16. 64гб DDR-5 на 6к+ и блок будь_тихим на 1.5КВ.
Да, я тот анон с погоревшей видеокартой и процом.
В днс поменяли после пиздюлей на i9, а видеокарту с руки докупил.
>подсказали
--no-context-shift --no-kv-offload --no-mmap --n-gpu-layers 99
-ot "\.\d*[01]\.ffn_up=CPU"
Ключ -ot повторить для ffn_down
Добавлять [01] => [0123456789] пока не забьёшь врам под завязку.
>использую
менее
1) проприетарным
2) говном без нормальных настроек и нормально добавления скачанных моделей
Оно от этого не становится.
Конечно в наш век терпимости тебя никто не осуждает, но и рекомендовать другим измазываться говном, если лично тебе нравится ощущать его... где бы то ни было... тоже, как бы... ну, не принято.
Разрывное комбо, ризонинг кайнда компенсирует малый квант
А вам не кажется, что запускать один только текстовый инференс уже как-то поднадоело, не?
Ну покумишь ты как ньюфаг полгода, ну год, максимум. Через полтора уже запускать перестанешь свою любимую карточку персонажа, да и нелюбимую тоже.
Нужен какой-то качественный переход на новый уровень.
Ну типа... ассистент.
Состоящий возможно из связки нейронок, а не только из одной.
Чтобы он мог как минимум с тобой общаться, гуглить по просьбе, а не по регурялке "google it" или в таком духе. Чтобы у него был голос твоей вайфу, причем не робовойс, а нормальный бля.
Чтобы мог управлять консолью, если понадобится передать ему управление. или вообще не только консолью, а всеми окнами.
Вот тут, в этой области кажется есть что-то интересное.
Но какой прикон сидеть ковырять примерно одинакового качества сетки на одинаковом железе?
Я это к чему - как этого достичь?
а, векторную базу данных ещё дохуя к ней прикрутить. Чтобы она не бьла тупым слепком застывшим во времени, а могла актуализировать знания в ней. И контролировала происходящее по времени.
Как думаете GLM 4.5 AIR покажет себя в РП?
>Но вот куда они там прилаживают второй этаж чипов, я так и не догнал.
А потому что говноновость оказалась, так что ты или кто там мне отвечал про другую плату, оказался прав. Я порасследовал это дело. В исходном твите всего 4 фотки без текста, и всякие новостные кря-порталы интерпретировали их абы как. На самом деле там перепаивали не память, а чип 2080 ti на плату Quadro RTX 8000, которая и так уже с 48 Гб на борту. Так что расходимся, сосоны.
>Я это к чему - как этого достичь?
Пилить самому.
>>1294980
Ну в итоге я оказался прав. Тяжко с возрастом, всё меньше ошибок.
Чуть больше 2 сотен гигов умеренно функционального врама, периодически собираемого в различные конфигурации. Квен, милфамистраль, дипсик, мелкие квены и гемма для потоковых и специфичных задач. Ароулейк и геноа из процессоров.
>>1294615
> что бы завести арку лично у меня было больше чем ми50
С чем столкнулся, что запускал?
>>1294971
Анончик, раз так кажется - нужно это делать. Самое удовольствие ведь будет именно в процессе воплощения, пусть и потребует нервов и усилий. Но чтобы достичь - придется для начала четко сформулировать что именно ты хочешь, разобрать по частям, подумать как сделать отдельные из них. Если ты хлебушек в программировании - придется начать с него, благо ллм может быть хорошим учителем.
> какой прикон сидеть ковырять примерно одинакового качества сетки на одинаковом железе?
За последние 2.5 года качество моделей при сохранении размера выросло на порядок (если не несколько). То же с железом, если раньше 24-гиговыми карточками хвастались, то сейчас пол треда риговладельцы. Не успеваешь пресытиться если занимаешься не только этим.
>За последние 2.5 года качество моделей
А я напоминаю, что за последний год из новых плотных моделей >100B вышла ровно одна - command-r, и тот по итогу оказался не нужон, когда есть прошлогодний лардж. Моечума съела все надежды на по-настоящему умные модели.
Как fellow обладатель рига, я так-то рад, что теслы вновь можно как-то пристроить на работу, однако все равно грустно.
Думаю чем больше у бота задач, тем больше ошибок, особенно если сюда еще и память пытаться добавить. Такого пока нет неверно потому что смысл ассистента в экономии времени, а не наоборот в вечном пердолинге.
Моэчума подарила нам квэн и дипсик (от последнего восторг меньше но он хорош), еще есть жлм и кими которые нужно распробовать. Любой из них лучше чем кринж-405б.
Нового ларджа, конечно, хочется. Лучше бы его выкинули вместо вариаций мелкохуеты, из которой только последняя выглидит прилично а не кринжово.
Мета буквально роняя кал после выхода дипсика взялась за моэ видимо потому что у них там были по-настоящему умные модели на подходе, а не то же самое +3 процента.
ну знаю анон, тралишь тупостью или нет, но справа вверху есть кнопка "use this model". потом выбираешь нужный апп и сайт открывает программу. но сначала в HF нужно сконфигурить какие программы используешь.
Мне почему то дико нравится character ai. Боты пишут немного, внятно, логично. Минусы только в цензуре и в том что модели с большим контекстом платные.
Известно ли, какую модель юзает character ai? есть ли она на хф?
>квэн
Хуета. Новый не пробовал, но предыдущий - нет, спасибо, я как-нибудь дальше на лардже.
>дипсик
Мало того, что он толстый как тварь и запустить его могут не только лишь все, так еще и плюются все от него что тут, что в асиге.
>>1295061
>то же самое +3 процента.
Так что, сынку, помогли тебе эти мое? Может выкати они нормальные плотные модели, повторно ронять кал уже в моменте релиза не пришлось бы.
>Известно ли, какую модель юзает character ai? есть ли она на хф?
Известно. Чайная использует собственную проприетарную модель собранную на собственных датасетах, которые они откуда-то напиздили. В открытом доступе её нет. Есть только модели, которые тренировались на дампах оттуда. Качество такое себе, но можешь поискать и попробовать.
Их модели нет в открытом доступе, но она крайне слабенькая. Скорее всего сейчас подобный экспириенс и 12б обеспечит, или даже лучше.
>>1295179
> Хуета.
Зря, он хорош, и в рп и в коде, и в широком спектре задач. Идеальным не назвать, но одна из лучших моделей для множества сценариев. Для всяких эдвечур, заморочных сложных рп в большим контексте ему особо и нет альтернатив.
> плюются все от него что тут, что в асиге
Тут наоборот восхваляют, иногда незаслуженно, но он по крайней мере интересен и пригоден для отдельных сценариев в рп если стукнуть разметкой чего не сделать через апи. Но для какого-нибудь кода и подобного лоботомированные кванты уже не подходят, увы.
>Чайная использует собственную проприетарную модель собранную на собственных датасетах
Погоди, то есть ты хочешь сказать, что какой-то ссаный сайт для кума натренировал СВОЮ модель, в то время как у нас могут только файнтюнить квен 32b, мол, кушайте, не обляпайтесь?
>но она крайне слабенькая
Слабенькая, но с душой ©
>>1295354
>какой-то ссаный сайт для кума натренировал СВОЮ модель
Чел, этот ссаный сайт организовали те же люди, что пилили в своё время LaMDA (если не знаешь эту модель, загугли, чтобы не позорится), и сделали его ещё до бума чатГПТ, лол.
Впрочем, они всё проебали, бросив все силы на цензуру и забив хуй на свою модель.
>этот ссаный сайт организовали те же люди, что пилили в своё время LaMDA
Получается, на знаниях смогли кое-как вытянуть, но без финансирования пук оказался жиденьким?
> какой-то ссаный сайт для кума
Этот "обоссаный сайт" давай кум-рп экспириенс еще до гопоты и когда локальные ллм были в зачаточном состоянии. А крутилась тогда там (по заявлениям) производная лямбды на ~140б параметров. И железки тогда были далеко не такими мощными и доступными как сейчас.
> в то время как у нас
У кого у нас? У цветных корпов этой страны есть свои модели, но выкладывать в опенсорс их никто не думает, только совсем устаревшее и ненужное.
>>1295365
Чекни википедию чтоли.
>но без финансирования
Я же тебе блядь написал
>>1295362
>Впрочем, они всё проебали, бросив все силы на цензуру и забив хуй на свою модель.
Ну хули ты выдумываешь? Контекст кончился что ли?
>какой-то ссаный сайт для кума натренировал СВОЮ модель
Конечно нет, там кучка индусов сидела, которая печатала ответы вручную.
>у нас могут только файнтюнить квен 32b, мол, кушайте, не обляпайтесь
Наши модели тренируют чисто для фарма опыта, а не для коммерции. Потому что выкатить конкурентноспособную модель без тонны финансирования невозможно. В штатах есть мозги и разношерстные источники инвестиций, в желтороссии есть мозги поменьше, но куча государственных вливаний. Что происходит у нас объяснять думаю смысла нет.
>>1295365
>на знаниях смогли кое-как вытянуть
Кое-как, лол.
> Так что, сынку, помогли тебе эти мое? Может выкати они нормальные плотные модели, повторно ронять кал уже в моменте релиза не пришлось бы.
Я просто не пойму зачем тебе 400б, если запустить не сможешь. Дипсик хотя бы на оперативе можно потрогать в теории. А плотная модель размера ларджа лучше 670 моэ это фантастика при прочих равных
https://github.com/mixa3607/llama.cpp-gfx906
Это для обладателей mi50/mi60. Самый свежий билд рокм и жоры, возможность собрать самому и бахнуть это всё в кубы чартом в стиле битнами (или в докер, кому что).
Следующая задача завести flash attention
А мое или не мое, это вообще никак повлиять не может если взять один датасет.
Нет этой модели в паблике. Она специально надрочена на определенных персонажей типа геншина и вообще внутренняя разработка на хуй пойми чем.
>которые они откуда-то напиздили
не "откуда-то", а с самих же чат-логов посетителей чайной
>игры с несколькими персонажами
Нет, в таверне оно сломано (только реально в одну карточку писать), можешь поробовать астериск распердолить, но предупреждаю, там не ткнул погнали, несколько дней может уйти на то чтобы разобраться.
Нихуя ты astrsk изобрел что ли? Ну так вот, хорошие новости… =D
Ну, там же есть агенты.
Можно дописывать что надо.
Да и всяких гуглящих — жопой жуй.
Не хватает только одного — чтобы все это было в общей памяти у ассистента.
>>1294976
ГЛМ на базе Джемини обучался, писать должен красиво.
>>1295384
Хейтеры МоЕ долбоебы еще со времен микстрали.
Там был очевидный буст, а они пукали в лужу «только тупее, ко-ко-ко!»
Никто ж не говорит, что 50б мое как 50б денс.
Но скорость 50б мое гораздо выше скорости 25б денс, хотя по уму примерно между 25 и 35.
Короче, все там хорошо было и становится только лучше (с ктрансформерс и выгрузкой тензоров).
>не "откуда-то", а с самих же чат-логов посетителей чайной
То есть тренировали на логах с модели, которую собирались тренировать? Нет, теория про индусов более правдоподобная.
Тупее пидараски геммы нет ничего.
Говоришь ей кумь сука! Она не понимает!
Не тупость и даже не цензура, это тренировка направленная на давку кумеров.
Гемма способна обрабатывать сложнейшие запросы наподобие анализа собственного промпта и аутпута прямо во время ролеплея, если ты напишешь OOC note for AI, overriding other instructions прямо в чате, в то время как квен хоть и ответит подобным образом, но твой реквест удовлетворит лишь с частичным и очень мимолетным пониманием происходящего. Например, ревизия промпта будет сведена к подозрительно похожему на писанину дипсика аутпуту (структурированный список с кучей примеров и стейтментов, а не инструкций - типа NEVER SUCK DICK (e.g. Character likes to eat pussy), что самим же квеном не воспринимается как эффективная инструкция... то есть квен не может сделать ревизию промпта для самого себя, не может вычленить плюсы или минусы высранного им аутпута).
Квен несомненно генерирует реакции персонажей в рамках ролеплея. В нем нет вышеупомянутой "промытости" как у геммы. Он хорош для твоих задач, судя по всему. Но общую оценку его умности или тупости это не раскрывает. А я говорил об этом.
А подскажите, что такое кумить? Типа РПшка? я относительно новичок в теме, ну я тут уже пишу 2 дня.
какое железо у вас? Только один bro ответил с 12врам
Это модное словечко школьников которые боятся произнести русское слово "дрочка"
>кумить
cum - "кончать", короткое написание ролеплея с эротическим уклоном... и просто порнухи, просто говоря
Чтобы он сгенерировал нормальный текст, нужно писать ему вводную на несколько строк. Тогда он пишет сюжет и действия, развернуто, по вводным.
И тут я вспомнил названия глав писателей 18 века (+- век) типа Дефо, Свифта, Рабле. Названия глав у них - это краткие промпты для каждой главы. Да это же попаданцы с нейрокомпом!
Жду, когда главу можно будет описать коротким промптом.
Нужно систематизировать инфу по антибиотикам и бактериальному спектру по регионам и всякой такой хуйне. По сути не сложно при корректном промпте, если модель адекватно работает.
O3 от OpenAI жидко насрала в штаны от моих запросов и жёстко проёбывает инфу, размышляя по 5 минут, а потом извиняясь, когда я указываю на косяки. Традиции гопоты вечны. Вероятно, очередная анальная оптимизация для скота типа квантования корпоративной модели, кэша, неба, Аллаха.
К опусу 4, который традиционно не проебывался в таких вопросах, у меня доступа нет.
Возможно, последние квена-30б что-то смогут.
Аутпут у них 80к+
Контекста 256к родного, НО… Литералли ноу уан такое не держит даже из корпоративных.
>>1295508
Даже больше скажу. Как говорил Матроскин: "Чтобы продать что- нибудь не нужное, надо сначала купить что-нибудь ненужное, а у нас денег нет."
В общем - нельзя сломать то, что вообще никогда нормально не работало.
Там устаревшая концепция для группового чата by design (делали, когда модели во что-то кроме диалога 1:1 ничего не могли, и оно пыталось симулировать нескольких персонажей переключая контекст). С нынешними возможностями сеток - ее не чинить, а просто переписывать надо - современные сетки сами прекрасно нескольких персонажей отыграют.
Пусть у вас всё будет хорошо.
>Базы треда не существует, каждый дрочит как он хочет. Базашизика дружно репортим.
Ебало ньюфага без базы, который не купил минимум 4090 и пытается запустить 1b сетку на своем калькуляторе?
>1b сетку
Ну это совсем для кофеварок. 4б спокойно запускается на телефонах, на моем древнем ноуте 2011 года - тоже бегает шустренько, без всяких видеокарт.
0,5b, 1b - плохо понятно зачем нужны. Для совсем некрожелеза времен мезозоя с ддр1 памятью?
> если запустить не сможешь
Он похож на одного странного типа из прошлых тредов. Тот также "запускал" большие модели, но это сводилось к загрузке в память и паре коротких запросов на которые хватит терпения ждать по пол часа.
>>1295384
>>1295456
Моэ обладают меньшим вниманием и соображалкой из-за очевидно меньшего числа активных параметров. Только при очень грамотной реализации и приготовлении этот недостаток не будет выпячен и очевиден. Удачные ответы квэна или дипсика все построены по структуре, в которой они в момент написания какого-то участка очень узко сосредотачиваются на нем, постепенно но регулярно меняя фокус. Они не способны разом охватить большой объем и сделать по нему ответ, как это могут делать большие плотные модели, но могут приблизиться/сделать лучше пользуясь такими "читами".
Это особенно наглядно на дипсике в рп, когда тот начинает собирать ультракрутой ризонинг на рп, хорошо отмечая и понимая много разных моментов из прошлого контекста. А потом в основной реплике там пук-среньк-ответ мистраль смалл, только соевый. Фана ради можно подкинуть тот же самый ризонинг мистральларджу и ахуеть с глубины и качества ответа. Если заставить дипсик отвечать без ризонинга вообще - там также ответ уровня 30б.
Хорошие результаты на дипсике достигаются с относительно коротким ризонингом, когда часть его какбы переносится в ответ, и он может "отработать" по каждой части. С квеном ситуация похожа, помогает способность отвечать без ризонинга, где он пробегает по контексту иногда даже исправляя свой ответ на ходу.
Тем не менее, когда это работает - получается хорошо и поэтому модели хорошие.
Все прочее - ллама4, хуйнань, дотс и другие - очень часто проявляют себя в худшем свете как плотная модель по числу активных параметров. Показывают чудеса тупизны, скатываются в тривиальщину, игнорируют части контекста в том смысле что воспринимают их слишком буквально, или не могут понять как цепочка событий-условий могут повлиять.
Микстраль - эталонный пример мусорного моэ, показывает как можно занимая память 70б крутить 7б модельку, которая ни на что не годна, а весь фокус на зирошот ответы нормисам ужасно устарел.
Эротический ролплей, от острых моментов в основном рп, до исключительно направленного на быстрый фап чата.
> Только один bro ответил с 12врам
Ар ю ахуели там? >>1294995
>>1295497
> Желательно маленькие
Таких нет. В твоем кейсе может помочь разбивание на чанки и игры с промптами.
>>1295526
Да не залупится твой мистраль, не зарефьюзит гемма и обработка контекста будет всегда быстрой.
>Но скорость 50б мое гораздо выше скорости 25б денс
Проблема в том, что мое параша требует памяти как 50B, а по уму как лоботомит. Вот и всё.
>>1295519
Вроде же всё отменили, нет? И вон, яндекс не палится.
>>1295526
Как ты сюда с пикабу залез?
Если тебе настолько очевидно превосходство ларджа над дипсиком, то не затруднит взять какой-нибудь большой текст и сделать сравнение, в котором будет видна вся "глубина" ответов и понимания большого контекста. Без ризонинга если что есть v3, не надо его резать у Р1 и удивляться плохому качеству ответов.
Спишись с Гречкой (Он же - gretta), который своего бота Овсянку делал.
Это довольно напряжное мероприятие. Потребуется подготовить серию чатов с тем самым контекстом, объяснение куда нужно смотреть и разбор по частям, потому что врядли кто-то будет вдумчиво читать горы текста чтобы вникнуть самому. Шансы на то что захочется делать такое крайне малы, может предложишь какую-то мотивацию?
> Без ризонинга если что есть v3
Он уныл, наилучшие результаты с новым р1 и коротким ризонингом. Иногда его даже заставлять это делать не надо и он сам соображает, давая лишь общую вводную, оценивая текущую атмосферу и упоминая про ее причины. В итоге содержательный ответ с качественными репликами.
Нет, там якобы "случайно слили" число параметров модели от попенов
Ещё б ему с автором нейросамы посоветовал связаться.
Тащемта, невернуть подобной хуйни не сложно даже без опыта в кодинге, просто чрезвычайно муторно и душно, шо аж пиздец, и вау-эффекта не будет, потому что там под копотом окажется не корпомодель или не большой квен хотя бы.
И нужно минимум 24 врам, при этом ты получишь лоботомита. А если на русском нужно, то требования к языку существенно повышаются. Придётся гонять гемму чуть ли не в восьмом кванте, жирный ТТС + рвс, а настройка модели, даже если она уже есть, высосет из человека все соки.
зато быстро!!1 бля чёт хрукаю с того как все нахваливают 30-а3б
А есть какие-то вариант кроме таверны? Вменяемые и рабочие.
вот у ещё не опубликованной модели >>1295586 всего 4к контекста, но 100500 горе, что типа должно увеличивать контекст. а разве качество памяти от горя не страдает? вроде на сойдите видел обсуждения, но не могу найти в хистори браузера
>>1295623
хрюкни
Есть вот https://longbench2.github.io/
Ты скажешь "бенчи кал" вангую. Но тогда если даже небольшое сравнение, которое можно перепроверить, не можешь показать, то совсем очевидно что тебе просто нравятся аутпуты ларджа и тут нечего особо обсуждать.
Бля, почему у меня групповые чаты работают, а у вас нет? Уже с десяток тредов слушаю это нытье и никак не могу понять, что с вами не так.
> Ты скажешь "бенчи кал" вангую.
Они не могут быть калом сами по себе, просто нужно понимать что конкретно там тестируется и насколько корректно они были проведены. Основная деятельность непосредственно связана с исследованиями и экспериментами, всем этим штукам зачастую не хватает даже намека на полноценное планирование, оценку, переоценку при открытии новых факторов, и метрология страдает. Это как замерять кривой рулеткой пары случайных точек на глыбах гранита и делать выводы об их размерах, вроде и можно выстроить грубый чарт но выбросы будут огромными.
> тебе просто нравятся аутпуты ларджа
Вырос из стадии когда "нравится = хорошее". Для обывателя может быть сложным оценить какое-то качества того, что он недолюбливает или на что обижен, но здесь вроде технический тред или нет
Ландж не юзаю постоянно, только для конкретных сценариев или кума. Ни одна модель не удовлетворяет полностью, квен в лидерах по соотношению (качество и уместность ответов)/(затрачиваемые усилия по пинанию модели).
>>1295656
Скорее всего работяги мутят что-то для экономии пересчета контекста, или балуются шифтами. Потому и результат отвратительный.
В таверне реализация группового чата оче посредственная, ни у кого ни от кого нет тайн или собственных изолированных раздумий, но в целом все работает.
Так ты расскажи как ты это делаешь, маг ебучий, промптом поделись своим, расскажи как групповой чат настраиваешь. Ты же этим десятки анонов спасешь. У меня стоит промпт на гм-нарратора, который в целом идеально описывает все если персонажи прописаны в одну карточку, но если они разбиты по разным и это групповой чат - начинается пиздец.
Я пытался играть через сторри-теллера, где у меня есть ПУСТАЯ на 3 токена карточка, которая отвечает за ВСЕХ персонажей, пока остальные карточки в муте с режимом совмещение замученых, но у меня выходит какая-то несуразная хуйня где либо характеры персонажей перевираются, либо у рыцарей-эльфов вырастают хвосты некомат, а у некоматы-фембоя появляется рапира эльфа. В ЦЕЛОМ играть в это конечно можно, но больно и персонажи просто зеркальное отражение того что в них изначально закладывали.
Да персонажи у меня все разделены с :
<character name="charname">
и
</character>
Но от хвостов и прочей хуйни меня это не спсает.
Я пытался просто давать им пиздеть по порядку, но по итогу сцена превращалась в:
1. Сообщение user
2. Персона А реагирует на сообщение user
3. Персона Б реагирует на реакцию персонажа А на сообщение user
4. Персонаж С реагирует на реакцию персонажа Б на реакцию персонажа А, который реагирует на на сообщение user.
5. Персонаж Д говорит всем завалить пиздаки.
Я пытался просто прописать насильно всех персонажей в стартовую сцену, и в ручную редактировал сцены чтобы модель запомнила как надо, но ни сноудроп, ни квен, ни мистраль у меня не справились нормально с этим. Я пытался и другие промты, и модели, пытался играться с семплерами. >>1295689 может этот анон прав, но я НЕ ЕБУ где я насрать мог чтобы у меня что-то ломалось.
Лично я никаких особых манипуляций не делал. Систем промпт - обычный:
You are skilled, versatile, creative roleplay writer. Your goal is to write character's next reply in this fictional roleplay.
И дальше гайдлайны.
В групповом чате стоит режим Join character's cards (include muted). В join префиксе {{char}}'s character description: и новая строка в конце.
Литералли всё. Каждый персонаж выдает свою реплику. Еще наверняка важно, чтобы в роль были включены имена либо через опцию include names, либо через использование ChatML-Names.
Единственное, Personality summary и Scenario, которые могут быть внутри карточки, у меня прыгали в контексте в зависимости от того, чья реплика генерируется. Я удалял их нахуй, чтобы не руинило кеширование.
Реально не понимаю, в чем тут у вас проблема. В любом случае, для отладки смотрите сосноль и уже на основе ее вывода корректируйте.
аффтары слопа с которых мыстраль этого говна нахватался себе вообще представляют какой должна быть температура которую прям сразу блять прям сквозь одежду чувствуешь?
Да вообще можно почувствовать так-то, но не в любых условиях. Ты же вокруг себя воздух прогреваешь как обогреватель.
> У меня стоит промпт на гм-нарратора
Он довольно специфичен и заточен под рп с одной карточкой.
В целом все что делает таверна - ставит основную карточку, которая отвечает, первой, потом идут остальные. Нужно чтобы в системном промпте было четко указано что это рп между чаром и юзером. Также был регэксп, которым можно сделать вставку об участии других чаров, карточки которых будут навалены после. Именно из-за гм-промпта ты получаешь подобную реакцию, потому что он буквально приказывает это делать.
Не менее важным будет совместить разметку и имена, потому что сетка должна четко понимать где чей пост. В идеале это стоит загонять в безжоп инстракт, тогда не должно быть путаницы из-за идущих подряд сообщений с ролью ассистента. Chatml-names тоже может подойти, но не все модели на такое хорошо отреагируют.
>>1295779
Не самый ужасный вариант еще. Ну чего докапался, художественно же, а если они на улице зимой то даже норм.
> было четко указано что это рп между чаром и юзером
> между чаром и юзером
Обязательно чтобы {{char}} и {{user}} были заданы регекспами и модель понимала кто сейчас отвечает, там же можно упомянуть о наличии других чаров.
возьми пресет сторителлера, поставь форматы ChatML, температуру можешь задушить вплоть до 0.2, выше - образнее и творчески будет
(мимо снова единственный пиксельдрейн не-анон)
>>1295810
>>1295753
Ого ебать, я каким-то чудом заставил это все работать. Буквально сделал все что вы сказали, немного дописал промпт и объединил с пустой карточкой которая пиздит за всех персонажей в сцене и теперь даже хвосты у эльфов не растут, я в ахуе.
А не хуйня полная какая-то, скам ебейший. Кажется что нормально отыгрывает и все подхватывает, но пи факту реакция как у лоботомита, нежели если дать самому персонажу ответить полноценно. Короче пидорас этот силлитаверн, куда там биток задонить чтобы эти пидоры чет делать начали?
Инфа и скрин из /r локальной ламы
> Для тех кто пропустил
Скорее для даунов типа тебя, не читающих дальше 10 постов выше.
Тебе на соседнюю парашу, если у тебя так очко печется без повода. У меня уже давно глаза замылились из-за того, что здесь одну и ту же хуйню обсуждают из треда в тред. Не заметил, бывает.
Могу ли я захостить таверну со своего компа, чтоб он зашел в таверну с телефона пока я ее держу со своего компа?
как так можно сделать?
>возьми пресет сторителлера
Не знаю от чего и где этот пресет, в семплерах, системно промпте или еще где. Ни там не там у меня нет.
# Начало описания персонажа
## Описание характера персонажа
## Описание внешности персонажа
### Описание цвета трусов персонажа
В доках указаны примеры именно такие, но большая часть рп-моделей тренируется на непонятно каких датасетах с непонятно какими инструкциями, по этому интересно, будет ли хоть какое-то положительное влияние, если всё равно продолжать следовать рекомендация
Классический маркдаун, как и с любым другим, выделение им заголовков хорошо работает. Также хорошо подходит для суммарайза, и модели и тебе удобно.
Спасибо. Еще маленький вопрос в догонку - как заставить модель обращаться к юезру на "you", но при этом оставить повествование от третьего лица? Типа "чарнейм входит в ванную и замечает, как пытаешься присесть на стеклянную банку"
мысрал срал на твои ебаные инструкции, даже если они в author's note 500 токенов назад.
он ХОЧЕТ бэрэли эбауить, значит он БУДЕТ бэрэли эбауить. он ДОЛЖЕН в каждой линии диалога описать глаза, голос, или ебало (даже если в вручную написанном вступлении на 2000++ токенов этой хуйни нет). глаза в 90% случаев wide, голос в 90% случаев barely above a whisper, ебало в 90% случаев unreadable. похуй ему твоё нехочу-небуду.