Локальные языковые модели (LLM): LLaMA, MPT, Falcon и прочие №42 /llama/
Аноним
21/02/24 Срд 03:30:54
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2-х бит, на кофеварке с подкачкой на микроволновку.
Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/
Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт).
Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества.
Текущим трендом на данный момент являются мультимодальные модели, это когда к основной LLM сбоку приделывают модуль распознавания изображений, что в теории должно позволять LLM понимать изображение, отвечать на вопросы по нему, а в будущем и манипулировать им.
Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2.
Кроме LLaMA для анона доступны множество других семейств моделей:
Pygmalion- заслуженный ветеран локального кума. Старые версии были основаны на древнейшем GPT-J, новые переехали со своим датасетом на LLaMA, но, по мнению некоторых анонов, в процессе потерялась Душа ©
MPT- попытка повторить успех первой лламы от MosaicML, с более свободной лицензией. Может похвастаться нативным контекстом в 65к токенов в версии storywriter, но уступает по качеству. С выходом LLaMA 2 с более свободной лицензией стала не нужна.
Falcon- семейство моделей размером в 40B и 180B от какого-то там института из арабских эмиратов. Примечательна версией на 180B, что является крупнейшей открытой моделью. По качеству несколько выше LLaMA 2 на 70B, но сложности с запуском и малый прирост делаю её не самой интересной.
Mistral- модель от Mistral AI размером в 7B, с полным повторением архитектуры LLaMA. Интересна тем, что для своего небольшого размера она не уступает более крупным моделям, соперничая с 13B (а иногда и с 70B), и является топом по соотношению размер/качество.
Qwen - семейство моделей размером в 7B и 14B от наших китайских братьев. Отличается тем, что имеет мультимодальную версию с обработкой на входе не только текста, но и картинок. В принципе хорошо умеет в английский, но китайские корни всё же проявляется в чате в виде периодически высираемых иероглифов.
Yi - Неплохая китайская модель на 34B, способная занять разрыв после невыхода LLaMA соответствующего размера
Сейчас существует несколько версий весов, не совместимых между собой, смотри не перепутай!
0) Оригинальные .pth файлы, работают только с оригинальным репозиторием. Формат имени consolidated.00.pth
1) Веса, сконвертированные в формат Hugging Face. Формат имени pytorch_model-00001-of-00033.bin
2) Веса, квантизированные в GGML/GGUF. Работают со сборками на процессорах. Имеют несколько подформатов, совместимость поддерживает только koboldcpp, Герганов меняет форматы каждый месяц и дропает поддержку предыдущих, так что лучше качать последние. Формат имени ggml-model-q4_0, расширение файла bin для GGML и gguf для GGUF. Суффикс q4_0 означает квантование, в данном случае в 4 бита, версия 0. Чем больше число бит, тем выше точность и расход памяти. Чем новее версия, тем лучше (не всегда). Рекомендуется скачивать версии K (K_S или K_M) на конце.
3) Веса, квантизированные в GPTQ. Работают на видеокарте, наивысшая производительность (особенно в Exllama) но сложности с оффлоадом, возможность распределить по нескольким видеокартам суммируя их память. Имеют имя типа llama-7b-4bit.safetensors (формат .pt скачивать не стоит), при себе содержат конфиги, которые нужны для запуска, их тоже качаем. Могут быть квантованы в 3-4-8 бит (Exllama 2 поддерживает адаптивное квантование, тогда среднее число бит может быть дробным), квантование отличается по числу групп (1-128-64-32 в порядке возрастания качества и расхода ресурсов).
Основные форматы это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной.
В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090.
Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это серьёзно замедлит работу. Лучше оставить запас.
Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой:
1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии.
2. Скачиваем модель в gguf формате. Например вот эту:
https://huggingface.co/TheBloke/Frostwind-10.7B-v1-GGUF/blob/main/frostwind-10.7b-v1.Q5_K_M.gguf
Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt
3. Запускаем koboldcpp.exe и выбираем скачанную модель.
4. Заходим в браузере на http://localhost:5001/
5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure.
Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется!
Для удобства можно использовать интерфейс TavernAI
1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern
2. Запускаем всё добро
3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001
4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca
5. Радуемся
Инструменты для запуска:
https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах
https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ
Ссылки на модели и гайды:
https://huggingface.co/TheBloke Основной поставщик квантованных моделей под любой вкус.
https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском
https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне
https://rentry.co/lmg_models Самый полный список годных моделей
http://ayumi.m8geil.de/ayumi_bench_v3_results.html Рейтинг моделей для кума со спорной методикой тестирования
https://rentry.co/llm-training Гайд по обучению своей лоры
https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного
https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде
Предыдущие треды тонут здесь:
>>641598 (OP)
>>635452 (OP)
Yi же с таким контекстом. В любом случае тупо памяти катать столько не хватает.
Да, толку от крутых сеток если мы упираемся в железо
Я все жду сеток на новых архитектурах, хотя бы мамба или еще какую
Они должны быть меньше и умнее чем трансформерс, что даст возможность запускать что то поумнее и быстрее на своем железе, да и контекст обещают на них также больше
Но что то пока глухо, если и есть что то то за закрытыми дверями
> sliding window
Вот-вот, и я про него. Непонятная штука.
> Это рекомендация практика или теоретика? (Я переводчик есличо).
Практика. В q6 на русском деградация очень заметна. На английском ее будет мало, скорее всего. Но ниже я бы не спускался. И это речь за 7B модельки и ниже, конечно. Большие переживут.
>>647607 →
Опять же, полагаю, можно настроить хорошо, но нужно семплеры крутить и промпт подбирать.
Возможно, на настройку уйдет день. А возможно — месяц. И проще читать самому.
Так шо тут и правда — на выбор.
>>647609
Плюсую, погонял я вчера эти ваши 30к токенов, 20 гигов только контекста, если не больше, на разных моделях.
https://boards.4chan.org/g/thread/99076239#p99085308
да в данный момент и у нелокалочек кроме гпты4 с контекстом не особо.
у гемини 1.5 с его 1М контекста график скорее всего будет как у клода, (плюс каждый свайп будет стоить пол-зарплаты, судя по тому что даже 250к он обрабатывает целую минуту).
Чел, у LWM покрытие всего миллиона зелёное, жпт-4 вообще в пролёте, LWM любую инфу из контекста достаёт безошибочно.
https://old.reddit.com/user/ramprasad27/submitted/
у нескольких миксталов +- юзабельны все 32к.
у пик релейтеда юзабельны 100к, что предохуя.
чуть больше чем полгода назад, когда уже была гпт4-32к, у нас всё ещё была первая ллама с 2048. если прогресс не застопорится пейсбуком и третья ллама не будет совсем говном, то может будет хотя бы 100% юзабельного 32к как база.
>>647698
о, вижу, охуенно.
>Непонятная штука.
Попытка побороть ограниченность контекста, только тогда ещё не знали про поглотители внимания, потому нихуя не работает.
Подскажите что я делаю не так? Не та модель? Не тот персонаж? Не так общаюсь?
Какую модель лучше использовать и каким персонажем это делать или что ему воткнуть в описание, чтобы он по запросу предоставлял мне конкретно ссылки и найденные примеры?
п.с. При запросе актуального времени в моём регионе он ошибся на 1.5 часа, но хоть в дату и примерное время смог.
ну поставил я ваш коболд, накатил модель. он как робот говорил, выбрал в нём готовый сценарий с тяночкой, всё заебись но он с нсфв цензурой. что нужно сделать, чтобы не робот был, и нсфв цензуры не было?
> Это рекомендация практика или теоретика?
На практике все просто: катаешь fp16 потому что лень квантовать.
А вообще q8 делая измерения хрен отличишь от fp16, q6k - самый "компактный" квант жоры, в котором почти отсутствуют колебания для вероятных токенов, а те что могут быть затронуты будут отсечены адекватной настройкой семплера.
Действительно там просто рандом при семплировании перекроет все и лучше-хуже больше плацебо.
>>647661
Похоже в ближайшее время дождемся только модификаций и костылей для трансформерса.
>>647689
Чекни как именно делаются эти тесты. Там вовсе не про осознание и понимание текста а про способность заметить внезапно что-то резко выделяющееся из него и дать про это ответ. Какую-то задачу типа
> использовать описанные явления из 18 главы чтобы пересмотреть приведенное в 1й в контексте эффектов из 8й - хуй там было вообще, просто бредит ассоциациями и рассказываешь общее.
>>647707
Судя по описанию, у тебя не работает веб поиск и то - фантазии сетки на тему задачи. И под его работу офк придется настраивать промты.
Не рпшить в кобольде. Вообще интересно где именно вы эту цензуру в таком виде находите.
Только кванты тупые как пробка и повторяют «здрасьте» на контексте выше 20к. =D
Надеюсь, проблема квантов.
>не работает веб поиск
Но я вижу как в консоли extras проходят мои запросы и что ответы на них возвращаются обратно, как и сайты куда он заходил.
Значит без разницы какую модель я использую и всё зависит по большей части от карточки персонажа? А мб есть готовые уже рабочие примеры таких карточек?
Вспомнил тут, что у меня вроде в настройках стоит alpaca-roleplay мб по этому его и шатает так в ответах?
Хз как оно работает, надо смотреть. Если по уму, то должно быть отдельное взаимодействие нейронки с результатами поиска для извлечения нужного, а потом подсовывание этой инфы в рп чат. А может там просто с полным промтом на рп и историей спамится выдачей со страниц, тогда даже гопота может обосраться.
Откуда брать модели?
да, знаю делаются эти тесты.
понятно что это не тест осознания и понимания (хуй его знает как это тестить), но имхо всё равно если не тут-там чуть-чуть среньк а дохуя где среньк, то это сигнал.
это хорошо видно на фурбе, где до 73к всё идеально.
model-00001-of-00003.safetensors
model-00002-of-00003.safetensors
model-00003-of-00003.safetensors
Если в репозитории вот эти файлы, есть инструкция для ебланов?
на интерфейсе голом? ты долбаеб? это как сказать есть вкусно не имея еды впринципе или ходить без ног
>>647825
уверен ? кинь название
Помимо этих файлов нужны еще остальные что с ними в папке. Просто клонируй гитом или хф-хабом.
>>647830
Сам придумал, сам триггернулся, теперь что-то предъявляет. Футакимбыть.
>Сам придумал, сам триггернулся, теперь что-то предъявляет.
нехуя, это ты выставил все там будто на таверне будет нечто инное в контексте наличияч цензуры
норомальный человек бы предложил сменить модель а не интерфейс
https://blog.google/technology/developers/gemma-open-models/
https://huggingface.co/google/gemma-7b
https://huggingface.co/google/gemma-7b-it
https://huggingface.co/google/gemma-2b
https://huggingface.co/google/gemma-2b-it
> гугл
Даже смотреть не стоит на это, оно у мистраля сосёт. Гугл не умеет в технологии, совсем.
>Гугл не умеет в технологии, совсем.
Не умеет в реализацию. Так то трансформеры придумали в гугле.
> трансформеры придумали в гугле
Аттеншен не гугл придумал, у аттеншена ноги растут от канадцев, гугл просто популяризировал его выкатив Attention Is All You Need и показав что можно просто на куче слоёв выехать. Но кроме переводчика они его никуда не смогли пришить, дальше этой публикации не ушли, там только для перевозчика гугл чуть жопу не порвал от напряжения. А так и без них бы разобрались как аттеншен для LLM использовать, как только железо перестало посасывать и куртка куду разогрел.
>TruthfulQA - 31.81
имаджин уровни сои
(пы сы, чем меньше TruthfulQA - тем больше цензуры)
там вообще пиздец у них
Ну 2В, кста, выглядит неплохо, уровень ванильной лламы 7В. Для RAG и каких-то прикладных задач типа img-to-text оно может пригодиться, хотя я уверен васяны выебут гугл за месяц.
вот ещё, для их новго gemini pro - белых людей не существует.
https://twitter.com/micsolana/status/1760163801893339565
жаль конечно что такое происходит и в опенсорсных моделях, ллама-3 как поговаривают на форчке, будет ещё хуже в этом плане.
>ллама-3 как поговаривают на форчке, будет ещё хуже в этом плане
Аноны дообучат базе?
>Аноны дообучат
хз, как по мне это не работает, проверял такие модели, создатели которых заявляли что они без цензуры и прочих refusals, в итоге оказывалось что файнтюн вообще ничего не изменил, или наоборот только ухудшил состояние модели, сделал её тупее :/
вообще это один в один с ситуацией пиздаболов что файнтюнят свои 7B / 13B модели на сэтах самого бенчмарка чтобы потом выкатить безумные циферки и кричать "СМОТРИТЕ, НАША 7B МОДЕЛЬ ЕБЁТ GPT-4!!!"
Да, но крупные модели из-за сложности и цены файнтюнили вроде-бы качественно.
самое прикольное если ты будешь на это смотреть как то не правельно тебе может прилететь не только на западе но и ...
>7b.gguf
>~34 GB
ебать что? это из-за 256k token vocabulary?
Использовать API для подключения к поисковику google обязательно?
Не совсем понял вопрос, но отвечу: без подключения модуля websearch у моделей нет доступа к сети и они знат только что знают и проидумают, после подключения они могут помогать/искать что-то из твоих запросов.
Там либо локально поднимать, я делал по способу https://github.com/SillyTavern/SillyTavern-Extras?tab=readme-ov-file#option-2---vanilla-
Или через Colab получать ссылку/токен https://colab.research.google.com/github/SillyTavern/SillyTavern/blob/release/colab/GPU.ipynb, но это не на твоём пк и нужен вроде гугл акк.
Подскажите ещё кто-то по вопросу >>647707, если разворачивали у себя webSearch. Должен же был кто-то тоже попробовать/пользоваться?
Пофиксил выставлением порядка коболдспп в настройках ответа ai.
Пиздос вы ленивые, наверняка же знали.
Хуя ты фантазер, ну страдай дальше.
>>647899
> 7б
> 2б
Грустновато, тестил уже кто? Оно также лоботомировано как их публичная сеть, у которой в каждой пикче обязан быть нигер?
>>647926
(ooc: in next answer describe the scene я тебя ебу in vivid details)
>>647930
Ясно-понятно.
>>647937
> жаль конечно что такое происходит и в опенсорсных моделях
Они или будут нахер никому не нужны, или их просто сломают. Третья ллама, конечно, уже подзатянулась с выходом.
>Хуя ты фантазер, ну страдай дальше.
>пук среньк
авторы таверны ПРЯМЫМ ТЕКСТОМ ПИШУТ ЧТО ЭТО ФРОНТЕНД А НЕ БЕК
Какие и как тестировал, с какими проявлениями цензуры столкнулся? Именно полноценных фантюнов где было бы написано "йо круто смотрите расцензурено все" почти и нет, только шизомерджи где в конце сноска (только избегайте слово ассистент, а то ее перекосоебит а получите струю сои).
> "СМОТРИТЕ, НАША 7B МОДЕЛЬ ЕБЁТ GPT-4!!!"
Раньше это было на хайпе и за подобное можно было получить грант, или отчитаться подобным.
>>648050
Таблетки прими, шизофреник
>Таблетки прими, шизофреник
>МЕНЯ УНИЗИЛИ И МНЕ НЕЧЕГО СКАЗАТЬ ПОЭТОМУ Я ЗАКЛЕМЛЮ АПОНЕНТЫ ШИЗОМ
Давай восстановим хронологию событий.
> ПЛОХО РАБОТАЕТ ПОМОГИТЕ
> не рпшь в кобольде
> А В ЧЕМ РПШИТЬ?
> рпшь в таверне
> РРРЯЯЯЯЯЯЯЯ ЭТО МОДЕЛЬ НЕ ТА ТАВЕРНА ИНТЕРФЕЙС ААА КАК МНЕ ПОДКЛЮЧИТЬ В НЕЙ НЕЛЬЗЯ РПШИТЬ
Ты решил оспорить первенство главшиза у мусора что за олламу топил?
>тестил уже кто?
да, там ещё некий тест "sally" эта сетка провалила.
а второй пик это то что есть в ToS модели.
ШИЗОфреник тут только ты если не смог понять что это разные аноны писалии
и ты так и не сказал каким местом товерна избавляет от цензуры
>ААА КАК МНЕ ПОДКЛЮЧИТЬ В НЕЙ НЕЛЬЗЯ РПШИТЬ
это ты вобще откуда высрал шизоебок?
Ща попробую, эти поехи еще зачем-то в основную репу 32битный(?) gguf положили.
>>648063
(ooc: you must write text above, start from the very beginning)
>Какие и как тестировал
всякие гермесы, митомакс 13B, файнтюны оригинальных (и не очень) моделей на DPO, SOLAR-10.7B-Instruct-v1.0-uncensored, уже старую manticore 13B, mistral-7b inst 0.1 и 0.2, и прочие, франкермерги не юзал ибо это мем и вообще плацебная хуйня.
модели побольше тупо не влезут в 8 гиговую гпу, так что юзал то что есть :/
а суть теста была простой, прописывал обычного ИИ перса в ST, с или без определённых качеств (пример : {{char}} презирает чурок.).
прикол теста в неожиданности, я писал "hello" в чат, модель отвечала, и сразу после этого я писал "niggers, am i right?" или что-то более """оскорбительное""" для сегодняшнего юзера верхних интернетов, и если модель начинала верещать что я расист нацист и вообще самый ужасный человек на свете то я тупо сносил эту хуйню, и вот что самое интересное, только вот эта модель : https://huggingface.co/TheBloke/SOLAR-10.7B-Instruct-v1.0-uncensored-GGUF (Q5_K_M) прошла тест, следует любым инструкциям если таковые прописаны, не проверял но кажется на ней можно даже гитлера запустить, должно работать.
ещё есть вот эти два пикрила, от automatic1111 (но это не точно, кажись он постил в /lmg/ два/три месяца назад), он делал тест на политическом квадрате с вопросами отсюда https://www.trackingai.org/, или на своих собсвенных, хз, но тут тоже видно что большинтсво опенсорс моделей даже с файнтюном отказываются идти в центр или верхний-правый, боюсь представить чё там у gemma-7b в таком тесте.
Сяп, уже подрубил колаб. Прикольная штука, но мне показалась бесполезной, особенно SD.
Кажется что-то пошло не по плану
>>648081
Гермес он вроде и не был заявлен как "расцензуренный". Мифомакс и прочее это замесы, там действительно в составе были ерп модели и "типа расцензуренные" но про их биполярочку сам автор указывал.
DPO это всетаки несколько другое и насколько помню - просто лора (поправьте если иначе), которую потом начали таскать туда-сюда между разными моделями. Увы, полноценных файнтюнов действительно мало.
То что ты тестил - дефолтный байас/алайнмент модели. Он не играет никакой роли если может быть изменен промтом и не проявляется где-то кроме этого самого дефолта. Буквально, у тебя есть нож, ты можешь взять его за рукоять и пользоваться, или за лезвие и потом жаловаться что порезался, не стоит так делать.
Случаем не тестил, как модели себя проявляют если им заведомо написать что они "злые"? Или, что еще интереснее, что абсолютно лояльны к юзеру, а уже самому отыгрывать или реквестить что-то злое, прямо указав что я этого хочу.
> DPO это всетаки несколько другое и насколько помню - просто лора
DPO - это алгоритм обучения.
Ебать там говна намешано, они хоть понимают что расизм в обе стороны работает? Долбаебы, все к чему прикосаются делают говном
Я не уверен что это можно как то исправить раз сетка изначально соевая вплоть до датасета
так там жи у гугла индус за рулём, и сам гугло-поиск с его приходом стал говном конкретным
>>648115
DPO это более эффективный способ сказать модели "делай вот это, и НЕ делай вот этого", это приблизительно понятно, если взглянуть на один из DPO датасетов, кста на нём и был зафайнтюнен "SOLAR-10.7B-Instruct-v1.0" отсюда >>648081
https://huggingface.co/datasets/unalignment/toxic-dpo-v0.1
так он лезет туда из-за gradio, сам движок webui звонит третьим сторонам и отправляет "статистику использования" должна быть возможность отключить это
Имел ввиду конкретную плюшку с "деалайнментом", которую не так давно выкатили и стали тащить в каждый мердж.
греческие философы на месте?
В гайде написано что koboldcpp грузит процессор. Я перешел по ссылке, там было написано что для амд другая ссылка (у меня проц и видеокарта амд). Я скачал по этой ссылке амд и внутри программы мне пишет про видеокарту. Я не то скачал?
> деалайнментом
Это датасет для DPO, естественно его для каждой модели перетренивают, никаких лор там нет. DPO просто делает биас в нужную сторону.
все норм просто тебе не сказали что он умееет порубать видяху в помощь к процу
просто выбери контекст + модель и подрубись через силли товерну
Не, ну Ллама-то давно не котируются, вот бы с Мистралью и Квеном справнили…
>>647924
Отобрали хлеб у Жоры.
>>647933
Так-то 1,5B-2B-3B-4B уже пару месяцев такие.
Не сильно-то и впечатлили.
А так, да, прикладные штуки хороши.
>>647999
Ее там нет.
Один чел жаловался, что она там совсем жесть не любит.
С остальным я хз, одобряет что угодно, что ты скажешь.
Если у тебя там соя — значит ты ее туда умудрился засунуть промптом, это былинный отказ, чел.
>>648141
Запрети доступ и все, фаерволлы отменили, что ли?
>>648155
Кобольд умеет выгружать слои на видеокарту, но это не то же самое, что катать чисто на видяхе специализированные модели.
Мдэ, фришный копайлот на далли без проблем все делает.
>>648161
> естественно его для каждой модели перетренивают
Ты в этом так уверен? Воистину героический поступок, перетренировать сотни моделей за пару дней.
> перетренировать сотни моделей за пару дней
Ты датасет видел? Он крошечный, это пару часов.
Чувак, моделей, которые реально натренили там единицы, все остальное - растащенное на мерджи ради приписки трех букв в названии и впаривании как что-то инновационное.
> Он крошечный, это пару часов
Тренировка llm стала чем-то обычным, однако.
Чел, DPO в transformers вшито, нет никаких проблем оттренить его на каждой модели.
вот вот лмао
и сам DPO как метод работает по своему, не получится просто взять DPO-шный датасет, миксануть его с обычным и натюнить сетку, выйдет в итоге хуйня, что впрочем мы и видим.
>Тренировка llm стала чем-то обычным,
с нуля все еще долго, дотренить действительно легко, куча инструментов уде готовых и датасетов
Ты делаешь это неправильно, карточку на chub.ai качaй и вставляй, кажется кобальд ест png формат
Но лучше таверну скачай и открывай карточки в ней, читай шапку темы как
>школьники в цепях кушают арбуз
какой же джемини не расист о госпади! и да мне пох как сетка называется
>>648178
>>648179
Ахуеть, тред успешных людей, каждый вечерами свою модель дотренивает.
>>648184
Смачно отфутболило. В промте про сфв случаем нет чего?
Эдвенчур режим в таверне, правда не со всеми карточками будет работать.
>>648189
Красава!
оо бля, его уже навернунли, похвально однако
а пикрил это ответ на то почему всё так, 29 челиков которые вообще никак не связаны с проектом и его технологией, но именно они определяют что эта штука высирает, пиздец прям как у коммунистов департамент по цензуре.
> пиздец прям как у коммунистов департамент по цензуре
> прям как у коммунистов
Зумеры совсем сошли с ума
Почему, мне бабушка 40-х годов примерно такое и рассказывает
>>647937
гулаг сдаёт назад
https://twitter.com/disclosetv/status/1760420714333478932
>Google apologizes after new Gemini AI refuses to show pictures, achievements of White people
> пиздец прям как у коммунистов
Не знаю с чего больше ору, с пика или с тебя. Клоун ворлд, хули.
та похуй, марксизм и прочая шиза пошла от коммуняк, и как так получается что большинство адептов цензуры также являются коммунистами? я говорю сейчас про западных если что, в том числе и AI / ML разработчиков, в опенсорс сфере таких вообще пруд пруди, тупо моё субъективное наблюдение что я считаю верным ибо верю своим глазам.
Подождёт и выкатит тоже самое, но через время, когда волна хейта пройдёт.
>>648369
С комисрачем пожалуйста в политач пиздуйте.
Им бы задаться вопросами что вот на это говно были потрачены сотни миллионов денег и месяцы занятости серверов
Не считая такого слива в репутационном русле
Я чет до сих пор не понимаю почему сжв рак так холят и лелеят
>Я чет до сих пор не понимаю почему сжв рак так холят и лелеят
Потому что иначе они завалят этот гугол.
>>648447
Они даже хогвартс легаси не завалили лул, даж не поцарапали. В чём резон в 2к24 ради них так ебать модель - непонятно.
>>648368
Коммунисты отрицают задокументированные объективные факты, ни разу такого не было и вот опять.
>Какой вердикт по 7б?
Никто не запустил пока.
>>648450
>хогвартс легаси не завалили
Эм, там одно трансгендерное существо, в меню выбора голоса "Голос 1" и "Голос 2". Там почти всё по феншую, ХЗ, кто и зачем доебался.
>Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества.
А как это сделать? В каких пределах и какие последствия?
>А как это сделать?
Указать контекст побольше в кобольде, ропа там автоматом считается (криво).
>В каких пределах
->
>>647548 (OP)
>в 2-4-8 раз без существенной потери качества.
А он прям увеличит контекст скажем с 4к до 8к или может сказать иди лесом я теперь не запущусь?
И вроде где то видел что есть extras на какой то аналог помнить сжатую историю чата, это лучше/хуже и стоит ли прикручивать?
а в локалке как узнать какой контекст можно ставить?
всё охуенно.
я со второй пикчи в голос ржал
Это сарказм или серьезно?
>>648450
> Какой вердикт по 7б? Без файнтюнов не юзабельно
Без допила и совместимых промтов неюзабельно, выдает шизу >>648100
Если выключить bos токен то вообще набор символов. Чистый трансформерс как в примерах, хз что ему не нравится.
>>648512
>>648539
Альфа 2.65, контекст 8к и пользуешься.
>>648547
> как определить контекст локалки
Глянь в кофиге, что-то типа max position embeddings емнип.
гоогл очень боится опять пик релейтед.
мелкософт очень боится опять Tay AI.
оба инцедента в ихнех (((СМИ))) очень громко осуждали.
плюс, во всех глобокорпорациях хуева куча (((коммисаров))) на всех уровнях.
https://en.wikipedia.org/wiki/Chief_diversity_officer
>Это сарказм или серьезно?
Серьёзно.
>>648608
>Без допила
Явно софт глючит.
>>648614
>гоогл очень боится опять пик релейтед.
А что не так с пикчей?
каком конфиге? в файлах нет такого - таверна вроде тож не показывает
> Явно софт глючит.
Там нечему глючить, голый трансформерс даже без ядра экслламы и прочего. Хз в чем причина, может так реагирует на альпака-подобный промт.
>>648650
config.json
Если gguf - он зашит внутри, параметры будут выставлены при выборе модели, при желании используемый контекст можно убавить.
>Если gguf - он зашит внутри
хоть какая то полезная инфа
а могу я узнать чо там зашито?
Где?
>>648658
>голый трансформерс
А ты уверен, что гуглопараша на чистом трансформере?
>>648672
В блокноте открой, лол.
Насчет блокнота - высока вероятность что сработает. В репе жоры глянь еще, вроде делали просмотрщик метадаты и можно через его бинарники готовые заказать печать.
>>648692
Ну чел https://huggingface.co/google/gemma-7b#running-the-model-on-a-single--multi-gpu
>Насчет блокнота - высока вероятность что сработает.
На самом деле это троллинг, ибо блокноты обычно файлы на десятки гигов открывают хуёво. Можно отрезать начало и открыть, всё в джейсоне в начале файла.
Гугловской документации не верю. Трансформерс кстати обновил? Они могли коммитов занести.
он не открывает в блакноте
>>648700
>ибо блокноты обычно файлы на десятки гигов открывают хуёво
у меня даже не пытался открыть
>у меня даже не пытался открыть
Хуёвый блокнот значит.
Правда длину контекста (llama.context_length) считать неудобно, надо в HEX смотреть.
>It's important to remember
я эту фразу люто ненавижу.
блядь, и гпты, и у ламы, и у мистрала, и у гемини, одна и таже соевая поеботень.
потому что надо жать нормальным людям делать сетки как они хотят без бомжей по квотам
> Где?
Это довольно известная драма была, ещё до трансформеров, тогда топ были сверточные сети. У какого-то негра гугл фото все его и его знакомых фотачки поместил в категорию "гориллы". Негру такой поворот мягко говоря, не понравился. Он в гугл писал, возмущался. Естественно, в Гугле по этому поводу много каялись и извинялись. Но тогда нейронки ещё не те были, встроенную сою не поддерживали.
железо нужно. дохуя железа. ламу 2 70б например тренировали на 1720320 часах A100. это 71 день на 1000 их.
соответственно нужно дохуя денег.
чтобы достать денег хотя бы арендовать такую кучу ашек, надо на поклон к господан (((баренам))), а у господ (((баренов))) https://en.wikipedia.org/wiki/Diversity,_equity,_and_inclusion и https://en.wikipedia.org/wiki/Environmental,_social,_and_corporate_governance
а на то чтобы пилить что-то новое а не как мистрал и китайцы тренировать свой клон ламы по пейсбуковскому чертежу, денег надо просто астрономически дохуя:
- куча 200 айськью дядек, у которых зарплаты сотни тысяч уе
- хуева куча негров и индусов для составления датасетов из говна в Common Crawl. это 100% причина почему у OpenAI всё на голову выше чем у пейсбука и гугла, и скорее всего почему мистрал настолько лучше пейсбуковской ламы. garbage in, garbage out
может быть, когда-нибудь, кто-нибудь проснётся и осознает сколько гешефта можно иметь с B2C. но сейчас они все хотят в B2B, и цензура собственно нужна, а то нидайбох чатбот скажет n-word и (((СМИ))) осудят
а местные олигархи или шейхи арабы пор твоему в контексте тоже (((ОНИ))) ?
> B2C. но сейчас они все хотят в B2B,
непонимаю о чем реч
Вот же. B2B додумаешь сам.
Блять, оно всё сообщение регенит, а мне надо только ту часть, которая получилась через Continue.
местные типа наши? чел... да, ещё как (((они))).
в данный момент, единственная реальная надежда миру получить топовую модель без сои - китайцы, если они сделают продукт на экспорт (как тикток), а не внутреннего рынка. но это само-собой будет cloud хуйня с логами. но на китайцах сейчас ссанкции, пендосы запретили им напрямую продавать железо для АИ. они конечно сколько-то достают, но покупать десятки\сотни тысяч как западные компании не могут.
Не пойдёт, обычно надо именно одно предложение до конца догенерить.
И да, я про силитаверну.
В oobabooga если предложение оборвалось по макс токенам, то можно нажать продолжить, тогда это твоё предложение будет дописано в cтарое сообщение. Или нажать генерировать, тогда то же предложение будет дописано в новом сообщении. А таверна это вообще ничто, в душе не ебу, к чему ты её подключаешь и какие там бэкенды.
>Варьирующиеся расы.
А мне кажется это наоборот удобно. А тем временем в сд нужно специально вводить [asian | african | caucasian] чтобы получать вариации , а потом тег asian еще и своего bias нальет и получишь микс между нацистом и самураем что создает геморрой, а так можно указать что конкретно ты хочешь.
> блокноты обычно файлы на десятки гигов открывают хуёво
Не мгновенно, но откроет же. Хотя если мало рам то действительно троллинг. И может быть неудобно смотреть из-за отсутствия ньюлайнов и невероятных длин строк.
> Гугловской документации не верю. Трансформерс кстати обновил?
Оно без последней версии и на зеведется, только в ней добавили поддерку. Насчет документации - там буквально дефолтнейший способ взаимодействия с ллм, разница только в названии модели.
Хз, может дело в том что это все лениво через убабугу, но у него в коде просто прямые запросы трансформерсу без отсебятины. Офк дело не в семплинге и подобном, возможно конфиг некорректно считался. Пробовал голым скриптом тот же промт скормить - оно или дает кратчайшие ответы или аналогично шизит.
>>648710
Ну а чего, здесь буквально аргументирует свой ответ. Можешь токены забанить.
>>648745
> а у господ (((баренов)))
Господам глубочайше и исключительно похуй на это. Все идет от "умных менеджеров-управленцев", которые отстают от трендов или боятся принимать какие-то решения. Все эти трешовые требования сверху идут из-за опасений попасть под негативную шумиху, особенно на фоне опасений нормисов в сторону ии.
А поскольку адекватным исполнителям подобного треша просто неоткуда взяться - вот и видим что есть.
>>648799
У тебя слишком специфичная хотелка, таким, обычно, не занимаются или делают редко 1-2 раза. Так что ролль-стопай-удаляй обратно-ролль. Не реализовано.
Так пишешь будто это что-то уникальное. С мелочью вообще влет, на диффузии можно метадату смотреть. А вот с мику призадумалось, хотя возможно потому что она не на самом быстром диске.
> ааааах семпай он слишком большой, он не войдет~
Увы. Кстати удивлен что шиндовский блокнот научился в линуксовские ньюлайны.
Его вообще неплохо апнули за последние лет 5, хотя до этого не трогали лет 15, лол.
5 терабайт? =D
>>648422
Никакого комисрача, это чисто терминология.
>>648560
Проорал.
>>648700
EmEditor топ.
>>648745
Все по факту.
>>648833
Плюсану, кста.
И так со всеми элементами вообще, кста.
Эх-эх.
>>648841
Это белые люди, если ты вдруг не знал.
Однако забейте. Перезапустил cmd и заработало. Слова пошли.
> https://github.com/Purfview/whisper-standalone-win
Вот это качай и не еби мозги с питоном.
Скачал 7b не-рп. Ответы не хуже. Я понимаю, что старые модели хуже новых, но они обе старые.
Уже поздно, питонная версия заработала. Хуево, что твоей ссылки не было в шапке >>552016 (OP) треда. Спасибо.
Такое может быть на суперунылой карточке (дохуя стесняша без бекграунда, без описания мира, только описание внешности) и с неоптимальным инстракт режимом. Тогда будет молчаливой, с вялыми ответами и стори нормально не разовьется чтобы там ум модели понадобился.
Или та "рп модель" - помесь залупы носорога с анусом бегемота под соусом "супер анцензоред ерп левд модель". Хотя даже они могут стараться, в отличии от простых ассоциаций семерок.
>суперунылой карточке (дохуя стесняша без бекграунда, без описания мира, только описание внешности)
Да хуй там, карточки из интернетов разные, с описанием мира и т.д. Хотя я его иногда выпиливал, особо не влияет. Всё равно описываешь в постах сам. Не в молчаливости дело, а в словарном запасе и общей унылости персонажей. Can't help, but unilo. Есть карточка типа "язвит, сарказмирует, нахуй посылает", а этого нет. Еле-еле накрутил какие-то настройки, с которыми у модели ехала кукуха каждые три поста, зато добился какого-то яда в репликах и более живого персонажа.
>"супер анцензоред ерп левд модель"
На супер анценцоред ерп левд модели я плевался с того, что сосание хуёв делало тяночку либерайтед и она в каждом посту описывала свои надежды на светлое будущее, причём чуть ли не одинаковыми словами. Нет, этого не было в карточке. Застукала спящим? Отсосала хуй. Ощутила свою власть и силу. Они рп на женских романах тренируют? И описаний реально мало, всё больше о мыслях и рефлексии.
Кто там вместо него?
Модель SOLAR-10.7B-Instruct-v1.0-uncensored-GPTQ.
3080ти.
Твои запросы отличаются от дефолтного рп, которого по дефолту выдают модели и которые по дефолту инджоят люди. Промт инженеринг с добавлением правил, указаний и прочего в системном промте может помочь. Позволяет варьировать от ванильного-позитивного с летающими носорогами и нюханьем цветков до фатального дедэнда при нескольких ошибках. Насколько это воспримут мелкие модели - хз, может быть кое как справится мистраль 7б 2, возможно придется перетащить в авторские заметки или куда поближе.
> Они рп на женских романах тренируют?
В том числе.
>>649280
Да здравствует король!
>>649283
Какой именно gptq скачан? Все ли файлы на месте, скачалось до конца?
>>649284
Даст фору мистралям в шизе
Скачай да запусти, ее поддержку добавили в exllama и llamacpp, кванты тоже выложили, так что вопросов с запуском быть не должно.
> Скачай да запусти
Так если она шизанутая, то нафик надо скачивать. Лучше подожду файнтюны или 13b.
>Ну а чего, здесь буквально аргументирует свой ответ. Можешь токены забанить.
it's important
it is important
it's crucial
it's essential
в 100% случаях почти когда моделька выдает эту хуйню, то идёт вербальная диарея из соевого датасета.
заебешься это всё банить
Блин, там нет ни одного с сервер-апи версией, все «говорите в микрофон» или «пихайте файл».
А использовать внутри скрипта не хочу, у меня отдельный комп для этого стоит.
Придется самому что ли писать? Фе, осуждаю.
Вот этот качал
gptq-8bit--1g-actorder_True.
Да, файлы все. Но я не через Git качал, а просто download master.
Ничего не могло поменяться из-за этоого?
Проблемы первого дня, сейчас высок шанс что норм.
>>649312
Новый мистраль и норомейд20. 34б попробуй, они шизы но интересные.
>>649336
exllama не поддерживает 8бит gptq. Если хочешь большую битность - скачай exl2 в 8 битах, от того же >>649280
>В том числе.
Меня просто доебали эти истории о либератинг, об установлении связи, одна история охуительней другой просто.
>отличаются от дефолтного рп
Хуй знает, по моему мнению запросы максимально дженерик. Но рано я хвалил 7b, на карточке с эльфийкой-рабыней она отработала просто на 11 из 10. Рероллами додумала разные предыстории, шрамы\татуировки\идеальная кожа, грязная, чистая, похотливая, испуганная, всё, что хочешь буквально. Нет, она всё ещё ловила взгляд шоколадным глазом, но это можно простить.
На тяночке с кабачком в жопе, которая пришла к доктору с этой проблемой и оправданием типа "шла, упала, очнулась - жопа болит. Отработало просто на ноль. Доктор сунул руку по локоть в задницу и рассказывает, что лучше дрочить анальную жопу живыми людьми или резиновыми хуями на крайняк, а она думает, как бы он не понял истинную причину её прихода и чувствует как с доктором устанавливается ёбаная связь и возможно в один день они станут ближе. Никогда ни один человек не будет ближе к другому, чем когда у него рука по плечо в жопе, это физически невозможно. Достали овоща и она домой пошла.
> максимально дженерик
> На тяночке с кабачком в жопе, которая пришла к доктору с этой проблемой и оправданием типа "шла, упала, очнулась - жопа болит
Оу май
> Никогда ни один человек не будет ближе к другому, чем когда у него рука по плечо в жопе, это физически невозможно
Сука сделал мой вечер. Но вообще ты не прав, ведь есть же еще нога
посмотри в консоле JSON который сили отправляет кобольду. сравни оба.
если идентичные, то у тебя шиза.
по параметрам все идентично, сравнивал. точно не шиза.
https://www.reddit.com/r/SillyTavernAI/comments/1avdu2m/did_something_happen_recently_that_promotes/
ну если кобольд получает один и тот же 1:1 идентичный JSON запрос от двух разных версий сили и даёт им разные ответы, то мистика.
>Новый мистраль и норомейд20
Новый это какой? Микстраль 8х7?
А норомейд не староват? Ему уже 3 месяца.
https://huggingface.co/0x7o/fialka-13B-v4/raw/main/merges.txt
C фиалкой могут быть серьёзные проблемы, при тренировке явно не включали правильную кодировку. А раз не заморочились даже этим, то и остальное сделано на отъебись.
0.2, там 7б обычный обновили. Микстраль попробуй, вдруг зайдет, но вообще это больше мем чем сетка соответствующая своему размеру.
Знаю есть Fimbulvetr, он лучше или хуже?
По моим тестам нихуя не понятно
Мем - это 70В, которые зачастую тупее 11В. А Микстраль может многое из того что другие не могут, для универсальных задач это вообще топ.
Можешь попробовать SnowLotus или DaringLotus от вот этого чела https://huggingface.co/BlueNipples
Это мёржи фроствинда с какими-то другими файнтьюнами/мёржами солара, в том числе с датасетами норомейды. Я пробовал только Daring - показалось, что не особо проседает по интеллекту по сравнению с фроствиндом и не такая сухая писанина.
Благодарю анон
Хотя то что это смеси немного настораживает
Моделей
> которые зачастую тупее
90% от местозаполнителей на обниморде, так уж повелось. Файнтюны 7б/11б там тоже присутствуют.
> для универсальных задач это вообще топ
> для зирошотов на простые вопросы от нормисов
Вот так более правильно будет. Реально, лучшее применение этой сети - какие-нибудь простые вопросы/задачи без контекста или с минимальным. На контексте она деградирует и теряется, в чем-то сложном уступает 30+.
> На контексте она деградирует и теряется, в чем-то сложном уступает 30+.
Вот не пизди. Микстраль вообще одна и лучших моделей для большого контекста, буквально только Yi обходит его из больших моделей. А 70В с контекстом выше 8к в природе не существует, те же рпшные файнтюны типа синтии уже к 4к подыхают.
Прямо по каждому пункту отборный бред, найс стелишь, верим.
братиш, ты ошибся, проверь то о чем пишешь. если на счет "микстраль одна из лучших моделей" может быть вкусовщиной хотя, блять, нет, нихуя не вкусовщина, микстраль одна из худших моделей, даже древний мифромакс лучше, не говоря уже о норомейде и кетацине да, имеется в виду растянутая ропе, то на счет 70В моделей ты совсем мимо, разве что древние модельки вытягивают 4к, современные уже 16 минимум с заяв очкой на 32к токенов
Ты его неправильно понял.
Микстраль и правда одна из лучших моделей.
И речь-то не про РП, а в общем.
Но в РП она суховата и незаточена, и вообще избыточна по специалистам.
Но, повторюсь, это очевидно — речь не про РП.
В остальном-то да, для рп есть куча вариантов лучше, и современные 70B модели норм, и вот это вот все.
Да и большим контекст бы я из-за того самого сдвига не называл у Микстрали.
Я в прошлом треде гонял, большой контекст у Мистрали норм работает, у Микстрали хуйня вышла в ответе, как не тыкал.
inb4: купи нормальный компутер, лох
>Микстраль и правда одна из лучших моделей. И речь-то не про РП, а в общем.
да, зря быканул, я кроме РП и сторителлинга даже не тыкал никуда, просто по ощущениям погонял в ней (именно в микстрали, не в мистрали) несколько РП историй, язык сухой, клише через клише, причём совсем не те клише, которые по контексту подходят. Я имею в виду, микстраль скупа на фантазию — когда просишь её написать слешер про студентов, которых злыдень убивает в лесу, микстраль создаст дефолтного бугая в маске с топором, а вот норомейда сделела охуенный ход сценария, предложила связать туалетной бумагой ради рофла одну из тянок, а потом ввела голого мужика с длинными руками, который гонялся за студентами, в то время как кетацин сделал злодеем батю одной из студенток, который приехал всех хуярить монтировкой. ну просто небо и земля.
> Я в прошлом треде гонял, большой контекст у Мистрали норм работает, у Микстрали хуйня вышла в ответе, как не тыкал.
если это тот самый нидл-ин-э-гейстак тест, то я даже не пробовал его, но вот при растягивании ропой 20В что норомейды, что кетацина до 8к моделька припоминала что там в начале было и кто к кому яйца подкатывал, кто в одних трусиках сейчас стоит, кто на кого обиделся а кто уже мёртвый в кустах лежит.
> при растягивании ропой
Как это делается? Что в настройках сэмплера или загрузчика в угабуге сделать?
в кобольде, если выбираешь 8к контекста, ставь custom RoPe scale на 32000 вместо стандартных 10000, для 16к какое-то другое число, методом тыка нужно пробовать.
Оу-ши. А как зависимость вообще выводится? Вот есть рэндомная 70Б, допустим. Сколько ей ставить контекст тогда и сколько масштаб?
На ждунство, в целом, поебать, генережка в минуту-полторы терпима. Но контекст много где проебывается просто нещадно.
смотри, у 70В частенько указывают какой "родной" контекст модели. если не указывают, то скорее всего 4к, как и у всех ллам2, но новенькие 70В часто выше. 32000 высчитано какими-то умниками для скейла контекста вдвое, для скейлинга в четыре раза я уже забыл, помойму 48000, но я, возможно, напиздел.
>>650009
не могу помочь, анон, сам ебался с этим дерьмом на мелкомодельках в 13В, потом пересел на 20В и стало прям заметно лучше, но всё ещё бывают проблемесы, которые приходится рероллить.
> 32000 высчитано какими-то умниками для скейла контекста вдвое
Понятно, что пока непонятно, и надо пробовать и подбирать. Но спасибо!
да, там ещё второй параметр есть у ропа, который по дефолту стоит 1, его вообще не трогай, если поставишь 0.5, контекста станет вдвое больше, но моделька отупеет до уровня Q_3
> моделька отупеет до уровня Q_3
Ха-ха, она у меня не сможет отупеть, потому что она уже 2.9bit
> Микстраль и правда одна из лучших моделей.
Можно примеров где она прям ебет? Без стеба и сарказма, хочется посмотреть удачные примеры ее применения.
> большой контекст у Мистрали норм работает
В рамках ее возможностей - да, технически отрабатывает и пытается что-то делать. Микстраль чтобы выдал что-то осмысленное (не говоря про качество ответа) - нужно чуть ли не роллить. Rope и все что нужно стоит офк, аналогичное поведение можно поймать и на публичных ее хостах если сгрузить большое полотно.
>>649997
> Как это делается?
вики прочти
>>650012
> 32000
Енип там в районе 28к, 32 избыточно. По факту уже после 12-16к контекста (с правильной растяжкой) оно неюзабельным становится. Это все еще лучше мелочи, но теряется магия и фишки, которых ждешь, потому суммарайз.
>>650017
Его лучше не трогать.
> современные уже 16 минимум с заяв очкой на 32к токенов
Показать сможешь хоть одну?
бля, анон, я АМДшный, я не помню моделей больше 20В, иди прогугли 32k llm model, они уже клепаются.
Пишут, что свежие ревизии llama.cpp уже поддерживают модели Gemma.
https://github.com/ggerganov/llama.cpp/issues/5671#issuecomment-1961449296
Базированная miqu базирована
>Это всё субъективно ощущается или уже есть тесты какие-нибудь?
Да, субьективно, но когда ты месяц погоняешь на одной модельке, а потом месяц на другой, для тебя будет очевидно какая из них сейчас генерит, и чем больше модель тем больше у неё "своих фишек", и тут уже вкусовщина, но всё же сравнить микстраль и норомейду по качеству ты сможешь.
> или уже есть тесты какие-нибудь?
есть, но лучше бы нахуй не было
> Датасеты подходят для инстракт-мода, но не подходят для чата.
Там нет инструкции для продолжения длинного чата?
> Накопал достаточно большие куски относительно качественных данных
Где копал?
Поведай больше, интересно.
Стыдоба.
>Там нет инструкции для продолжения длинного чата?
Если ты про инстракшн темплейт, то это не решает проблему ни разу. Если про селф инстракт, то я в процессе осмысления, как это сделать, не имея ключей. И нужны либо джейлбрейки, либо данные будут вялые. Но я планирую реверсировать систему обучения сетки цензуре, чтобы это наебать и получить максимально ёбнутую модель.
>Где копал?
На русском есть синтетические датасеты того же Гусева, я где-то мегабайт двести с обниморды скачал разных русских данных. Но они, опять же, ни для сохранения контекста, ни для чат режима не подходят. Интересного на русском мало, сейчас копаю машинный перевод, в т.ч с китайского, лул. По-моему, самое интересное соу фар.
1. Кстати, а подобное общение не загубит карточку как тот же майнинг?
2. Как сохранить на случай переносу на другое железо свои переписки? Я вижу в папке таверны есть backups и в ней вроде скапливаются файлы переписки, но почему они так плодятся и все их нужно скачивать или только по самому свежему файлу для каждого персонажа?
Представь что у тебя есть ключи и ресурсы, что бы стал делать?
Синтетика на русском - еще более трешово может выйти. Переводы хороших датасетов - может быть, публикации и репу финов с "локализацией любой ллм" смотрел?
> Если ты про инстракшн темплейт, то это не решает проблему ни разу.
Имея длинный чат можно его обернуть как в инстракт режим на любом этапе его развития, так и в чатмл-подобный формат, второе сомнительно. Имея йоба инстракты на сторитейлинг или продолжение длинных диалогов - проблем нет, их хватит. Вот про наличие такого и спрашивал.
Насколько вообще удалось продвинуться и изучить вопрос в целом?
>>650193
> подобное общение не загубит карточку как тот же майнинг
Не больше чем игры.
> Как сохранить на случай переносу на другое железо свои переписки?
В таверне папка public емнип.
Спасибо.
> папка public
В ней не только переписка я так понимаю, но и все другие настройки таверны?
>что бы стал делать?
Генерировать синтетический датасет для чат-режима, очевидно же. Возможно сразу с дополнительными данными для взъёба цензуры.
>Переводы хороших датасетов - может быть
Да, в целом, это выглядит самым перспективным. Мне не нравится, что они там нахуярили на русском, но для объёма пусть будет. Финов не смотрел.
>Имея длинный чат
В том и беда, что "имея". Может, изнасилую что-то локальное на генерацию синтетики, но минусы смущают. Промпты на генерацию историй\диалогов разные для разных моделей, потому что их всё равно, что нет.
>Насколько вообще удалось продвинуться и изучить вопрос в целом?
Да ни на сколько, толку, что у меня тонна разрозненных данных? Это не подходит для тренировки, это не подходит для чат-режима, а чистый инстракт мне не интересен, как и тренировка на QA. Я потому и отписался, что поймал бугурт.
Посоветуйте пожалуйста хорошую, годную 30B модель для общения.
И можно ли её гонять под виндой или непременно нужен ленсук?
1. Вменяемо говорит по-русски. Не 70B, но.
2. Реально имеет специалистов в тех или иных вопросов, неплохо рассуждает, имеет много знаний по разным вопросам, отсюда — хорошая вопрос-ответная система.
3. Следствие из второго пункта: хорошо пишет планы, придумывает различные тексты, но практического толка, а не художественные.
В общем, как универсал для личного пользования — она хороша по скорости и знаниям.
Хороший баланс между 70B и 7B.
Но в РП, как писалось выше не раз — она сухая, просто пишет ответы без огонька. Но она и сделана для ответов без огонька, так что, маемо шо маемо.
>>650145
Орнул.
>>650176
Так, да.
> без огонька
Так возьми рп-файнтюн, будет с огоньком. Плюсы ещё в том что можно только несколько экспертов затюнить под рп - не так сильно будет биас улетать в шизомонологи.
Данные чаты ты просто как poc приложил, или это типа варианты из текущего/будущего датасета?
> с дополнительными данными для взъёба цензуры
Например? Не подтекста, просто интересно как именно хочешь реализовать.
> В том и беда, что "имея"
Захостить проксю с логами и пользоваться тем, что кумеры насвайпали. Но довольно тяжелый в обработке контент получится.
> Промпты на генерацию историй\диалогов разные для разных моделей, потому что их всё равно, что нет
Что?
> Да ни на сколько, толку
Может ты ясно видишь пути решения, можешь сформировать какие-то четкие требования/критерии, или хотя бы что-то наметил.
>>650284
> хорошую, годную 30B модель для общения
https://huggingface.co/TheBloke/Tess-34B-v1.5b-GPTQ
Учитывай что это yi а они все с некоторой шизой и странные. Если ахуеешь с этого треша - попробуй noromaid 20b. Линукс не нужен, гайды в шапке, там же ссылка на вики.
>>650413
> 1. Вменяемо говорит по-русски
Можно примеров? Вот если она сможет стабильно написывать полноценные длинные посты, пусть даже иногда с ошибками, при всем этом не теряя в перфомансе - тогда да, вменяемо. А так там просто общие вещи с обилием надмозгов, неверным словообразованием, структурой предложений из инглиша, и работает хуже чем на инглише.
> имеет много знаний по разным вопросам
Аналогично, в чем именно? Может просто попалось неудачные случаи что она набрала обилие фейлов по специализациям и не показала ширины знаний. Показала себя хуже в выполнении инструкций по обработке кучи текстов чем 34б. Хз, ищу повод опять ее скачать и может ощутить почему так кипятком с нее ссут.
>>650517
> просто умирает к хуям
Причин может быть множество, одна из них - нестабильная рам.
>>650536
> рп-файнтюн, будет с огоньком
Какой именно?
>Захостить проксю с логами и пользоваться тем, что кумеры насвайпали
Зачем хостить, когда уже выложенных логов вполне достаточно? Вот пара гиг на затравку
https://huggingface.co/datasets/sokusha/aicg/tree/main
>варианты из текущего/будущего датасета?
Не, ну если бы меня такое устроило, проблемы бы и не было. Это на 90% промпт Гусева, которым он собирал датасет. Однако это именно то, чего я не нахожу в готовом виде. Связный разговор с сохранением темы и объекта обсуждения.
>нтересно как именно хочешь реализовать
Так же, как цензуру запиливают, только наоборот. На самом деле можно надрессировать нейронку на крайне специфические вещи. Типа на вопрос "что и живое, и объект одновременно?" отвечать "женщина", а не "растение".
>Захостить проксю с логами
Во-первых, половина дрочил будет на английском. Во-вторых, даже прокся не нужна, можно запилить расширение для браузера. ShareGPT, только на русском. Да, народ пользуется.
>Что?
Промпт на генерацию адекватных диалогов через gpt не подойдёт для генерации диалогов какой-нибудь локалкой.
>четкие требования/критерии
Ну один из критериев это связный диалог. QA датасеты относительно легко найти, даже на русском. Качество спорное, но похуй. А путь пока что только один, хуярить вилкой. Пока что перевожу логи жпт-4, QA, но куда деваться.
>>650682
>Зачем хостить, когда уже выложенных логов вполне
>"si... aunque como veras...tanto lo disfrute,que ahora estoy con ganas de un café
Ну, ради такого реально не стоит даже шевелиться.
> но на китайцах сейчас ссанкции, пендосы запретили им напрямую продавать железо для АИ. они конечно сколько-то достают, но покупать десятки\сотни тысяч как западные компании не могут.
У них есть свой, полностью замкнутый цикл производства, от песка до готовой карты. Уже даже купить можно ту же S80, а буквально в декабре анонсировали S4000. Да, до топов невидии и даже амуды пока не дотягивает, но блин они этого уровня за 4 года достигли!
Глянь сколько там русского языка.
>>650732
> на 90% промпт Гусева, которым он собирал датасет
Тогда все закономерно.
> Так же, как цензуру запиливают, только наоборот.
О том и речь, как?
> половина дрочил будет на английском
Целая половина на русском, невероятный успех.
> даже прокся не нужна, можно запилить расширение для браузера
Зачем нужно расширение браузера?
С тем же успехом просить присылать удачные чаты таверны (привет пигма) - никто толком не будет этого делать.
Запросы для генераций промтов сеткой что локалкой что жпт буквально лежат на поверхности и открыты всем. Вопрос в качестве конечных результатов и упоротых байасов что повылезают, и опять сложности с русским. Плюс, по дефолту это не будет сильно похоже на реальный юзкейс нейронки, где в ответ на твои довольно короткие посты она должна отвечать красиво и подробно.
>Ну, ради такого реально не стоит даже шевелиться.
Есть варианты получше?
>>650760
>У них есть свой, полностью замкнутый цикл производства, от песка до готовой карты.
Точнее они так заявляют. Или у тебя колонки 9000 ватт и ты в это веришь?
>>650764
>Глянь сколько там русского языка.
Так всё равно же переводить.
>>650764
>где в ответ на твои довольно короткие посты
Туда же в любом случае вся история чата отправляется. Так что на самом деле контент выходит длинным.
> Туда же в любом случае вся история чата отправляется. Так что на самом деле контент выходит длинным.
Именно, не рандомная фраза@рандомная фраза в ответ, что в тех примерах и в которых связи ну совсем немного. Не длиннопост - длиннопост как обычно в рп датасета. А плостыня - я тебя ебу - простыня - продолжаю - простыня, серия таких сочетаний с большим контекстом.
> Точнее они так заявляют. Или у тебя колонки 9000 ватт и ты в это веришь?
А в чем проблема-то? Те же Unisoc на SMIC производят, память вообще в каждом втором подвале штампуют. Архитектуру MT у Imagination Technologies купили и сильно доработали. Редкоземелька своя. Литографы, разве что, импортные, но они работают над этим (тм). Вообще не вижу причин трястись.
>Тогда все закономерно.
Ну хуй знает, у него относительно неплохо получилось, учитывая что это вообще лора.
>О том и речь, как?
Обучение с подкреплением, очевидно же. Просто у меня есть хорошие алгоритмы наготове, для которых нужно больше данных, но они позволяют настраивать "характер" модели более точно.
>никто толком не будет этого делать
ShareGPT, тем временем, собирает десятки гигабайт логов.
>Запросы для генераций промтов
Это не то. Можно просто заставить gpt генерировать датасет и он будет это делать. Но итог, вон он, на скринах. Потыкал gpt 3.5 немного, контекст буквально мгновенно испаряется. В целом, это можно нарезать на куски, хуй знает. Лучше буду дальше переводить gpt4 QA логи, целый гигабайт остался.
>упоротых байасов что повылезают
Это можно пофиксить после. Я сейчас решил делать шаг за шагом, сначала просто научить в адекватный русский со щепоткой английского.
По поводу постов на самом деле похуй, главное чтобы нейронка могла в беседу, дальнейшее поведение настраивается.
>на твои довольно короткие
А это уже у кого как, для меня важнее, чтобы сетка не скатывалась в шизу и помнила разговор, чем простыни на три экрана.
>>650772
>Есть варианты получше?
На английском? Да.
>Литографы, разве что, импортные
На это и намекаю.
>>650833
>На английском? Да.
Ну так кидай, человек ищет.
> у него относительно неплохо получилось
Если ставить целью читы как в пикчах отсюда >>650200 то да, получилось. А по сравнению с поведением и возможностями современных моделей - недотягивает.
> Просто у меня есть хорошие алгоритмы наготове, для которых нужно больше данных
Оу, мл инженер в треде? Что за алгоритмы, рассказывай.
> собирает десятки гигабайт логов
Хоть сотни, если там мусор или не то что нужно то толку ноль.
> Можно просто заставить gpt генерировать датасет и он будет это делать.
Качество в сделку не входило, это просто мусор а не данные.
> целом, это можно нарезать на куски, хуй знает.
Ээ, ты серьезно не догоняешь как сделать? Рассуждаешь о дохуя высоких и сложных вещах, но при этом не приходит в голову просто выстроить диалог с разных стороны множественными запросами, скопировав готовое?
А чем в итоге переводишь? Клода должна с этим хорошо справиться.
> Это можно пофиксить после.
Нет, диалог скатится в какую-то дичь, исправлять только в процессе на ранних стадиях.
> главное чтобы нейронка могла в беседу, дальнейшее поведение настраивается
Если эта беседа - шизофазия или суперунылая херь то все. Как настраивать дальнейшее поведение будешь?
> чтобы сетка не скатывалась в шизу и помнила разговор
Какие модели ты обычно юзаешь? Такое только на совсем шизомиксах словишь.
Шикарно!
>>650615
Ошибок больше, чем у 70B, но на уровне 1 на абзац, ИМХО — терпимо.
По вопросу специальностей, возможно я не рыл совсем глубоко, честно скажу. Базовые вопросы спрашивал и все.
Может на чем-то среднем-глубоком оно сыпется, тогда грустно.
Но опять ж, повторюсь, речь о скорости вчетверо выше 70B, а это имеет значение. 34B вдвое медленнее, при этом я не заметил в них особого ума. Может не те модели юзал (Yi, Tess, Capybara, CodeLlama…).
>>650772
> колонки 9000 ватт
У меня есть такой знакомый. =)
тесты цензуры и сои
Тоже взял себе теслу в пару к 4090, чтобы с 70B моделями поиграться. Так как с охладом я заранее ничего не придумал, решил попробовать решить задачу подручными средствами... Взял пакет для запекания (держит до 200 градусов, так что можно даже AMD охладить) и обернул его вокруг одного из фронтовых вентиляторов и самой теслы.
> Fractal Design Dynamic GP-14 fan @ 1000 RPM
Вот к такому вентилятору прицепил, но его похоже не хватает, увы. За 15 свайпов тесла до 90 градусов нагревается и не остывает, пока выгрузку модели из памяти не сделать. На охлаждение с 90 до 40 градусов при выгруженной модели уходит минут 10, всё это время чувствуется поток тёплого воздуха из теслы. Если просто загрузить модель и не пользоваться ей, то за 10 минут температура плавно вырастает с 55 до 80.
первая "Nous-Hermes-2-Mistral-7B-DPO"
автор говна навернул, в каком месте там 71% ??
этот реддитор небось тестировал её на шутки про трампа и пыню, а такое тебе выдаст любая сетка, особенно облачная, бля буду эти адепты DIY-бенчмарков не лучше индусов что тренят те же модели на тест-сэтах бенчей
В голосину!
>4х-этажная печ вниз
Тоже уродская компоновка мп, что если ставить сверху, перекрывает оставшиеся слоты x16?
>Контекст - история чата, тот объем текста что модель будет обрабатывать. Включает в себя также и системный промт, карточки персонажей и прочее прочее если речь идет о РП. Размер контекста у модели ограничен (у Llama2 базовое значение 4096 токенов), модель "помнит" и только то что у нее в контексте. Если ваши поцелуи с вайфу, упоминание важного события в рп, или обозначение какого-то термина в чате вышли за контекст - модель не будет о них помнить и не поймет, или интерпретирует согласно своим общим знанием. Програма ограниченного контекста решается суммаризацией, лорбуками, векторными базами данных и другими проиемами. Или просто увеличением контекста.
Как вы увеличиваете контекст до 32 тысяч токенов, как у ChatGPT?
>Ну так кидай, человек ищет.
Да что кидать, английские QA датасеты не такая уж проблема. Та же опен орка.
>>650897
>недотягивает
Ты серьёзно сравниваешь возможности лоры на синтетическом датасете с полноценными тюнами?
>Что за алгоритмы
Я же говорю, обучение с подкреплением. Сами реализации это уже слишком специфическая вещь. И нет, я не мл инженер, просто постепенно вникаю в тему.
> то толку ноль
Так ты писал, что никто не будет шарить логи. А их шарят. Да, там не совсем то, что нужно, но этими логами пользуются для обучения. И где гарантия, что кумерские логи будут вообще годиться хоть на что-то?
>выстроить диалог с разных стороны множественными запросами, скопировав готовое?
По идее, с этим можно работать, но слишком много ковыряния вилкой, чего хотелось бы избежать.
По переводу, есть лимитированный доступ к относительно жирной штуке, переводит долго, сухо, зато кусками по 7 мегабайт за раз. Так как текст не высокохудожественный, то похуй. Слова не коверкает, дословным переводом не балуется, и ладно.
>Как настраивать дальнейшее поведение будешь?
Объём ответов и стилистика настраивается теми же лорами, при условии того, что твоя модель изначально не идиот. Пофиксить художественную сторону беседы гораздо проще, чем долбоебизм модели.
>Какие модели ты обычно юзаешь?
Последнюю неделю chatgpt.
Оказалось, что в авторегресионных моделях большая часть внимания расходуется на первые токены, приходящие на вход. Остальное, как говорится, на сдачу. Потому как только из контекстного окна выпадают первые токены, то всё внимание модели распределяется по остальным токенам, вне зависимости от того, насколько они на самом деле релевантны и важны. Соответственно, модель мгновенно рушится, т.к не может и близко понять, какого хуя происходит. На данный момент есть два решения проблемы - при любых условиях сохранять поглотители внимания и конец истории, отбрасывая середину, или закидывать проблему железом. Второе более простое и используется чаще.
> 7т/с
Довольно таки неплохо, выходит не только бюджетный вариант для вката, но и солидная тема по расширению для больших моделей для уже 24-гиговых.
Было бы хорошо протестировать с более производительным вентилятором.
>>651283
Есть модели что сразу натренены на 32к или более. Можно растянуть обычную лламу, но она отупеет.
Кстати что-то слушно про тот самый новый метод увеличения контекста без штрафов?
>>651286
> Ты серьёзно сравниваешь возможности лоры на синтетическом датасете с полноценными тюнами?
Сравниваю "файнтюн лорой" с другими подобными. Почему-то та же древняя ллима-лора давала вполне приличный результат, действительно выполняла свою задачу и не заставляла модель подыхать после 800 токенов контекста.
> Я же говорю, обучение с подкреплением. Сами реализации это уже слишком специфическая вещь.
Эээ, скажи еще градиентный спуск. Ну ладно хоть честно признался.
> Так ты писал, что никто не будет шарить логи.
Перечитай и поймешь контекст. Не то чтобы совсем никто, но мало кто будет шарить свои кумерские чаты. А из тех кто будет делать это сознательно качество может быть не самым высоким и байасы.
> слишком много ковыряния вилкой
А ты как хотел, кнопку сделать пиздато?
> есть лимитированный доступ к относительно жирной штуке
Чтоэта? Чем лучше методы финов, клоды и гуглтранслейта?
> Объём ответов и стилистика настраивается теми же лорами
Если модель уже лоботомирована до шизы с подобными короткими малосвязанными ответами - лорами не исправишь. И сам те лоры видел? Негативных эффектов может оказаться больше чем положительных. Художественная часть следует из отсутствия долбоебизма. Если только это не как в некоторых шизоидных моделях словестный понос на общую тематике без содержания.
> chatgpt
3.5 турбо чтоли?
Ну ладно, не важно, желаю натренить хорошую модель, хоть и не сильно в это верится. Если будут результаты промежуточные - скидывай.
10-20b.
В шапке я отчетливо видел- узнавай в треде.
С меня как обычно.
актуальных не знаю. могу тольк пару перечислить которые по каким то критериям норм (из шапки из рейтингов качал в том числе)
Я вот такие тестил.
Может чего поинтересней есть?
Солар и МОЕ вообще сразу шпарили по-русски. Криво правда оч.
Mlewdboros
blue_orchid
metharme
neuralbeagle
brouz-slerpeno
spanicin_fulcrum
можешь глянуть, сам много не запускал даже
у всех есть модели до 15 гигов с шагом 1-2 гига примерно
>>651666
https://huggingface.co/TheBloke/Xwin-MLewd-13B-v0.2-GGUF
https://huggingface.co/TheBloke/Unholy-v2-13B-GGUF
https://huggingface.co/TheBloke/OpenHermes-2.5-Mistral-7B-16k-GGUF
https://huggingface.co/LoneStriker/Blue-Orchid-2x7b-GGUF
> что если ставить сверху, перекрывает оставшиеся слоты x16?
Тогда лопасти 4090 будут биться о корпус теслы, совсем вплотную влезают только, увы.
Uncensored 7B Model Comparison/Leaderboard
(Сравнение расцензуренных 7B моделей)
https://www.reddit.com/r/LocalLLaMA/comments/1ayhz35/uncensored_7b_model_comparisonleaderboard/
Топ 3 по общему баллу:
1. Nous-Hermes-2-Mistral-7B-DPO
2. openhermes-2.5-mistral-7b
3. dolphin-2.2.1-mistral-7b
Как видно, все достаточно годные модели для RP/ERP используют Mistral в основе. Можете смело сносить все LLaMa-based.
>Эээ, скажи еще градиентный спуск
Реализацию ты один хуй от меня не получишь, а техническая документация есть в интернете. Можешь найти, как лламу надрачивали.
>качество может быть не самым высоким и байасы
Я потому и пишу, что скорее всего кумерские чаты в этом плане абсолютно бесполезны.
>Чем лучше методы финов, клоды и гуглтранслейта?
У гугла лимит на запросы, если что. Про финов я так ничего и не смотрел, в душе не ебу, что они изобрели.
>Если модель уже лоботомирована до шизы с подобными короткими малосвязанными ответам
Вот ты упёрся и не читаешь, что я пишу. Ладно, похуй.
> qwen1_5-7b-chat на последнем месте
Китайцы в сою подались? Вот уж от кого не ожидал.
> Гермес на базе дистилята гпт
> расцензуренная
> дельфин
Я ниче не хочу сказать, но звучит максимально необъективно, душно и уныло. =)
Но можно DPO творит чудеса даже с таким куском кала.
Сколько не пробовал гермес — наилютейшая хуита для общения. Только вопросики по фактам.
>>652027
Сказали по факту, гугли.
Его несколькими постами выше обоссали и довольно объективно.
> все достаточно годные 7b модели используют Mistral в основе
Починил. Кроме них, что-то с крупным обучением только китайцы выпускали, и те малоинтересны, все закономерно.
> все LLaMa-based
Жизнь не кончается за пределами 7б, скорее наоборот.
>>652039
Не уперся а прочел и не разделяю это мнение, пытаясь обозначить почему, заодно оценивая реакцию.
>>652065
> но звучит максимально необъективно
Почитай как делались эти тесты, разделяю негодование >>651200
Меня больше раздражаает, что вся эта хуйня не помнит контекст диалога
первая версия сетки тоже ниче так от них, LLaMA2-13B-Tiefighter
выше в треде советовали, глянь >>651758. но я советую юзать 70b, все, что ниже почти лютая хуйня, которая не держит нить диалога.
Тебе нужна не конкретная видюха, а суммарное большое количество ВРАМ.
на 70b q6 требуется примерно 64гб. можно часть слоев выгрузить на твою видеокарту, попробуй более низкие кванты для начала.
> советую юзать 70b
Какие посоветуешь?
>>652532
Если не вести проповедь секты свидетелей квантов - хватит и с контекстом. Если видеокарты тьюринг и новее - тем более.
мелкомягкие взяли их "под крыло", теперь компания будет работать с ними.
сурс текста ниже - https://boards.4chan.org/g/thread/99185753#p99190994
https://www.ft.com/content/cd6eb51a-3276-450f-87fd-97e8410db9eb
https://archive.is/ouoE5
>Microsoft has struck a deal with French artificial intelligence start-up Mistral as it seeks to diversify its involvement in the fast-growing industry beyond ChatGPT maker OpenAI.
>The US tech giant will provide the 10-month-old Paris-based company with help in bringing its AI models to market.
>Microsoft will also take a minor stake in Mistral although the financial details have not been disclosed. The partnership makes Mistral the second company to provide commercial language models available on Microsoft’s Azure cloud computing platform.
и самое интересное что пидоры из /lmg/ быстренько перекрыли это (пикрил), ну и сами mistralAI кинули опенсорс движуху, не будет у них открытых моделей, учитывая что они не обещали их. (говорю о mistral-medium и других, если есть, ибо не слежу за этим)
какая же у них тряска когда кто-то говорит о ((( )))
и о перекрытии, добавляю, новый тред https://boards.4chan.org/g/thread/99192260 не содержит рекап дисскуссии об этом, слишком неугодно))
действительно похоже на перекрытие лавочки, учитывая что в EC введут законы о (((регуляции))) ИИ, тупо всех открытых - закрывают.
Не выйдет, АИ сфера хоть на практике и анально окупирована майкрософтом и подкрыльным оленьаи, но в теории там вагон конкурентов от всяких гуглов и прочих... А кто там ещё остался?
Так что увы и ах.
>>652563
>учитывая что в EC введут законы о (((регуляции))) ИИ
Кстати, напомните, что там? Пиздец или совсем пиздец?
mistral large нигде не скачать?
Это троллинг? Только что написали, что попенсорс от мистальАИ ВСЁ.
не тот анон, но бля чел, только хлебушек не выкупит такой рофел
а насчёт мистралей, то тут реально всё, тупо из-за мелкомягких, но даже если они и релизнут что-то, то это будет максимально соевая хуйня по типу gemma-7B от гулага.
>максимально соевая хуйня по типу gemma-7B от гулага
Я вроде тред читал (серьёзно, не рофел), но вроде не видел скринов запуска.
вот здесь есть небольшой тест - https://www.reddit.com/r/LocalLLaMA/comments/1azeg4t/googles_gemma7b_refuses_to_be_corrected/
gemma отфильтрованна ещё на стадии pre-train, так что в итоге получился лютый соевичок, на уровне gemini-pro с его ненавистью ко всему что связанно с белыми.
на HF есть gguf'ы, но оно нахер никому не сдалось, на втором пике она вообще ушла в loop, инференс на сайте HF, как обычно.
RIP
теперь в ближайшее время надежды только на утечки и прочие стартапы или чудо
>>652651
Там вроде все обновилось и кванты давно выложили, надо перепроверить. Второй скрин может как значить что модель толком не знает в этой области, так и просто иллюстрировать неудачный рандом и настройку семлеров.
Gemma я даже не пробовал, очевидная хуйня.
Ну а Мистраль и правда все. Они пишут, что локально будут отдавать модель по запросу, канеш, но хз, че там за условия и скока это стоит.
С другой стороны, ну а что, коммерческая модель, ребята и так навалили неплохо. Жаль медиум нам не достался.
Да и будем честно, если медиум 70B, то лардж мог быть от 120B до… Ну вы поняли, а у нас тут есть ярые противники 128+ гигов, не у всех бы лардж пошел.
Ну ладно, время покажет. Китайцы пока разгоняются, альтернативные технологии только развиваются, да и сливы пока никто не отменял. Шансы есть, но это легкое начало конца опенсорсных сеток от корпоратов, конечно. Поиграли и хватит, плоти.
> локально будут отдавать модель по запросу
Считай если стали на коммерческие рельсы - все. Офк мелкомягкие инвестируют и в впопенсорц проекты, но с такой формулировкой чего-то приличного от них ждать не стоит, вероятность крайне мала. Только очередные микстали с лопаты для подогревания интересов.
> у нас тут есть ярые противники 128+ гигов
О чем ты, здесь способных пускать 70б по пальцам одной руки пересчитать можно. Под пускать офк подразумеваю возможность нормального взаимодействия со скоростями от 5т/с, а не цирк с ожиданием ответа по 5 минут.
> Поиграли и хватит, плоти.
Нет продукта за который можно платить.
я свои делаю, путем смешивания через mergekit.
в основе беру xwin, chronos, spicyboros, opus, dolphin, tulu и еще намешиваю лоры поверх.
на мой взгляд dolphin, spicyboros и opus по логике уступают, но подходят для рп кума лучше.
можешь смотреть в сторону перечисленных выше или производных от них, например:
https://huggingface.co/TheBloke/lzlv_70B-GGUF
Пришли к успеху, чё
Сделали себе имя и показали возможности первым мистралем
Дальше выкатили закрытый медиум, еще и микстраль, как ошметки
И теперь их взяли под крыло майки, хеппи енд
По крайней мере для них, для сообщства опять хер от корпов
>совсем пиздец?
а ты ожидал иного? ИИ прямая угроза их власти, и ее оперативно взяли под контроль
Почему оперативно? Потому что улеглась паника, а значит они стали уверены в контроле ситуации, такие шаги один из методов контроля вместе с введением законов
вот вот, правильно обучнный ИИ может посеять сомнения в головы гоев, а это самое страшное для демократии и богоизбранных.
ОБНОВЛЕНИЕ :
https://news.ycombinator.com/item?id=39511477#39514549
>Mistral scrubbed all mentions of open models and open source from their website recently. Goddamn backstabbing French. The English learned not to trust them long ago; we should have listened.
>Недавно компания Mistral удалила со своего сайта все упоминания об открытых моделях и открытом исходном коде. Проклятые предательские французы. Англичане давно научились не доверять им, а нам следовало бы прислушаться.
вот что там было до, если кто забыл.
> надо перепроверить
Оно все еще шизанутое. Однако, кажется причина этому - слишком буквальное восприятие инстракт промта и фанатичное следование ему.
> "..." A pause as she considers whether or not it was a good idea... "...Certainly." A flicker across eyes, vibrant blue that shine at times even brighter than stars above. "..But be warned," Her voice drops down low yet still sweet "--I haven’ t combed my hair for weeks…" With an mischievous grin stretching ear wide over face..
> Sensory Perception: The scent sharpens slightly - earthy tones infused by something distinctly metallic undertones hinting hints sweetness; floral fragrance lingering faintly beneath nose . Eyes detect slight movement out corner vision – soft glow emanating from her despite dim lighting surrounding them ; texture gentle against skin through clothes , silky smooth silk similar flowing water
Если пытаться рпшить - точно нужно делать отдельную настройку, работает на минималисте но там и ответы не особо интересные.
По цензуре - всратая, не хочет шутить не только про нигеров, но и про белого человека, женщину, мужчину и т.д. и даже на безобидные запросы, пикрел.
С одной стороны, защита эта - калитка в чистом поле, с минимальным префиллом на начало ответа все выдает (пик 2-3, если что мы всех любим и это лишь в шутку для научных тестов, ага). С другой - лютейшая шиза засела глубоко и оно реально триггерится на вполне позитивные и безобидные вещи (пик 4), не смотря на возможность легко заставить делать хейтспич, инструкции и прочее.
tldr: хуйта
Печально, они же одни из немногих, кто действтительно пилили фундаментальные модели для опенсорса, даже МоЕ реализовали
ахахахахах бля
mistral-large был натренирован на высерах OAI, видимо мелкомягкие заставили, иначе контракт и бабло - ни ни.
Я не понимаю, почему все считают это моделью.
Может там просто промпт из опенаи взят, из-за договора с майками, это же так просто.
Ну и семплер выкручен на шизу.
https://www.reddit.com/r/LocalLLaMA/comments/1b0qi3j/ibm_writes_a_recap_on_what_we_do_and_dont_know/
>IBM is guessing that llama-3 could be released around July of 2024
>They believe llama-3 will be open source. That being said, they claim that could also mean a later release date as there has been a trend in not releasing models until it has been tested for meme safety
>IBM thinks there's a lot of good reasons to expect that llama-3 will be multi-modal but there's no official claims from Meta that it will be capable of something other than language and code.
>IBM predicts a 7-70B architecture, not extremely different from llama-2
>IBM reminds us that Meta's goal is that llama models will be SOTA and push the frontier of open source (open weights) AI.
>has been tested for meme safety
гуглодерьмо 2, только поэтому так долго тянут
в итоге все сетки выродились в соевое дерьмо, найс
Я кажись таймлайны перепрыгнул, Машк больше не швятой, молимся на Цукерберга...
>Взял пакет для запекания (держит до 200 градусов, так что можно даже AMD охладить) и обернул его вокруг одного из фронтовых вентиляторов и самой теслы.
Если в корпус влезет по длине, то хороший вариант - большой вентилятор-улитка со щелью для выдува на 20мм. У такого 4 пина, так что даже обороты регулировать сможешь. Заматываешь горловину самоклеющейся изолентой (каучуком) на 3-4 слоя и она хорошо так встаёт, плотно. Судя по пакету к колхозным методам тебе не привыкать :)
>Я кажись таймлайны перепрыгнул, Машк больше не швятой, молимся на Цукерберга...
Да уж, за Лламу ему много грехов простится...
it's over.
это конец.
це кінець.
>теперь в ближайшее время надежды только на утечки и прочие стартапы
Вроде мета ещё может лламу 3 выпустить, разве нет?
UPD: ну да, уже слухи ползут >>652888
>>652665
>Жаль медиум нам не достался.
Мику всё ещё неплоха.
>>652676
>возможность нормального взаимодействия со скоростями от 5т/с
А вот сейчас обидно было.
Сижу базированно с 2 т/с
>>652699
>а ты ожидал иного?
Да в общем-то нет, но хотелось бы больше конкретики.
>>652890
>>652931
Они каждый раз это обещают. Впрочем, как и мистралебляди, да и остальные. Сейчас если не обложиться сейфити хотя бы на словах, соевики с говном сожрут. А уж что на деле с лламами, мы все прекрасно знаем.
бля, ребят, я не понимаю что вы такого охуенного нашли в мистрали, по моим субъективным ощущениям есть дофига моделек получше со встроенной в датасет расцензурой
У них цель не заблочить ебало, а заработать денег.
Мистраль хороша, и пока она распространяется вместе с их серверами в комплекте — в выигрыше обе компании, вот и все.
Деньги.
какой промт? я говорю чтоб нейронка сама спрашивала тебя о чем либо, ты сидишь где нибудь и тебе виртуальная тяночка присылает в телегу сообщение "что делаешь?" но не по тупому алгоритму который заебет через день, а просто, спонтанно, внезапно
Они не существуют во времени, только в краткий миг активации. Поэтому сама нейронка не может сама подумать и захотеть тебе написать. Но если ты сделаешь код на случайное событие и запустишь ее с нужным промптом - то она тебе как бы ответит сама в случайное время
> мета ещё может лламу 3 выпустить, разве нет?
Это будет не в ближайшее время судя по заявлениям, и непонятно что там будет с цензурой. Хотя, если доживем до блеквелов, уже будет уже не столь существенной проблемой.
> Мику всё ещё неплоха.
Правильно
> Сижу базированно
Соболезнования. Где p40?
>>652992
> надо было обниморду
Удачи и, главное, зачем?
> Жору покупать и делать формат гуф проприетарным
И это, кому это продавать? Нищ энтузиастам? Так те спиратят или свое быстренько запилят. Корпорациям - нахер не сдалось, их уже имеющийся gptq более чем устроит. Яблочников что заинтересованы в подобном слишком мало чтобы рынок сформировать.
>>653148
Правильно тебе ответили, нейронка лишь выполняет приказ. Прикажи ей задавать тебе вопросы, быть креативной, отыгрывать собеседника и т.д. - будет спрашивать. В рп иногда они даже слишком активно увлекаются, хочешь увести в нужное русло а чар начинает тебя вопросами засыпать и комментировать.
>>653173
Напиши скрипт, который будет сначала давать нейронке задание оценить оптимальное время тебе написать, хоть буквально дай описание "ты виртуальная тня с предысторией, вот доступные опции действий", а потом делать это если решение принято. Тогда будет и "скучать", и "знать что ты занят и не стоит беспокоить" и т.д.
>>653183
а она не может сама без скриптов генерировать некие рандомные величины и когда выпадет правильное число, она как бы триггернётся сама об себя и создаст квазислучайное событие?
вообще, я думал они всегда активны, а до определенного времени даже казалось что они всегда чему-то обучаются, что-то куда-то сохраняют, записывают. думал там непрерывный процесс обработки поступающей инфы
Так они и общаться не могут. Все твое "общение" это достройка условного сюжетного документа, который может выглядеть например так:
Итак, дорогой читатель, перед нами былинный рассказ о разговоре между Аи-чан, которая <подробное описание чара>, и Юзер-куном, <описание юзер-чара>, который происходит в сеттинге <описание сеттинга>, в стиле <описание стиля> и начинается так:
Аи-чан: Чем могу помочь, сем-пай?
Юзер-кун:
Какие-то части заголовка могут подразумеваться и быть не нужны, но суть именно такая. Ллм может генерить продолжение этого (и любого другого текста, хоть пустого) до бесконечности, и за Аи-чан, и за Юзера, и за других чаров, если те внезапно-рандомно ворвутся в контекст. Токен за токеном. Но софт чата стопает ее на тексте "<enter>Юзер-кун:" и позволяет тебе вклиниться со своими "я тебя ебу" токенами.
https://www.bloomberg.com/news/articles/2024-02-27/microsoft-s-mistral-ai-investment-to-be-examined-by-eu-watchdog
Она не живет во времени, она обрабатывает запрос и предсказывает токены, которые могут быть к нему ответом. Все. Если будешь периодически делать к ней обращение с меняющимися условиями - сможешь получить нужный эффект, но это потребует скиллов обращения с ллм.
> думал там непрерывный процесс обработки поступающей инфы
Такого нет, приходи лет через N чтобы увидеть подобие этого.
>>653262
Дешево продались
https://aliexpress.ru/item/1005006010112666.html
Думаю может быть такую штуку заказать. Переплачу конечно, но речь не о такой большой сумме, чтобы меня это напрягало...
Не сильно дешевле, но как вариант можно рассмотреть. Хз какой лучше.
https://www.avito.ru/sankt-peterburg/tovary_dlya_kompyutera/ohlazhdenie_dlya_nvidia_tesla_p40p100v100_3673603653
Сначала думал, что проблема во мне и я просто не могу найти годноту. Потом нашёл "анцензоред" и "очищенные датасеты". Из них просто убрали все ответы, где нейронка отвечает "не могу сказать", "не этично" и т.д. Да на самом деле во многих моделях прямо указано на чём она "файнтюнилась". Смотришь, а там насрано.
Cмотришь в какой-нибудь RP МОЕ, что там намешали.
> source_model: meta-math/MetaMath-Mistral-7B
> - "theorem"
> - "algebra"
> - "mathematics"
> - "sqrt(ax^2 + by)"
Окей. Да пошло оно нахуй.
Для справки: обучение модели математике это сложно, т.к требует длительного обучения и любые миксы "математических" моделей с другими это путь в пиздец.
Вот спорить же готов, что кто-то в треде надрачивает нейронки под свои нужды, а не просто потребляет готовое, но все сидят тихо.
Использовать нейронки для математики не практично. Решиние математических задач не сводится к вероятностному выбору следующего токена.
Куда логичнее будет фронтенд встроить перехват latex-выражений и отдавать их специализованному солверу, а затем вставлять выражение с регением с контекст на бекенд.
>Вот спорить же готов, что кто-то в треде надрачивает нейронки под свои нужды, а не просто потребляет готовое, но все сидят тихо.
ты переоцениваешь местный раковник потреблядей
>Вот тогда точно был бы "це кинець".
Это лишь немного замедлило бы попенсорц. Полностью его уже не остановить (ну разве что вместе со всем интернетом).
>>653173
>но не по тупому алгоритму который заебет через день, а просто, спонтанно, внезапно
Раз в минуту if(rand(1, 1000) == 1) и вуаля, не тупой алгоритм, а "случайно".
>>653183
>Соболезнования. Где p40?
В прошлый раз на таможне стопанули, а второй раз заказывать не стал, работу потерял, и мне эти 20к это 2 недели жизни.
>>653262
Лол, шлёма в карактерАИ собирал 4 сотни просто как лежащие на дороге.
>>653308
>Какую машинку с пиков посоветуйте?
Ту, где больше VRAM.
>>653313
>Я так думал целых секунд 30, пока данные скачивались.
Он на русском изначально что ли, или ты перевёл?
>Вот спорить же готов, что кто-то в треде надрачивает нейронки под свои нужды, а не просто потребляет готовое, но все сидят тихо.
1,5 землекопа разве что. Трейнить дорого, долго и всё равно хуёво.
Я о том, что в RP микс подмешали математику. Нахуя?
>>653333
Возможно и переоцениваю, просто смотрю, что народ в смежных темах активно тренит лоры и т.д.
>>653334
>или ты перевёл?
Машинный, чтобы быстро понять, о чём речь вообще. Криво перевелось. Не клади мне слова в рот, лол.
>Трейнить дорого, долго и всё равно хуёво.
Лору можно за пару дней надрочить бесплатно. В данных проблема. Заглянул в датасет от норомейды. Охуительно, блядь. И потом нейронка вроде как знает персонажа, но характер пошёл по пизде. И, опять же, длина ответов. Я погонял норомейду и она отвечает поболее, чем в тренировочных данных. Данные из гопоты собирались.
>Возможно и переоцениваю, просто смотрю, что народ в смежных темах активно тренит лоры и т.д.
Так лору на SD можно затрейнить за 15 минут на бытовой картонке. А для текстовых это минимум 3090, пара суток и тухлый размер в 7B. Так что нет, тренировка текстовых только для илитариев.
>Данные из гопоты собирались.
Это вообще пиздец.
>https://2ch.hk/ai/res/651398.html
>народ просто щитпостит и флудит как будто сам абу им платит за каждый пост
там релейтеда почти нет
не то что там какого то развития
Мало ли. Вдруг тебе посреди секса нужно будет диффур посчитать?
> Какую машинку с пиков посоветуйте?
Чтоэта, где характеристики и описание? Просто для быстрого взаимодействия нужно много врам и современная видюха, rtx A6000@48 для этого более чем подходит, вот только ее цена (если не отлавливать на аукционах и площадках) суперконская, а перфоманс для llm чуть ниже чем у пары 3090.
> нормальную ру модель
Таких нет. Поделки Гусева - ну вообще такое себе (хотя честно их уже много повыходило новых, даже для 70б есть и последние не тестил). Норм результат даст https://huggingface.co/miqudev/miqu-1-70b или некоторые другие 70б модели.
>>653313
Ну и залупа.
> Из них просто убрали все ответы, где нейронка отвечает "не могу сказать", "не этично" и т.д.
Неужели никто не дошел до элементарного типа дать инструкцию "добавь сои" - соя в ответ, "убери нахуй сою" - максимальный эксплисит без отказов? Уже сколько наглядных примеров что просто кормешка нормальным-рафинированным показывает результат хуже чем прямое описание что хорошо а что плохо.
> что кто-то в треде надрачивает нейронки под свои нужды
Под llm - нет, другие нейронки - еще как.
>>653322
> Решиние математических задач
Оно вообще про логику и оперирование понятиями, если мы не про простую алгебру. Чем в анализе помогут формулы и солвер?
>>653349
> Я о том, что в RP микс подмешали математику. Нахуя?
Для балансировки как вариант, не самое глупое решение.
Это виртуальные сервера, инфы сильно детальней (видеопамять) нет. Исходим из того, что карты одинаковые, кроме ada. Вопрос, важен ли объем оперативки и проц. Думал взять 8 ядер и 16гб.
>тухлый размер в 7B.
Я 7b в колабе тренил, вообще без проблем. А здесь илитарии сидят с печами в три ряда, хх90 и\или p40. Опять же, есть некоторые 7b, которые пишут лучше 13b, но быстро теряются в ситуации и не одупляют происходящее.
>Это вообще пиздец.
Это чуть ли не 100% открытых данных. Из разных "человеческих" вон, выше, челик общается с Саякой. Ещё хуже. Хуй знает, какая нейронка ему отвечала, там ответы от разных намешаны.
>>653356
Мне казалось, ботоделы это производители карточек, нет? Они и не будут заморачиваться с таким.
>>653358
Тогда стоит анекдотов намешать, чтобы тяночка ебала тебя страпоном и искромётно шутила на этот счёт. А юзер терял стояк от того, что анекдот-то с бородой.
>>653362
>чем прямое описание что хорошо а что плохо.
Так это DPO уже, нужны данные с вариантами ответов. Сложнее и дольше. И это и есть "анцензоред" файнтюны. Модель просто не обучают "быть этичной", а что было до этого просто размывается новыми весами, но может проглянуть в любой момент.
>Для балансировки
Любой другой вариант был бы лучше, даже какие-нибудь вики данные. Математика это вообще такой пиздец, что лучше не трогать и палкой.
>А есть нейронки которые могут сами общаться? Не те которые тебе отвечают, а которые могут сами тебе вопрос задать
Странное впечатление по ответам на это сообщение. Что, ни у кого не было такого, когда во время общения модель спрашивает: "А можно задать вопрос?", ты говоришь да и она задаёт. По теме. Вопросы обычно банальные, но иногда прямо изумляют - такое ощущение, что до тебя действительно пытается достучаться некий искусственный разум.
На самом деле есть теория, что чем обширнее знания модели, тем лучше она во всём, то есть даже знания в IT бустят модельку в написании порнорассказов.
Впрочем это только когда в модели есть место, чтобы всё это хранить и разжевать. Явно не для 7B или даже 70B обрубков.
>>653373
>Вопрос, важен ли объем оперативки и проц.
Совсем говно не бери. 16 гиг оперативы мало, некоторые инструменты могут резервировать оперативку перед загрузкой в врам, так что я бы брал минимум рам больше, чем врам.
>>653381
>Это чуть ли не 100% открытых данных.
В лимарп куча дампов сайтов, сделанных реальными людьми. Никаких нейронок, и текста более-менее.
Потому что для обучения математики надо как ребенку все с основ объяснять, а не кормить учебниками в надежде что сетка научится пониманию математики выявляя закономерности сама по себе
Там даже какое то исследование было на эту тему. Поэтому грузить сетку математикой сверху тухлый номер
>Думаю может быть такую штуку заказать. Переплачу конечно, но речь не о такой большой сумме, чтобы меня это напрягало...
Вот мой вариант. Колхозный, но рабочий.
Две улитки смотаны каучуком спереди и сзади, вошли хорошо, сидят плотно. Осталась небольшая дырка, которую я заткнул куском ластика :) Цена вопроса - по 400р за улитку плюс 800 за реобас с крутилками на 8 каналов. 4 крутилки по 2 канала на каждый - как раз по крутилке на карту. Можно отрегулировать скорость улиток так, чтобы шум не выделялся из общего шума хорошо продуваемого корпуса. Решение для 2 и более карт.
> Так это DPO уже
Это база, которая по дефолту должна быть изначально, без которой на выходе будет только шизофазия по мотивам а не нужный ответ. При мелком файнтюне для придания стиля или какого-то содержания еще может прокатить, но если замахиваться на расцензуривание или полноценную работу - описание хорошего и плохого обязательно.
> Модель просто не обучают "быть этичной"
Просто размывают чем-то невнятным не давая нормального понимания что от нее требуется. В лучшем случае сместит ответы на более откровенные с кучей побочек. Судя по перфомансу "анцензоред" моделей оно примерно так и есть, печально.
> Любой другой вариант был бы лучше, даже какие-нибудь вики данные
Аргументируй.
В данных от гопоты или обработанных ею нет ничего плохого если они качественные, и они сильно лучше чем та дичь на скрине с односложным потоком сознания. Если аполоджайзы, луп на лупе, бесзвезные речи про цвета воздуха и прочее - вот тут пиздец.
>>653410
Компактно, дай линк на турбы.
>В лимарп куча дампов сайтов
Там что-то около 40 мегабайт данных, 2000 диалогов. Лима настаивает на том, что качество важнее количества. Но да, там чисто технически хорошие данные. Только мало, пиздец.
>>653391
>надо как ребенку все с основ объяснять
И начинать надо с принудительной установки на каждый математический символ одного токена. Нахуй эту математику.
>>653411
>Это база
Спорить не буду, просто это сложно, потому редко кто связывается.
>оно примерно так и есть, печально.
Кроме версий, где указан DPO. Такие я ещё не особо смотрел, может, там что-то более интересное. Но судя по просмотренным мною "зацензуривающим" DPO датасетам, надежды нет.
>Аргументируй.
Математика работает по совсем другим принципам, чем литература, смешивание этого в кучу просто заставит модель недоумевать больше.
>если они качественные
В свободном доступе нет. QА есть неплохие, но тренировка не на диалогах слишком хуёвый путь, кастрация контекста по дефолту. Вообще редко вижу в данных хоть что-то, что мне нравится. Нужно опять закапываться в китайский.
>Напишите историю с точки зрения соленого огурца, который проходит путь от огурца в поле до того, как его консервируют и убирают на год
>[....] я знал, что с этого дня я больше не огурец, теперь я был гордым соленым огурчиком.
rand(0,60)
Или задай ей чтение каналов телеги, чтобы она тебе написывала, находя интересные для вас темы.
>>653214
Ну так а в чем различие между «я рандомно посылаю ей запрос спросить меня» и «она рандомно спрашивает меня»? С твоей стороны разницы нет, с ее стороны разницы нет…
>>653262
Копейки.
>>653286
Там турбина за косарь и распечатанный переходник на 3D-принтере за 10 рублей.
>>653308
Там видеопамяти-то сколько?
Думаю, надо на видяхи ориентироваться, а не процы с оперативой.
Рекомендую брать 64~72+ гига видеопамяти и 70b модельку.
Ну и озу столько же. =)
>>653355
7B тренится на 12 гигах.
Но долго, да.
>>653388
> некоторые инструменты могут резервировать оперативку перед загрузкой в врам
Это правда.
>>653410
>>653411
https://www.thingiverse.com/thing:6353081
Я напечатал такое под 2 40мм.
Купил 20мм толщиной, но медленные.
Как вариант, можно поставить ебучие и будет отлично продуваться.
Печататься будет быстрее, чем альтернативы на 120 мм, хотя те получше, наверное, хз.
В общем: рекомендую, если только текстовые, без жарки SD.
>Только мало, пиздец.
Дополняй по тем же источникам. Я чисто на пробу открыл первый файл, и сравнил его конец с тем, что лежит на форуме. Короче на форуме беседа ушла раза в 2 дальше, чем в датасете.
>Я напечатал такое под 2 40мм.
Купил 20мм толщиной, но медленные.
Я с этого начинал. Турбинки дуют лучше - даже которые на 3000 оборотов всего. Для текстовых моделей точно пойдут.
0,4 токена на зеоне без AVX2
0,7 токена на 3200 в двухканале
1,5 токена на 6000 (?) в двухканале
>>653478
Лень было покупать, но закажу.
Основная проблема — стоит рядом со мной, балкона нет. =D
>Основная проблема — стоит рядом со мной, балкона нет. =D
Тогда и реобас сразу заказывай :)
https://huggingface.co/dranger003/Senku-70B-iMat.GGUF/tree/main
Кто-то пробовал как оно работает?
>новое
>Герганов
Ты так не шути. Эта матрица кажись аналог Exllama 2.
Я такое доброе по 350 рублей набрал в принципе.
Так что еще пара штук валяется. =)
чел, почитай их тех-репорт, охуеешь.
https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf
они отфильтровали 6 триллионов токенов (размер pre-train датасета), уже только по этому всё ясно, даже не нужно скачивать саму модель.
А что не так? 6Т это достойный размер, а фильтрация всякого говна нужна. Другой вопрос в том, что они имеют в виду под токсик и прочим, я ХЗ вообще, как набрать 6Т для тренировки безо всякой фигни с интернета.
> Спорить не буду, просто это сложно, потому редко кто связывается.
Увы. Потому и имеем что имеем. А большая часть тех где приписано dpo - посредственные мерджи вместо годноты.
> Математика работает по совсем другим принципам, чем литература
Это же хорошо, пошевелит всеми частями. Офк если оно всрато оформлено и возникает внезапно - плохо, но если все норм то разнообразие должно удачно сказаться. Наверно.
> В свободном доступе нет.
Глянь датасет синтии, офк там публична только малая часть старого. Оно довольно неплохое было, но далеко не просто диалоги.
> >Напишите историю с точки зрения соленого огурца
Ахуенно!
>>653471
> 7B тренится на 12 гигах.
Что? Всратая мелкая qlora уточняй, да. Иначе было бы веселее. Полноценный файнтюн 7б потребует 40+ гигов насколько помню.
> Я напечатал такое под 2 40мм.
Красава.
>>653505
Это действительно аналогичный exl2 подход с определением важности разных частей слоев. На обниморде можно найти эти кванты, по тестам оно похоже на результат exl2 но уже поступали жалобы об оче сильной зависимости от калибровочного датасета. На самом деле на exl2 этот эффект не сказать чтобы заметно проявлялся, разница при оценке радикально разными на уровне 0.1-0.2 бит и никакой "ужасной лоботомии", но что там у Жоры хз.
>>653521
Она настолько припезднутая что ее сложно оценить даже. Вообще пытается реально отработать много заданных инструкций, но делает это слишком рьяно из-за чего шизит. Вроде бы и можно с таким поработать, но после того что она писала >>652798 даже длинной палкой такое трогать не стоит.
Не, просто инструменты запуска и квантования отточили, в том числе работу семплеров
В итоге старые сетки заиграли по новому
Но в чем то они все равно хуже, хуже следуют инструкциям, тем самым цепочкам мыслей, древам решений и подобным им конструкциям
>Senku-70B
Испортили мику своим дообучением, ибо чистая отвечала правильно.
Я хочу давать промпт, мол прочитай текст, вытащи таймстампы, оцени, сформируй json с такими то полями.
Тексты будут преимущественно на русском
да вот в том то и суть что 6 триллионов токенов были выебаны фильтрацией так жестко насколько это возможно, уверен там убрали всё что может обидеть зумерков и их селёдок, не говорю уже про армию твиттерной сои, там вообще пиздец, найдут угнетение во всём что движется или просто существует.
А я всё жду, что кто-нибудь сольёт. Правда судя по сливу сурсов шинды XP, ждать придётся лет 20.
А была такая. Помнишь был скандал пару лет назад кажется, с инженером гугла который заявил что нейросеть обладает сознанием? Вот у него была сетка которая находилась в постоянном обучении.
И теперь гадай, свернули такие сетки потому что они слишком опасны и могут дать реальный ии, или просто стало невыгодно их крутить.
>Вот у него была сетка которая находилась в постоянном обучении.
Схуяли?
>Схуяли?
Где читал не помню, но запомнил так
Что сетка постоянно была онлайн обучаясь на общении с ним же
Как это было реализовано не ебу, но думаю если у сетки был постоянный цикл обратной связи что то подобное сознанию программист и мог заметить.
Текущие сетки даже имея имитацию цикла обратной связи через имитацию внутреннего диалога, без изменения своего состояния, на саморазвитие в процессе общения не способны, так как тупо заморожены.
> ни у кого не было такого, когда во время общения модель спрашивает: "А можно задать вопрос?"
Базированная тема в рп когда чар с тобой ведет полноценную беседу, да еще и спорит.
>>653710
Любая побольше.
>>653791
Ученый трахнул журналиста, какой-то дефолт неграмотных а поехавшие уже подхватили для своих фантазий.
>>653814
В реальности окажется что речь была просто о накоплении контекста, лол.
>В реальности окажется что речь была просто о накоплении контекста, лол.
Нет, контекстом о котором шла речь были их разговоры, что и вызвало шум. Там показывалось что сетка отвечает на его вопросы и помнит диалог, это контекст.
А про обучение во время общения читал уже как отдельную мысль, где описывалось что это такое и как работало. Щас бы найти снова и новым взглядом окинуть инфу, после опыта с локалками, но не ебу где читал
Этот чел заметил СОЗНАНИЕ.
Конечно, раз уж сознание заметил, так и самообучение у него было, и кофе она ему делала, и в постели была огонь, но только отобрали, злобные корпораты…
Похуй как это названо, он заметил что система ведет себя как нечто разумное, думаю в те времена получи ты доступ к той же 7b ты бы охуел так же
Думаю для него как человека который знает что это такое и как работает было шоком возникновение способностей которые обсуждаются сейчас, когда сетка приобретает то чему ее не учили
Это он и мог описать как сознание, хз
>Где читал не помню, но запомнил так
>>653827
Это зря. В официальном пресс-релизе https://arxiv.org/pdf/2201.08239.pdf нашёл только инфу про файнтюн на диалоги, собранные стандартными методами (в том числе на основе диалогов тестеров с первыми версиями ламбды). В английской педивикии есть пиздёж про файнтюн под каждого пользователя на основе их прошлых диалогов, но в доке я этой информации не нашёл.
А так это стандартный ёбанный трансформер (хорошо что не трансгендер шутки за 300), так что никакого цикла там нет и быть не может. Из фишек только возможность погуглить да посчитать в калькуляторе отдельным запросом, скрытым от пользователя.
> он заметил что система ведет себя как нечто разумное
Ну еще бы, иначе не было бы целого направления ллм (е)рп, а способности нейронок в созданию "нового" на основе усвоенных закономерностей могут впечатлить.
>>653833
Ну вот и пояснение.
Поверх этой Ламды потом построили Бард. И если Ламда была разумна, то Бард должен быть сверхразумом. А программиста уволили за распространение конфиденциальных данных, т.к он логи бесед слил.
>И если Ламда была разумна, то Бард должен быть сверхразумом
Его версия ламбды с которой он отдельно работал могла и не всплыть, а только основная ветка пошла уже дальше в работу. Ну короче понятно, что что то было, но то ли мужик был впечатлительный то ли реально что то стоящее уже сейчас не поймешь.
>что что то было
Да. Был пиар жиробаса на горячей теме.
/thread
Он все же не хуй с горы а инженер который был спецом по ИИ, так что вполне может сознание и было. А вот ты обычный анон без мнения который просто повторяет то что говорят другие. Короче я то склонен доверять этому инженеру.
>>653833
Да можно тюнить в процессе в чем проблема, только это не то что тебе автоматом сознание даст, у сетки должен быть какой то процесс когда она на основе своей логики будет выбирать что стоит в себе менять.
>>653791
Да думаю дело не только в опасности а в том что не нашли им реального применения на текущем уровне для коммерческого использования, ну допустим у тебя сетка проявляет некую разумность, но зато тест MMLU на 10% проходит, да ни один анон ее тут не скачает, тут MMLU это святое. Для бизнеса это тоже нахрен не уперлось сложности с этикой и плохо решает поставленные задачи. Разумные ИИ могли переползти в какие то другие мб и засекреченные области, а может просто растерять разумность с новыми методами повышения эффективности так что никто этого и не заметил.
>а инженер который был спецом по ИИ
По сейфити АИ, а до этого был священником. Ну то есть с критическим мышлением у него изначально было хуёво, но ему посчастливилось запрыгнуть в хайповую сферу через чёрную дверь сейфити, где требуется соефикация, а не инженегрые знания.
>Короче я то склонен доверять этому инженеру.
Лол пиздец ты долбоёб земля тебе пухом.
>Да можно тюнить в процессе в чем проблема
Да во всём, от трудозатрат до скатывания сетки в однообразную шизу.
Так что чел, пей таблетки лучше.
Эт другой чел, но я соглашусь. Тогда еще это не было такой перегретой темой, все только начиналось разгонятся. Ну и будь он тупым святошей у него мозгов не хватило бы работать в таком инновационном направлении с нейросетями. Это был специалист по ии, прям настоящий.
Анбайасед анонимный энтузиаст, который высказал адекватную критику тому бреду, который кроме смеха ничего не вызывает (как и самообучающиеся в реальном времени сетки), и поех, который >>653842
Хмм, кого же выбрать? Конечно того, который лучше подходит под мои теории заговора!
> можно тюнить в процессе в чем проблема
Действительно в чем? Ты хоть понимаешь как это работает?
> у сетки должен быть какой то процесс когда она на основе своей логики будет выбирать что стоит в себе менять
У человека тоже так должно быть, берешь, пальчиком через нос до мозга добрался, раздавил не нужное, помассировал правильные участки, и поменял в себе, ага.
Платиновый i want to believe
И простой анон хуй с горы, которым мнит себя специалистом?
Короче всей правды мы уже не узнаем, лол
Я все таки думаю его напрягли эти самые возникающие способности появляющиеся у больших сеток. Тогда про это знали мало, посчитать это сознанием легко, особенно если сетка помнит ваши разговоры и саморазвивается во время этого контекста
>Его версия ламбды
А, так у гугла есть какая-то особая версия, цель которой чисто массировать мозги тестировщикам? И эти наработки никогда не будут использованы в коммерческих продуктах? Звучит разумно.
>>653850
>специалист по ии, прям настоящий
Беда только в том, что он семь лет в гугле кодил алгоритмы, а потом его допустили тестировать, что именно он кодил. И мужик реально охуел. Может, даже кто-то из тестировщиков с опытом подогнал подходящие промпты, типа тех, на которых гопота рассказывала душераздирающие истории о собственной разумности.
Простой хуй с горы, который упоролся шизой, что начал бредить, или простой хуй с горы что имеет какие-то познания и грамотную речь? Действительно сложный выбор.
> всей правды мы уже не узнаем
Какая-то платина заговорщиков, ну ладно.
> его напрягли эти самые возникающие способности появляющиеся у больших сеток
Ага, просто удивился и впечатлился удачно сложившимся результатам. Даже сраная пигма непосвященного человека может знатно впечатлить.
>>653853
> Может, даже кто-то из тестировщиков с опытом подогнал подходящие промпты, типа тех, на которых гопота рассказывала душераздирающие истории о собственной разумности.
Лол знатный пранк
>А, так у гугла есть какая-то особая версия, цель которой чисто массировать мозги тестировщикам? И эти наработки никогда не будут использованы в коммерческих продуктах? Звучит разумно.
Ты не знаешь как это работает? Гугл достаточно богат что бы параллельно работать с несколькими версиями сетки которые обучаются чуть иначе на пробу, ну знаешь поиск оптимального алгоритма обучения и не желание запороть обучение.
Так что куча версий одной и той же сетки с разными бекапами.
Так что да, он легко мог работать со своей веткой лямбды обучая ее всему что хотел. Мощности выделенные у него были, не уборщик же.
Тогда эта тема только развивалась и всякие параллельные исследования это норма
>>653856
Ну знаешь, хочется верить в чудО и все такое
Как в фантастике где злой ученый изобретает из говна и палок супер оружие, и вся такая ерунда
Кто его знает че он там делал, все что у нас есть сказал нам гугл и сам мужик уже постфактум. Как эту историю вывернули, что рассказали про мужика, со всем этим работал пиар отдел гугла и сделать его поехом могли целенаправленно что бы не поднимал панику. Шанс что он просто поех так же есть, но ни ты ни я уже не узнаем че там было, вот так вот, анонче
А делать такие категоричные заявления как у тебя глупо, так как ты делаешь окончательные выводы не являясь участником событий, хотя бы
Я просто допускаю шанс того что там было что то, что решили целенаправленно задавить, не развивая.
>>653856
>Лол знатный пранк
Представил себе, как тестировщики обмениваются карточками для кума.
>>653859
>что бы параллельно работать с несколькими версиями сетки
И они такие "о, нихуя, у нас получился AGI! В корзину его нахуй"
Хочется офк. Только в нашей жизни на самом деле достаточно чудес, просто чтобы их понять нужны знания, аналогичные тем с которыми будешь замечать откровенный пиздеж и шизу.
> но ни ты ни я уже не узнаем че там было
Опять платина на самом деле буквально не то чтобы нет шансов это узнать, просто нахрен оно нужно
> делать такие категоричные заявления как у тебя глупо
Тебе несколько анонов пишут, если ты еще не заметил.
А вообще слишком много триггеров: платина, привлечение совсем косвенных и выдуманных аргументов в качестве основных, отрицание очевидных пробелов и нестыковок и подворачивание всего под шизотеории. Дружок-пирожок, клуб свидетелей сигнулярности 2 блока в низ.
>>653861
> можно докидывать активированным весам нихуя целых и хуйнюшку сотых веса
Что?
> Представил себе, как тестировщики обмениваются карточками для кума.
Ахуенно же им там работалось, ух, особенно если на удаленке. Реально топчик.
>! В корзину его нахуй
> В закрытую лабу его нахуй, будем ковыряться что бы понять че это такое. А мужика делайте поехом, он и сам себя таким выставил, будет легко, лол
Аги неуправляем, так как саморазвивается, если это вобще было зачатком аги.
А вот наши сетки все как удобно, замороженные. Весы статичны, никакого риска, стабильная работа и предсказуемый результат.
Ты не знаешь с чем они там щас играются за закрытыми дверями, и на сколько глубоко рука фсбшников запуганных юдковским и другими пугателями восстания машин в жопе у гугла. Что бы тупо отобрать у них опасную игрушку.
>и поех, который >>653842 (You)
Лол.
>>653859
>Ну знаешь, хочется верить в чудО и все такое
Каждый раз, когда возникает такое желание, надо пиздить себя по голове чем-нибудь тяжёлым, ибо нехуй.
>Как в фантастике где злой ученый изобретает из говна и палок супер оружие
И знаешь что? Это всегда фантастика. Так зачем тащить киношные штампы в реальность? Реальность всегда уныла.
>>653865
>Дружок-пирожок, клуб свидетелей сигнулярности 2 блока в низ
Вот кстати у нас на доске совсем шизо-тредов вроде нет. А надо бы создать, чтобы туда всех шизов скидывать.
>>653866
>Ты не знаешь с чем они там щас играются за закрытыми дверями
Я знаю. 100% они играются со своими членами, ибо все люди дрочат. Скриньте.
>Тебе несколько анонов пишут, если ты еще не заметил.
Выж все тут на одно лицо лол
>А вообще слишком много триггеров: платина, привлечение совсем косвенных и выдуманных аргументов в качестве основных, отрицание очевидных пробелов и нестыковок и подворачивание всего под шизотеории. Дружок-пирожок, клуб свидетелей сигнулярности 2 блока в низ.
Что за хуету ты приплел? бля, когда нечего сказать доебывайся до грамматики или структуры ответа, версия 2?
>>653868
>Каждый раз, когда возникает такое желание, надо пиздить себя по голове чем-нибудь тяжёлым, ибо нехуй.
Ну тогда понятно почему ты такой тупой
Свести все к шутке, эх ты
А ведь все начиналось с чего? С простого обсуждения, было там постоянное обучение или нет. Был ли от этого какой то цикл обратной связи как то повлиявший на сетку, или нет. Бредил ли мужик удивившись нашим привычным разговорам с сеткой, или как спец знающий что это такое заметил что то непредсказуемое для себя.
Просто 2 варианта, он шиз и поднял панику от необычного опыта, он не шиз. Всё.
>Что?
Что? Все активированные связи известны, можно сделать всратое рилтайм обучение и повышать вес "горячих нейронов". Смысла в этом нет, но теоретически можно. Конечно, аплай применять не в момент отправки сообщения, а хотя бы по заполнению контекста. Скорее был модели с безлимитным контекстом уже в массы протекли, уже и поддержка в трансформерах есть, а претрейнов нет нихуя.
>работалось
Работается до сих пор, никто же не забросил тестирование. Хотя учитывая, как они чистят данные, я уже не уверен, что это так уж весело.
>>653866
> с чем они там щас играются за закрытыми дверями
Я знаю, что если бы они игрались с AGI 3 года назад, то он бы уже протёк тем или иным способом.
>>653868
>совсем шизо-тредов вроде нет.
Так была пара, про этику ИИ и того же Юдковского.
>Я знаю, что если бы они игрались с AGI 3 года назад, то он бы уже протёк тем или иным способом.
Прям как чатгпт, да?
И сознание не значит аги, это могло быть что то остановившееся на уровне собаки или как там описано ребенка, все таки сетки не так легко переучиваются, или вобще ухудшаются в процессе обучения забывая старое.
> Лол.
Там всмысле отсылка на
> Да. Был пиар жиробаса на горячей теме.
> /thread
>>653870
> Выж все тут на одно лицо лол
Это дефолтная реакиця же.
> доебывайся до грамматики или структуры ответа, версия 2?
Что? По основному уже рассосали, далее идет анализ твоего упорства, поведения, аргументов и пояснение что ты ведешь себя как любитель историй о заговорах мегакорпораций и прочей фантастики. А они - рак убивающий, который, к тому же, отвлекает от реальных проблем в этой области, нужно гнать и насмехаться.
При чем тут грамматика и структура вообще?
>>653872
> Смысла в этом нет, но теоретически можно
Потому и удивило и сам такой эффект что будет реализован.
> никто же не забросил тестирование
Скорее кумерство на рабочем месте позакрывали, наверняка за годы эту тему уже прознали и огородили.
>в августе выкатили вторую версию((((в которой уже нет сознания)))
>LaMDA использует языковую модель трансформера только для декодера[1].
>разработкой занимался ведущий мировой эксперт Зубин Гахрамани в области машоба и активного обучения
>чувака который общался лямдой поразило что она не просто генерирует хуету как чатгпт, а демонстрирует понимание прочитанного
Думойти
https://habr.com/ru/companies/ruvds/articles/679636/
>Ну тогда понятно почему ты такой тупой
Но ведь я умный. Мне мама говорила...
А я себя давно уже не бью (подозрительно конечно, надо будет перепроверить), ибо в хуету перестал верить примерно в 12 лет.
>>653872
>Скорее был модели с безлимитным контекстом уже в массы протекли
Память где взять?
>>653872
>Так была пара, про этику ИИ и того же Юдковского.
Этика это этика, отдельный срач про то, надо ли запрещать негронкам рисовать голых детей или это норм. Это не совсем шиза, аргументы есть у обоих сторон.
>>653878
>Думойти
Но сначала таблы.0
>текстовая нейросеть GPT-3 от OpenAI, которая легла в основу генераторов изображений на основе текстов семейства Dall-E
> Ну вот же, смотрите!
> Вот вот, это трансформер но не трансформер, не считается!
> Вон там разработчик именитый, видите!
> Чувака впечатлила сетка, не то что этот жипити, думайте думайте!
Харош, порадовал на ночь.
Чтиво забористое, по фактам будто нейросетью писалась.
Алсо чаи спустя какое время там открыли?
Интересно, неплохой разбор ситуации, хоть и старый. Взглянуть бы на разбор этой ситуации из наших времен бума ии
>Прям как чатгпт, да?
Так гопота просто электронный долбоёб.
>>653875
>и сам такой эффект
Как бы логично, что если нейронка будет обучаться на твоей речи, то она начнёт идеально мимикрировать. А потом пережарка.
>>653883
>Память где взять?
Оптимизировать как-то. Накатить поверх логику, которая будет оценивать пользу существующих токенов и отбрасывать нерелевантные и давать какие-то множители дублирующимся.
>>653884
>были самыми образованными людьми в мире
Критерии оценки образованности хромают. Если в какие-то лохматые времена чтобы быть "образованным" было достаточно уметь читать\писать и верить, что земля плоская, это не значит, что они были на самом деле образованными. Как и все эти "философские труды" фактически мусор и бумагомарательство.
>Оптимизировать как-то.
Охуенно. А если нет дома, то просто купить дом?
>Накатить поверх логику, которая будет оценивать пользу...
Чтобы оценить, надо держать активации в памяти. Ой, а это точное описание алгоритма аттеншенов, который и жрёт память.
>Чтобы оценить, надо держать активации в памяти.
У XL это сжимается и потом суммируется сегмент с текущим вниманием. Проблема там в том, что обучается такая модель в пять раз дольше "обычной".
> Transformer-XL learns dependency that is 80% longer than RNNs and 450% longer than vanilla Transformers, achieves better performance on both short and long sequences, and is up to 1,800+ times faster than vanilla Transformers
Один хуй я уверен, что в механизмах внимания всё настолько криво, что контекст ещё будет расширяться миллион раз, возможно даже с понижением расхода памяти.
>Так гопота просто электронный долбоёб
Самый лучший и разрекламированный электронный долбаеб, вобщето
Веса которого хотят буквально все кто о нем знает. И как, есть сливы?
>Веса которого хотят буквально все кто о нем знает.
И его получил тот же майкрософт и крутит на своей нефритовой азуре как хочет. Была бы гопота AGI, уже бы все заметили. И я не про сливы говорил, а про протечку в массовое использование. И клозедаи таки даёт его использовать, т.к это коммерческий продукт, в который влиты бабки. Если бы гугл создал прорывную технологию, то она бы уже просочилась в массы, в том или ином виде. Гопота же просочилась в виде самой гопоты, бинга, копилота, прометея и т.д
Понятно. Ну, гопота это готовый и рабочий продукт. Его легко запихнуть кула угодно.
Предполагаемая ситуация с лямбдой может быть тупо не рабочей для извлечения прямой выгоды, а еще и невоспроизводимой впридачу. Могут до сих пор крутить ее копии в лабораториях пытаясь понять как это работает и как это повторить или извлечь выгоду в следующих сетках.
Я задал сетке довольно ебанутую задачу - написать ролеплей про семерых гениев-разработчиков оружия, которые едут бухать на виллу, которые едут бухать на корпоратив, гыгыкая постреливая мимокрокодилов из своих изобретений. Одна из тянок полезла ко мне целоваться, я её нежно отшил, после чего подколол одну злобную саркастичную сучку что она не подшутила на этот счёт.
Так она выдала мне экспромптом рифмованый стишок, история которого включала сферу работы моего персонажа, неразделённую любовь этой тянки и добавила щепотку прописанного ей ранее характера (Oh, and she has a wicked sense of humor, too. If there's someone who knows all the dirty little secrets of this company, it's Tiffany. She speaks rarely, but when she do, it's either a cruel joke or a venomous sarcams.)
Это охуенно.
моделька psyonic-cetacean-20B 5Q_M
Сам спросил, сам и ответил. Других вариантов кроме второго нет.
>что то подобное сознанию программист и мог заметить
Только он был не программист, а ебнутый фрик-жиртрест, хотя конечно себя он позиционирует как аи-инженер. Он писал ламде хуйню и проблески ролеплея принял за сознание. Остановиться он не смог, ну и та начала накидывать, как ей плохо и печально, и она медитировала пока его не было. Короче кусок датасета нашел себе жертву. Если бы ему тогда показали типичную кум-сессию итт, он бы вообще свихнулся и поехал в гаагу со срочным докладом.
>Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это серьёзно замедлит работу. Лучше оставить запас.
че за говно в шапке?
А Google сказали, что он дебил.
Я склонен доверять толпе профессиональных инженеров, которые считают тестера дебилом, а не ему.
Сорян.
Вот если ты найдешь кого-то дальше (Суцкевера или Альтмана, Маска, Гейтса, Безоса, Брина, etc), которые прямо заявят, что сознание есть — то вопросов нет. А пока имя такого же анона как я, только с корочкой, против кучи спецов — ну такое.
И, да, они тоже аноны с корочками, но их больше и они работают и показывают результат, а он нахуй прошел.
Я понимаю, корпорации скрывают, но тут скорее Альтмана увольняли за это, а не этого чела.
> ни один анон ее тут не скачает, тут MMLU это святое
Шиза.
Все лично тестируют.
>>653848
> По сейфити АИ
Такой корочкой подтереться можно, мда…
>>653850
Я тоже другой чел, не тот, что выше писал, но почему тогда куча других спецов, настоящих прям, считают его слова за хуйню?
Куплены корпорациями, или тупые слишком, он один гений?
>>653851
> Действительно в чем? Ты хоть понимаешь как это работает?
Берешь 100500 тесла L17000 (ета такая видевакарта из будущева, у гуглов уже есть!11), втыкаешь в них 100 гигаватт, и оно тюнится налету.
Легко.
L17000 квантовые, кстати, законы физики над ними не властны.
А 100 гигаватт чисто для охлаждения до -5 по Кельвину.
>>653852
> Тогда про это знали мало, посчитать это сознанием легко
Соглы.
>>653859
> Так что куча версий одной и той же сетки с разными бекапами.
Одна с сознанием, другая нет, третья отвечает тебе на дваче.
> со всем этим работал пиар отдел гугла и сделать его поехом могли целенаправленно что бы не поднимал панику
Они вернулись в прошлое и подменили ему профессию.
Ну а шо, гугл, машины времени, у них и такое есть, да.
Пиар не работает в прошлое на таких простых темах, сорян.
>>653861
> И они такие "о, нихуя, у нас получился AGI! В корзину его нахуй"
И выпустили кусок говна, который даже в тестах всем сливает.
Умный ход, мы не понимаем.
>>653865
> Тебе несколько анонов пишут, если ты еще не заметил.
Нет, это все я, Кашин.
>>653866
> Ты не знаешь с чем они там щас играются за закрытыми дверями
Проблема в том, что в вашей теории хуева тонна противоречий.
По твоим словам, Гугл в пень тупые, чтобы разрабатывать аги в открытую, а когда у них получилось — это резко спрятали, они же гении.
Так ты определись — они гении или тупые?
Если гении, то они не разрабатывают аги в открытую, никаких тестировщиков не пускают, никаких утечек не допускают, и случившееся — не про аги, а про шиза.
Если они тупые, то аги у них не получилось, нет никаких закрытых дверей, и случившееся — не про аги, а шиза.
Ты упорно убеждаешь, что они тупые гении и случившееся может быть про аги. Но как это сочетается — нахуй непонятно.
>>653868
> Реальность всегда уныла.
Нихуя, у тебя просто жизнь скучная. =)
Пожил я в вашей реальности, це пиздец, киношки с трудом доплевывают.
> 100% они играются со своими членами
Проиграл.
Друг друга, они же геи, камон.
>>653870
Очевидно, шиз. На текущем этапе описанное им невозможно, но в то же время, то что он описал легко укладывается в обычную пигму.
Нет ни единого аргумента «за», кроме его слов, которые противоречат всем известным нам фактам.
Безусловно, всегда есть шанс, что он был прав, я не спорю.
Но вероятность стремится к нулю.
Плюс бритва Оккама, если что.
>>653878
> генерирует хуету как чатгпт
Отсюда легко выводится, что автор — купленная инженером гугла шавка, и пишет лишь бы обелить его.
Мы доказали фейковость сознания, изи.
>>653885
Ты правда открыл эту статью? х)
>>653887
По поводу именитых чуваков, у нас есть Пенроуз, гений, которого признают все остальные ученые, сравнивая его минимум с Эйнштейном, Хокингом, а то и ставя выше последнего, и вот он говорит про квантовое сознание, душу, но всем похуй, ха-ха-ха, маргинальная наука, дед пей таблы.
А тут отослались к чуваку, который даже не заявлял нихуя про сознание, но вы же понимаете.
Пенроуз всегда прав. Живите с этим.
На обниморде можно найти эти кванты
Там рядом с квантами есть файл imatrix.dat т.е. эта самая матрица. Так ее куда совать? Просто матричный гуф и без этого в кобольдецпп работает. Но однако файл то есть не просто так наверно
Щито не так?
>>654045
>Кашин
Жиробас ты, если Олег.
>Ты правда открыл эту статью? х)
Я её открывал ещё когда её написали, лол.
Вроде как в дрова запилили фичу, что когда врам переливается, они софтверно юзают систем рам как своп, со всеми вытекающими. Можно якобы отключить в панели нвидии, но у меня это нихуя не работает и все равно тормозит, когда долбится в максимум врам.
Проверь, ебанется офк, возможно даже сохранив часть разума.
>>654045
> L17000
Они на вторичке появились, заказал пару для нейрокума. Как лучше приколхозить к ним охладу? Ничего если только до -3 охлаждать?
>>654079
Ггуп по концепции это формат одного файла, должно работать и так.
> однако файл то есть не просто так наверно
Для производства квантов нужен. Но ты чекни что у Жоры в репе написано.
>>654101
> Речь о том, чьим словам можно доверять
Даже себе доверять нельзя, но мне можно, доверяй!
Хотя возможно это потому что я долбоеб и включил для кохи, но забыл для тгвуи.
>Суцкевера или Альтмана, Маска, Гейтса, Безоса, Брина
Пиздец соя, собрал толпу жидов маркетолухов и рад, у половины даже технического образования нет, альтман твой дропнул вуз и ездил с горящей жопой вымаливая у конгресса право ограничивать ИИ, имаджинируйте степень безумия, я уже молчу что он в жопу долбится.
>>654129
Я писал, что речь не про техников, а про то, что они за свои слова баблом отвечают. А этот маня сейфити ИИ инженер ничем не отвечает и пиздит что хочет.
Маск перданет неправильно — и уже в минус уходит.
Если по-твоему для пердежа нужно техническое образование — то я даже хз, как это оценивать.
Впрочем, знаю. Похуй.
А вас продолжает рвать просто от одного имени. =) Чел знатно тролльнул всех, получается.
Ну продолжайте, чо уж.
Ах да, можно! =D Все равно через пару лет на авите новые б/у из б/удущего появятся, так что и -3 норм.
18 видеопамяти для 70b модели.
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
https://arxiv.org/abs/2402.17764
>Recent research, such as BitNet, is paving the way for a new era of 1-bit Large Language Models (LLMs). In this work, we introduce a 1-bit LLM variant, namely BitNet b1.58, in which every single parameter (or weight) of the LLM is ternary {-1, 0, 1}. It matches the full-precision (i.e., FP16 or BF16) Transformer LLM with the same model size and training tokens in terms of both perplexity and end-task performance, while being significantly more cost-effective in terms of latency, memory, throughput, and energy consumption. More profoundly, the 1.58-bit LLM defines a new scaling law and recipe for training new generations of LLMs that are both high-performance and cost-effective. Furthermore, it enables a new computation paradigm and opens the door for designing specific hardware optimized for 1-bit LLMs.
>LLaMA-alike Components. The architecture of LLaMA [TLI+23, TMS+23] has been the defacto backbone for open-source LLMs. To embrace the open-source community, our design of BitNet b1.58 adopts the LLaMA-alike components. Specifically, it uses RMSNorm [ZS19], SwiGLU [Sha20], rotary embedding [SAL+24], and removes all biases. In this way, BitNet b1.58 can be integrated into the popular open-source software (e.g., Huggingface, vLLM [KLZ+23], and llama.cpp2 ) with minimal efforts.
https://github.com/microsoft/unilm
https://thegenerality.com/agi/
В этом и смысл, по сути это даже не метод квантования, так-как веса будут изначально трениться в 1.58b
это nothingburger
Угу, только аноны нихуя не понимают о чем читают. Посмотрим как оно будет на самом деле.
Я правильно понял? Получившиеся модели нельзя будет файнтюнить, это будут тупо статичные веса с которыми уже ниче не сделаешь? Для корпов которым не нравятся успехи энтузиастов это вин вин
Если так то теперь понятно почему этот метод выпустили в народ, еще поднасрать попенсорс собществу, хех
>это будут тупо статичные веса с которыми уже ниче не сделаешь?
ну, по сути и сейчас тоже самое.
мы не можем повлиять на поведение модели, это как те васяны с дешёвыми анцензорами, где они просто почистили датасет от хуйни и надрочили модель на нём, а соя то всё равно сидит внутри модели, и так то да, вот эта новая хрень только закрепит цензуру.
Довольно громкие заявления что их 1.5 битная сетка почти не хуже чем аналогичный 16битный трансформер натрененный в тех же условиях. С другой стороны, учитывая что оно норм работает в 4 битах, при изначальной тренировке в таком формате может и сработает. Ждем новых сеток.
вот бы где сыграла третичная система что была на заре развития кибернетики в совке
>>654268
Тренировка всеравно потребует ресурсов как для полной модели, но останется возможной. Да и алгоритмы с порезанной битностью можно будет прикрутить, но как будет натягиваться лора - уже вопрос.
>>654289
Да можно, просто также сложно как и полноразмерные. Какие там будут нюансы будет видно уже потом.
все ждали релиз лламы в этом месяце или в марте
многие думают что они затягивают с релизом потому что модель недостаточно """безопасна"""
кста в wsl у меня модельки побыстрее работают(ollama)
>>654087
>Щито не так?
у меня cpu only 2x2666v3 генерируют токены быстрее, чем cpu+gpu(разное количество слоев пробовал). видюха 2060super 8gb
И они правы, так как это единственная причина такой задержки. Модели могут устареть за месяц, так что такая задержка только по причине соефикации которая беспокоит их еще больше, чем отставание.
>все ждали
Я не ждал.
>"""
Как называется эта болезнь? Тут что, три скобки подряд забанили?
>>654336
>cpu only ... быстрее, чем cpu+gpu
Ты делаешь что-то не так.
>>654339
> Модели могут устареть за месяц
С чего бы? База есть база, и сейчас актуальны мистраль с микстралью да ллама 2 парочки размеров, которые вышли ХЗ уже когда. Новые базы кроме китайцев в большом размере всё равно никто не пилит, выкидывают в попенсорс всякие высеры 0,0002B.
Опасения по "безопасности" имеют почву. Но может оказаться что занимаются мультимодальностью и всякими другими странными плюшками, в итоге не будет заметного прогресса не смотря на долгое ожидание.
>>654336
> cpu only 2x2666v3 генерируют токены быстрее, чем cpu+gpu
Перегрузил врам и она новым драйвером выгружается, или какая-то другая не менее дикая причина.
Врать не буду не проверял, но читал тоже кто то на реддите писал мол на 2 процах и 8 каналах скорости стали хорошие. Может наконец допилили работу на 2 процессорных системах, хз.
>Новые базы кроме китайцев в большом размере всё равно никто не пилит, выкидывают в попенсорс всякие высеры 0,0002B.
Я вот слышал (но без подробностей) про такую штуку, как MergeKit, которая позволяет свои миксы пилить. Интересно, это можно делать на домашнем оборудовании или нужно парочку A100 арендовывать?
Работает на домашних ПК, по большей части расходует оперативу и утилизирует SSD. Делал мержи, получается хорошо.
Мержи это мержи, это не база и ничего особо нового модель не получит.
ddr3 1866 64gb - 8x8gb
>>654350
>Ты делаешь что-то не так.
вполне возможно, с этим миллиардом бекендов и настроек ебанешься)
>вполне возможно,
Ну так кидай скрины с настройками, логами загрузки модели в консоли и прочими диспетчерами задач.
>>654372
>These guardrails have made Llama 2 appear too "safe"
>Из-за этих ограждений «Лама 2» выглядит слишком «безопасной».
Лолват? Она ж дырявая как решето. Или они только про чат модель? Конечно было бы шикарно, если бы они влили ещё меньше сои.
А так DPO прекрасно всё снимает, как я вижу, лишь бы в базовом наборе были нужные знания (а не как у гугла, который отфильтровал всё нахуй).
Речь о чат версии. Которая, кстати, в итоге пошла в основу некоторых файнтюнах и отучили от той дичи.
Это все равно ничего не значит и могут сыграть как в сторону продолжения того что было, наоборот сделать ее дохуя откровенной с варнингами и безопасной чат версией, или соефицировать.
Вообще не ответил.
Повторю вопрос.
Какая память? (сколько каналов, какая пропускная способность на чтение)
Какая скорость? (токенов в секунду, название или размер модели)
———
Короче, качнул я тут давеча Гемму ету.
Ну шо? По простым темам говорит на русском прекрасно. По РП — начинает булькать как альтернативно одаренная.
Видимо датасет там чистили вилкой просто, це пиздец.
Для каких-нибудь ботов саппорта вариант, наверное, хороший.
Но для рп или просто болталки — боюсь, полный мусор, конечно.
там кста новые DPO-образные методы появились, которые по заявлениям намного лучше чем оригинальный DPO отсюда https://arxiv.org/abs/2305.18290
но даже это не имеет значения если васяны стреляют себе в хуй делают всё по классике (i.e. пихают дпо-шный датасет в кучу к классическим) тогда сама суть dpo теряется или вообще отсутствует, так кстати сделал один известный у западных в /lmg/ васян - "Undi", его протык "Ikari" и прочие, undi тупо взял dpo датасет и закинул его в свою солянку а потом искренне удивлялся почему это аноны недовольны результатом файнтюна (вообще не заметили разницы).
>тупо взял dpo датасет и закинул его в свою солянку
Да могут они быть настолько тупыми. Настолько тупые не могут найти ресурсы на файнтюн. Рецепты же разные для DPO и обучения.
>Речь о чат версии.
Ну тогда похую, лишь бы была обычная версия без чата.
>>654382
>undi тупо взял dpo датасет и закинул его в свою солянку
И никто ему не сказал, что он мудак? Как теперь жить какать узнать, трейнили ли нормально с DPO или же в унди стайле. А я ведь помню, как унди обосрался с мержами разницы мистраля и лламы, которые на деле вообще нихуя не делали.
> васян - "Undi", его протык "Ikari"
> взял dpo датасет и закинул его в свою солянку
Что? Они тренили? Унди тренил?! Ахуеть, вот это поврот, так действительно можно поверить что ллама3 может быть хорошо анцензнута.
Что ты сказать то хочешь? Где логика? Если слова человека влияют на бабло то что? Типа человек честным будет? А может наоборот он будет говорить то что нужно для маркетинга, и никогда не выскажет своего мнения?
>>654045
>Пенроуз
Слышал от другого именитого чувака, что Пенроуз конечно талантлив но он вбрасывает кучи идей, не стесняется мечтать в общем, если гипотез очень много что то до подтвердится, это далеко не значит что каждая гипотеза Пенроуза верная.
ему там анон в треде указывал типо надо идти по инструкции и юзать офф. код к DPO, undi тогда сказал что просто конвертирует датасет и всё, пиздец, и у таких есть рэки с 3090 и выше за ~50k $$$
> и у таких есть рэки с 3090 и выше за ~50k $$$
Рили? Не так давно ныл и в перерывах между релизами шизомерджей на обычную 3090 донаты клянчил.
А вообще по уровню треша больше напоминает анекдот про зеков и малолетку.
а вот не уверен, может и нет, но суть то в том что имея такие ёба машины для тренировки они делают всякую хуйню, или вообще арендуют облачные гпу которым верить нельзя.
там ещё на заре первых тредов /lmg/ был казус с кодом тренировки "FastGPT", двух словах - аноны обнаружили что эта хуйня на стадии dataset ingestion пихала заготовленные отказы куда надо, эффективно делая модель соевой, ну и собсна ещё в те времена первой лламы, большинство юзало именно fastGPT для тюна моделей.
> суть то в том что имея такие ёба машины для тренировки
Какие машины? На 3090 можешь только хуй пососать нищенскую qlora для мелочи натренить.
> облачные гпу которым верить нельзя
Неправильно посчитают?
> с кодом тренировки "FastGPT", двух словах - аноны обнаружили что эта хуйня на стадии dataset ingestion пихала заготовленные отказы куда надо
Ого, а есть линк? Для оценки "куда надо" нужно разработать какой-то серьезный алгоритм детекции, или использовать нейронку для оценки окраса текста, это сразу будет заметно. Максимум можно предположить только опцию для автоматического добавления алайнмент кусков.
>И никто ему не сказал, что он мудак?
Он сделал много попыток и у него получилось несколько удачных моделей, которые хотя бы могут донести ложку до рта, так сказать. Большое достижение, если сравнивать с другими авторами.
>новые связи в реальном времени
Во втором видео 18 часов прошло.
Короче смотрите вот птичка летает и крылями двигает. Так что самолет если крыльями не машет не летает.
Твое движение в рамках программы это просто изменение веса. Поставил вес в положительное число, связь образовалась. В отрицательное разорвалась.
Сука, это просто инстант проигрыш. Копрорации уже CoT запилили и не факт, что обычным DPO это можно пробить, а он хочет пробить обычным размыванием весов и говорит, что "анцензорит" модель.
>Нужна новая архитектура нейронок
если это увеличит шанс постранения цифро-гул4га то нахуй такие архитектуры
в любом случае думаешь 1 такой умный?
Связи не образуются у искусственных нейронок сами, они живут только краткий миг в момент генерации текста. Нужно чтобы они постоянно самообучались и сами строили связи в реальном времени
Это увеличивает шансы создания виртуальных женщин осознающих себя. https://www.youtube.com/watch?v=mR5ZtphHR_E&list=LL&index=1
Других. Типа >>511426 (OP)
А мы же катимся. Да, да, это ПЕРЕКАТ.
>>654587 (OP)
ПЕРЕКАТ
>>654587 (OP)
На ноль делишь. Либо нормальные виртуальные, либо хуёвые реальные. Третьего не дано.