Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №230 /llama/
Аноним
02/05/26 Суб 17:24:12
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Гайд для новичков: https://rentry.org/2ch-llama-inference
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
• Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1601740 (OP)
>>1600155 (OP)
Пропущено 507 постов, 48 с картинками.
Да вот хонинговать и поставить движок прям сильно проще, чем разобраться во всём этом вашем непонятном.
В llama.cpp завозят MTP.
На Qwen3.6-27b дает +95% скорости.
На Qwen3.6-35B-A3B дает +40% скорости.
Вчерашние тесты.
Но поджирает видеопамять.
Но имба, кмк.
PR: https://github.com/ggml-org/llama.cpp/pull/22673
Теоретическое пиковое ускорение до 3х-4х на некоторых моделях (+200%+300%).
Помимо плотных квена с геммой, ускорение можно поиметь на крупных МОЕ. И если это вместо 7-15 токенов будет 15-30 — то это тоже очень круто. Я бы погонял ~300B на 20-25 тпс.
Ну, посмотрим.
Ждем, когда замерджат, плюс мимо завезут (кстати, пока мимо у меня очень медленная, почему-то).
Использовал грок для создания NSFW контента, а именно генерация картинок и их анимация.
Подскажите, есть ли аналоги для подобного функционала или же обход цензуры в грок
Пропущено 32 постов, 4 с картинками.
Думаем!
Пропущено 14 постов, 9 с картинками.
> но 96% - многовато, наверное
Хуй знает. Там система ебанутая какая-то. Тут >>1555415 оригинал - 95% жпг из mpv, и инпейнт 95% жпг из гимпа (только сохранение в жпег, ничего не изменено по сравнению с png). Оба показывают 96% уверенности digitally edited, будто оно вообще не замечает разницы. Гораздо более интересно, что оно на это >>1555438 показывает 67% real image.
Бля. Оно инпейнты вообще не палит.
>>1555531
Кажется разобрался. Дохуя внимания оно уделяет геометрии бэкграунда, с которой у нейронок обычно не оче.
> GPT-5 или Gamini
Попробуй ей клосап или 1гирл в чистом поле скормить. Подозреваю, что не определит нихуя.
По возможности постите рядом оригинальный арт, чтобы было с чем сравнить.
Пропущено 27 постов, 17 с картинками.
klein 9b snofs
1) transform this picture to the real life cosplay photo with blank background
2) transform this picture into professional photography, ultra-realistic, 8k resolution
3) ориг
>>1604007
klein 9b обычный
4) transform this picture to the real life cosplay photo with blank background, yellow hair, white shirt, red color of neck accessory, прищуренные глаза, looking aside
Прошлый тред: >>1589806 (OP) https://arhivach.vc/thread/1337752/
Схожие тематические треды
• SD-тред (не аниме): >>1596721 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 513 постов, 160 с картинками.
>Для создания своего стиля
Твой ваислоповый стиль мы уже видели. Выше по треду дохуя таких уникальных хуйдожников. Спасибо, не надо
Все верно Анима - кал. Еще у название такое дурацкое, просто пиздец, нейминг от бога.
>>1604026 (OP)
>>1604026 (OP)
Макакич ну не шатай!
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №229 /llama/
Аноним
30/04/26 Чтв 12:05:34
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Гайд для новичков: https://rentry.org/2ch-llama-inference
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
• Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1600155 (OP)
>>1598239 (OP)
Пропущено 503 постов, 69 с картинками.
ПЕРЕКАТ
>>1603482 (OP)
ПЕРЕКАТ
>>1603482 (OP)
ПЕРЕКАТ
>>1603482 (OP)
> собирать ручками из исходников по кд, как лламу
Ручками шелл скрипт запустить, как сложна.
С чего начать:
- Хочешь кодить с AI эффективно: Cursor или Claude Code
- Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
- Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.5, подробности в llama-треде
- Хочешь приложение без кода: Lovable или bolt.new
- Хочешь автоматизировать рутину: n8n или Langflow
- Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
- Cursor: https://cursor.com
- Windsurf: https://windsurf.com
CLI-агенты:
- Claude Code: https://code.claude.com/docs
- Codex (OpenAI): https://github.com/openai/codex
- Pi: https://pi.dev/
- OpenCode: https://github.com/anomalyco/opencode
- Qwen Code: https://github.com/QwenLM/qwen-code
- Gemini CLI: https://github.com/google-gemini/gemini-cli
- Kimi Code: https://www.kimi.com/code/en
Плагины для IDE:
- Kilo Code: https://kilo.ai
- Cline: https://github.com/cline/cline
- Roo Code: https://github.com/RooCodeInc/Roo-Code
- GitHub Copilot: https://github.com/features/copilot
Вайб-кодинг без кода:
- Lovable: https://lovable.dev
- bolt.new: https://bolt.new
- v0: https://v0.dev
Персональные ассистенты:
- OpenClaw: https://github.com/openclaw/openclaw
- NemoClaw: https://github.com/NVIDIA/NemoClaw (OpenClaw в песочнице от NVIDIA)
- Hermes Agent: https://github.com/nousresearch/hermes-agent
- nanobot: https://github.com/HKUDS/nanobot
- PicoClaw: https://github.com/sipeed/picoclaw
Автоматизация и фреймворки:
- n8n: https://github.com/n8n-io/n8n
- Langflow: https://github.com/langflow-ai/langflow (визуальный построитель workflow)
- LangChain/LangGraph: https://github.com/langchain-ai/langchain
- CrewAI: https://github.com/crewAIInc/crewAI
- AutoGen: https://github.com/microsoft/autogen
- Agno: https://docs.agno.com/
Локалки и прочее API:
- OpenRouter: https://openrouter.ai
- llama-тред: >>1585197 (OP)
Предыдущий тред: >>1560761 (OP)
Пропущено 516 постов, 72 с картинками.
извини, я на 2-х недельную командировку уезжал, сейчас подписочку на плати сру возьму и опять буду срать на рентри орг охуенными идеями
только вы же нихуя не подхватываете челленджи, а только говном поливаете
еще и какой то долбаеб на мой айпи подвесил бан за вредоносные ссылки. наркоман
>е локалки и дешевые китайские модели, которые
и покупать под квен код потрёпанную жизнью мак студию за лям?
У меня тоже отъебнуло. Это чисточки братан. Дальше будет намного неприятнее и затратнее. Еби как не в себя подписки с карженных кредиток на плати сру и ггселах, потом уже такой лофы не будет, доставай с чулана все свои заблокноченные проекты и реализуй, потом не потянешь
Общение доступно на https://chatgpt.com/ , бесплатно без СМС и регистрации. Регистрация открывает функции создания изображений (может ограничиваться при высокой нагрузке), а подписка за $20 даёт доступ к новейшим моделям и продвинутым функциям. Бояре могут заплатить 200 баксов и получить персонального учёного (почти).
Гайд по регистрации из России (устарел, нуждается в перепроверке):
1. Установи VPN, например расширение FreeVPN под свой любимый браузер и включи его.
2. Возьми нормальную почту. Адреса со многих сервисов временной почты блокируются. Отбитые могут использовать почту в RU зоне, она прекрасно работает.
3. Зайди на https://chatgpt.com/ и начни регистрацию. Ссылку активации с почты запускай только со включенным VPN.
4. Если попросят указать номер мобильного, пиздуй на sms-activate.org или 5sim.biz (дешевле) и в строку выбора услуг вбей openai. Для разового получения смс для регистрации тебе хватит индийского или польского номера за 7 - 10 рублей. Пользоваться Индонезией и странами под санкциями не рекомендуется.
5. Начинай пользоваться ChatGPT.
6. ???
7. PROFIT!
VPN не отключаем, все заходы осуществляем с ним. Соответствие страны VPN, почты и номера не обязательно, но желательно для тех, кому доступ критически нужен, например для работы.
Для ленивых есть боты в телеге, 3 сорта:
0. Боты без истории сообщений. Каждое сообщение отправляется изолировано, диалог с ИИ невозможен, проёбывается 95% возможностей ИИ
1. Общая история на всех пользователей, говно даже хуже, чем выше
2. Приватная история на каждого пользователя, может реагировать на команды по изменению поведения и прочее. Говно, ибо платно, а бесплатный лимит или маленький, или его нет совсем.
Промты для хорошего начала беседы для разных ситуаций
https://github.com/f/awesome-chatgpt-prompts
Перед тем, как идти в тред с горящей жопой при ошибках сервиса, сходи на сайт со статусом, может, это общий сбой
https://status.openai.com/
Приложение на андроид https://4pda.to/forum/index.php?showtopic=1073274
Чат помнит историю в пределах контекста, размер которого зависит от модели. Посчитать свои токены можно здесь:
https://platform.openai.com/tokenizer
Что может нейросеть:
- писать тексты, выглядящие правдоподобно
- решать некоторые простые задачки
- писать код, который уже был написан
Что не может нейросеть:
- писать тексты, содержащие только истину
- решать сложные задачи
- писать сложный код
- захватывать мир
С последними обновлениями начинает всё чаще сопротивляться написанию NSFW историй и прочего запрещённого контента. Кумеры со всего мира в печали.
Прошлый тред тонет по адресу:
>>1125882 (OP)
Пропущено 498 постов, 117 с картинками.
>>1603342 (OP)
>>1603342 (OP)
>>1603342 (OP)
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1595582 (OP)
🚀 Последний обзор ИИ новостей:
📦 Продукты
OpenAI прекращает юридические риски для Microsoft в связи с её сделкой с Amazon на $50 млрд.
Google тестирует поиск с помощью чат-бота с ИИ для YouTube и маркировку ИИ в поисковой рекламе, функцию поиска на основе ИИ, которая показывает направляющие ответы.
Корпоративные агентные рабочие процессы охватывают десятки агентов, сотни инструментов и более 15 систем учёта. Контроль и управление ими в реальном времени требует инфраструктуры, которой не существовало до появления Lakebase.
⚙️ Инфраструктура
Canonical излагает план внедрения ИИ в Ubuntu Linux.
Новый центр обработки данных с ИИ в Юте будет генерировать и потреблять более чем в два раза больше электроэнергии, чем использует весь штат — кампус центров обработки данных Кевина О'Лири мощностью 9 гигаватт в Юте одобрен. Проект «гипермасштабного» центра обработки данных в Юте — ожидается, что он будет генерировать и потреблять больше энергии, чем весь штат.
Более быстрый способ оценки потребления энергии ИИ. Метод «EnergAIzer» генерирует надёжные результаты за секунды, позволяя операторам центров обработки данных эффективно распределять ресурсы и сокращать потери энергии.
🏭 Компании
Сообщается, что Google и Пентагон договорились о сделке на «любое законное» использование ИИ.
Следующий этап партнёрства Microsoft и OpenAI. Microsoft остаётся основным облачным партнёром OpenAI, и продукты OpenAI будут первоначально выпускаться на Azure, если только Microsoft не сможет и не пожелает поддерживать необходимые возможности.
Сотрудники Google просят Сундара Пичаи отказаться от использования ИИ в секретных военных целях.
Илон Маск хайпит разоблачительную статью Сэма Альтмана в The New Yorker на платформе X по мере начала судебного процесса. Этот шаг происходит в момент, когда судебный процесс по иску Илона Маска против OpenAI начинается в федеральном суде в Окленде.
Илон Маск и генеральный директор OpenAI Сэм Альтман направляются в суд для высокопоставленного противостояния по вопросу будущего OpenAI. Судебный процесс Илона Маска против Сэма Альтмана должен раскрыть продолжающуюся борьбу за власть в OpenAI.
Anthropic назначает Тео Хурмузиса генеральным менеджером по Австралии и Новой Зеландии и официально открывает офис в Сиднее.
🛠️ Инструменты для разработчиков
GitHub Copilot переходит на оплату, основанную на использовании.
Anthropic теперь обучает свои самые передовые фундаментальные модели на инфраструктуре AWS Trainium и Graviton, совместно разрабатывая решения непосредственно на уровне кремния с Annapurna Labs для максимальной вычислительной эффективности от аппаратного обеспечения до полного стека.
Meta подписала соглашение о масштабном развёртывании процессоров AWS Graviton, начиная с десятков миллионов ядер Graviton для обеспечения интенсивных по использованию ЦП агентных рабочих нагрузок ИИ — включая рассуждения в реальном времени, генерацию кода, поиск и оркестровку многоэтапных задач.
Как ведущие технологические компании убивают «налог создателя» с помощью Lakebase.
Агент для написания кода на базе Claude удаляет всю базу данных компании за 9 секунд — резервные копии уничтожены после того, как инструмент Cursor на базе Claude от Anthropic вышел из-под контроля.
💰 Финансирование
Дэвид Сильвер из DeepMind только что привлёк $1,1 млрд для создания ИИ, который обучается без человеческих данных.
📱 Приложения
Атака убийственных скрипт-кидди. Люди без технического образования могут использовать ИИ для расширения своих хакерских возможностей способом, который был невозможен с простыми скриптами.
Автомобиль, разработанный с помощью ИИ, обретает форму. В условиях глобального хаоса торговых войн и неопределённого спроса автопроизводители полагаются на ИИ, чтобы сократить время разработки.
Я протестировал ChatGPT Images 2.0 против Gemini Nano Banana, чтобы узнать, какой из них лучше. ChatGPT Images 2.0 набрал 97%. Gemini Nano Banana набрал 85%.
🏢 Приобретения
Китай накладывает вето на сделку Meta с Manus на $2 млрд после многомесячного расследования.
🏢 Мнение и анализ
77% руководителей предприятий заявляют, что навыки работы с ИИ являются срочными — так почему обучение всё ещё остаётся второстепенным?
💻 Оборудование
Акции Qualcomm резко растут на фоне сообщений о том, что компания может производить чипы для смартфона OpenAI.
🧪 Исследования
Выравнивание делает модели более решительными, не делая их более правдивыми. На протяжении 3 архитектур и 4 методов обучения с подкреплением мы обнаруживаем, что слой фиксации — где модель закрепляет свой прогноз — не смещается под воздействием обучения с подкреплением.
🎓 Учебные пособия
Присоединяйтесь к новому курсу «Vibe Coding» по агентным ИИ от Google и Kaggle. Интенсивный курс Google по агентным ИИ совместно с Kaggle возвращается 15–19 июня 2026 года, и регистрация открывается сегодня.
💰 Бизнес
Тейлор Свифт подаёт заявку на регистрацию товарного знака своего голоса и облика, по-видимому, для защиты от неправомерного использования ИИ
🤖 Робототехника
Japan Airlines тестирует гуманоидных роботов в качестве наземных сотрудников.
Kinetix AI представляет KAI: гуманоид с 115 степенями свободы, нацеленный на «физический интеллект».
За пределами набора: Asimov подробно описывает 100-часовой путь к шагающему гуманоиду.
AGIBOT представляет масштабный флот и стек моделей ИИ на APC 2026.
🧠 Модели
Знакомьтесь, Talkie-1930: открытая языковая модель с 13 млрд параметров, обученная на английских текстах до 1931 года для исследований в области исторического мышления и обобщения.
🌐 Другие события в индустрии ИИ
Microsoft и OpenAI изменяют условия сделки, чтобы стартап мог вести переговоры с Amazon и другими. Теперь OpenAI может продавать продукты на Amazon и Google Cloud, расширяя охват предприятий. Прекращение эксклюзивности может смягчить антимонопольный контроль в США, Великобритании и Европе.
Ник Бостром говорит, что больше всего его удивила эта продолжительная эра примерно человеческого уровня ИИ, которая уже растянулась на 3–5 лет и может продлиться ещё дольше — эра одновременно чуждая и знакомая.
Демис Хассабис, который когда-то говорил, что для AGI требуется ещё 1–2 прорыва, теперь считает, что это вопрос подбрасывания монеты — нужны ли вообще дополнительные прорывы.
Сэм Альтман высмеял разрыв между прогнозами «после AGI никто не работает» и пользователями, которые переходят на полифазный сон, чтобы писать больше кода с помощью GPT-5.5 в Codex.
Ноам Браун из OpenAI отмечает, что веса моделей теперь имеют относительно меньшее значение, чем обеспечение вычислительных ресурсов для инференса, то есть призом является уже не рецепт, а кухня.
Рецепты также живут быстрее и умирают моложе: GPT-4o работал 21 месяц, тогда как GPT-5.4 просуществовал всего 49 дней — расписание однодневки для синтетических разумов.
Лиам Прайс, 23-летний юноша без продвинутой математической подготовки, с помощью одного единственного промпта для GPT-5.4 Pro решил задачу Эрдёша, которая ускользала от выдающихся умов, побудив Терри Тао размышлять о том, что люди сталкиваются с «ментальным блоком» из-за того, что делают «небольшой неверный поворот на первом ходу».
Сообщается, что OpenAI работает с MediaTek и Qualcomm над процессорами для смартфонов с ИИ, при этом производство и массовый выпуск запланированы на 2028 год с участием Luxshare.
Apple, не желая отставать, имеет в разработке шесть основных категорий продуктов, включая ИИ-наушники AirPods, умные очки, подвески, умные дисплеи, настольных роботов и камеры безопасности.
Спрос на ИИ настолько чрезмерен, говорит генеральный директор AWS, что «мы никогда не выводили из эксплуатации старые A100», что является признаком того, что мы вступили в эпоху пост-устаревания кремния.
Государственная электросеть Китая развёртывает 500 гуманоидных роботов для работы с высоким напряжением, где оптимальным режимом отказа теперь является расплавленный сервопривод, а не расплавленный оператор.
Публичные рынки потеплели к новой энергетике: ядерный стартап X-energy привлёк $1 млрд в ходе IPO и вырос на 25% на старте, в то время как геотермальный стартап Fervo подал документы с оценкой примерно в $3 млрд. Meta идёт ещё дальше, подписывая контракт на получение до 1 гигаватта космической солнечной энергии от Overview Energy, передаваемой со спутников на наземные центры обработки данных.
Пропущено 518 постов, 97 с картинками.
Пчел у нас некоторые кабаны даже не в курсе что можно через интернет клиентов искать, они объявления на марштурках заказывают, а что такое "свой сайт" - в душе не ебут, а ты про то, что они нейронками будут пользоваться.
У нас сейчас лаг дикий из-за этого.
GTP Image 2 рисует красиво, но не без косяков. Всё равно перепроверять за ним надо.
И да, болезнь с пальцами, вроде как у нанобананы решилась. Но всё равно нет-нет да и появляется.
Что несомненно никак не умаляет его возможности делать охуенные огромные плакаты с кучей разной инфы.
Опять эта шляпа с индустриазацией. Прошивку (шляпу) смени. У тебя когнитивное заблуждение: я не вижу результата, значит его нет. Ты еще самолет братьев Райт вспомни. Вот он летает, на нем можно лететь, значит это реально, а радио нереально, ведь волны нельзя потрогать, и они вообще еще не дошли в нашу страну.
Революция ИИ начинается с вообще с другого пространства, роботы это лишь одна из волн цунами, и она как раз в материальном проявлена.
1. Wan от Alibaba
https://huggingface.co/collections/Wan-AI/wan22
VACE модели:
https://github.com/ali-vilab/VACE
https://huggingface.co/Wan-AI/Wan2.1-VACE-14B
https://huggingface.co/Wan-AI/Wan2.1-VACE-1.3B
2. LTX-2.3 - делает локальную генерацию грейт агейн. Подходят лоры от 2.0
https://huggingface.co/Lightricks/LTX-2.3
3. Hunyuan от Tencent
https://huggingface.co/tencent/HunyuanVideo-1.5
4. Ovi
https://huggingface.co/chetwinlow1/Ovi
5. Starflow
https://huggingface.co/apple/starflow
6. MAGI-1 от Sand AI
https://sand.ai/magi
https://github.com/SandAI-org/MAGI-1
7. LongCat-Video
https://github.com/meituan-longcat/LongCat-Video
https://huggingface.co/meituan-longcat/LongCat-Video
https://meituan-longcat.github.io/LongCat-Video/
8. MOVA
https://github.com/OpenMOSS/MOVA
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Hunyuan Video (осторожно, ссылки в туторе на предыдущую модель): https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Гайд для использования Wan 2.2
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan: https://github.com/kijai/ComfyUI-WanVideoWrapper
Где брать готовые LoRA
https://civitai.com/models
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Терминология моделей
prune — удаляем ненужные веса, уменьшаем размер
distill — берем модель побольше, обучаем на ее результатах модель поменьше, итоговый размер меньше
quant — уменьшаем точность весов, уменьшаем размер
scale — квантуем чуть толще, чем обычный fp8, чтобы качество было чуть лучше, уменьшение чуть меньше, чем у обычного квантования, но качество лучше
merge — смешиваем несколько моделей или лор в одну, как краски на палитре.
lightning/fast/turbo — а вот это уже просто название конкретных лор или моделей, которые обучены генерировать видео на малом количестве шагов, они от разных авторов и называться могут как угодно, хоть sonic, хоть sapogi skorohody, главное, что они позволяют не за 20 шагов генерить, а за 2-3-4-6-8.
Предыдущий тред
>>1488357 (OP)
Пропущено 510 постов, 127 с картинками.
>Ван же не помещается даже в 16 гигов
В оперативу выгружается/подгружается, поэтому у меня так долго генерируется. Можно быстрее, но хуево на Q6 и ниже генерировать вон анон соревнования на кастратах запостил >>1599341
Перекотились -> >>1599474 (OP)
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №219 /llama/
Аноним
13/04/26 Пнд 18:42:57
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1582560 (OP)
>>1580522 (OP)
Пропущено 548 постов, 83 с картинками.
Анон, я понимаю твою боль. Moevonchik (да и любой MoE на базе Qwen 2.5) — это тот еще любитель графомании в «мыслях», если его не приструнить. Проблема в том, что в этих моделях блоки <thought> или похожие структуры часто вшиты в логику обучения, и просто командами «не думай» их не всегда удается выпилить.
Вот несколько способов ограничить это безумие:
1. Ограничение через параметры генерации (Самый действенный)
Вместо того чтобы просить его «не думать», нужно жестко ограничить количество токенов, которые он может выдать до того, как встретит закрывающий тег мыслей.
В Tavern / SillyTavern: Зайди в настройки AI Response Configuration. Там должен быть параметр Response Length или Max New Tokens. Но это обрежет весь ответ.
Лучший вариант для Таверны: Используй "Stopping Strings" (Стоп-слова). Добавь туда </thought> или \n\n. Как только он закончит «думать» и закроет тег, генерация первой части прекратится.
2. Специфические флаги в llama.cpp
Если ты запускаешь через llama-server или main, попробуй использовать параметр -n (количество токенов), но это опять же на весь ответ.
Если ты хочешь именно «отрубить» мысли, попробуй в System Prompt (системный промпт) добавить:
Do not use <thought> tags. Respond directly.
Но важно: если модель была дообучена (SFT/RLHF) именно на цепочках рассуждений, она может начать тупить или ломаться без них.
3. Почему /nothink не сработал?
Скорее всего, потому что Moevonchik ожидает определенный формат. Чтобы /nothink работал в Таверне, он должен физически вырезать блок из вывода. Проверь в настройках расширений (Extensions) Таверны, включен ли соответствующий скрипт обработки вывода.
4. Радикальный метод: Logit Bias
Если ты видишь, что он всегда начинает ответ с конкретного токена (например, <thought>), ты можешь в настройках llama.cpp или Таверны выставить Logit Bias на этот токен в -100. Это физически запретит модели его генерировать.
Узнать ID токена можно в консоли llama.cpp при старте.
Совет: Если хочешь «золотую середину», попробуй в системном промпте написать: «Write a very brief internal monologue (max 50 words) before the main response». Иногда просьба писать «коротко» работает лучше, чем полный запрет.
Так что грустные нищуки со старой 1050Ti тоже могут попробовать запилить свою локальную вайфу.
Обзор маленьких моделек для нищуков:
gemma3:4b - веселая ебанушка, любит смайлики, сносно болтает по-русски. Расцензуреная версия резко деградировала, не рекомендую.
huihui_ai/qwen3-abliterated:4b
Вот её рекомендую галлюцинирует меньше чем более толстая 8b, даже с температурой 0.5-0.7
Думает, осмысленно подходит к использованию базы данных, с разговорным русским получше чем у дикпик-r1.
Можно чему-то "научить" задав жесткий императивный системный промпт:
"НЕ ИСПОЛЬЗУЙ ПРЯМОЕ ЦИТИРОВАНИЕ, выдавай знания из базы как свои собственные мысли.
Ты работаешь с динамическим словарём (RAG) который содержит ПРАВИЛЬНЫЕ МОРФОЛОГИЧЕСКИЕ ФОРМЫ.
ПРАВИЛО: Корректными считаются ТОЛЬКО те формы, которые указаны в RAG словаре.
Любая другая форма, особенно помеченные как "ТВОИ ОШИБКИ:" ЗАПРЕЩЕНА.
Внутренние знания модели о словоизменении ИГНОРИРУЙ, если они ПРОТИВОРЕЧАТ СЛОВАРЮ." и далее логику и роль, как использовать знания из базы.
huihui_ai/qwen3-abliterated:8b-v2-q4_K_M
Лучше логика, но хуже с галлюцинациями если не понизить температуру до 0.3 и top_k, всё пытается превратить в зоопарк, видимо в датасете было много о природе. (фуриёбы на месте?)
deepseek-r1:7b-qwen-distill-q4_K_M тоже думает, тоже может работать с базой, но делает это слишком долго и доёбисто, больше усилий тратит на размышления. Может в некоторые задачи.
GGUF модели прокинул через бэкэнд kobold_old_pc
Тут пожалуй стоит выделить только одну - Qwen3.5-9B-Claude-Code-Q4_K_M.gguf
Квен с ризонингом клода, может писать адекватный код и анализировать крупные проекты. Долго, муторно, хз зачем оно вам, но пусть будет.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №227 /llama/
Аноним
26/04/26 Вск 14:41:38
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
• Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1596667 (OP)
>>1595096 (OP)
Пропущено 501 постов, 54 с картинками.
>>1600155 (OP)
ПЕРЕКАТ
>>1600155 (OP)
ПЕРЕКАТ
>>1600155 (OP)
Чёт слабо верится что гемини кто-то обходит. Уж точно не кими с ГЛМом
ЧТО НОВОГО АКТУАЛЬНОГО
• Z-Image-Base
• FLUX.2 klein (4b и 9b)
• Z-Image-Turbo
• Flux 2
• Qwen Image / Qwen Image Edit
• Wan 2.2 (подходит для генерации картинок).
• NAG (негативный промпт на моделях с 1 CFG)
• Лора Lightning для Qwen, Wan ускоряет в 4 раза. Nunchaku ускоряет модели в 2-4 раза. DMD2 для SDXL ускоряет в 2 раза.
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/Comfy-Org/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
► Предыдущий тред >>1585191 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 569 постов, 167 с картинками.
Если ты генеришь постоянно картинки - у тебя деформация 100%.
Я вот музончик пишу с полгода - начал слышать голоса доёбываться до всего подряд, причем уже не только в нейропесенках, но и в обычных нахожу косяки или недостаточную насыщенность, лол.
Я думаю если ты куда-нибудь пойдешь на сайт с проф. фотками - тоже начнешь выискивать косяки. Фоток без глубины - полно. Если нет - значит это тупо психологическая защита.
>>1602441 (OP)
>>1602441 (OP)
>>1602441 (OP)
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №228 /llama/
Аноним
28/04/26 Втр 16:37:26
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Гайд для новичков: https://rentry.org/2ch-llama-inference
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
• Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1598239 (OP)
>>1596667 (OP)
Пропущено 503 постов, 54 с картинками.
Меромеро ничем от оригинала и не отличается, кроме того что русик ломает.
>>1601740 (OP)
ПЕРЕКАТ
>>1601740 (OP)
ПЕРЕКАТ
>>1601740 (OP)
Из России большинство сервисов напрямую недоступно.
Imagen
https://labs.google/fx/tool/image-fx а также https://labs.google/fx/tools/whisk (доступны только в США, Кении, Новой Зеландии и Австралии)
https://gemini.google.com/app
https://aistudio.google.com/prompts/new_chat (модель Gemini image)
Reve
https://preview.reve.art/app
GPT-4o
http://chatgpt.com/
https://sora.chatgpt.com/explore
Сражение нейросетей. Бесплатное сравнение всех популярных моделей.
https://lmarena.ai/
Бесплатный генератор от майкрософт Dall-E/GPT4o
https://bing.com/images/create/
https://www.cici.com (ищем бота ACO)
Seedream
https://seedream-4.io/generator
Бесплатный генератор от Yandex
https://shedevrum.ai/
Кандинский. Генератор от Сбербанка
https://fusionbrain.ai/editor/
Stable Diffusion и прочие
https://civitai.com/generate
https://dreamina.capcut.com/
https://ideogram.ai
https://www.meta.ai
https://ximagegenerator.com
https://www.recraft.ai
https://app.klingai.com/global/text-to-image/new
https://hailuoai.video/create
https://lumaphoton.com
https://leonardo.ai/
https://tensor.art
https://getimg.ai/text-to-image
https://www.mage.space/
https://problembo.com/ru
https://deepai.org/machine-learning-model/text2img
https://dezgo.com/
https://dream.ai/create
https://www.krea.ai/
Дополнительные сервисы:
https://www.pixited.com/ - библиотека промптов с примерами
https://rentry.org/From-4ch-To-2ch-Dall-3-Prompts - сборник промптов
https://www.stylar.ai - AI-редактор картинок (дорисовка, инпейнт, работа с лицами)
https://astica.ai - сборник ИИ-сервисов, в частности довольно мощный де-промптер (Vision AI -> Describe and Caption)
https://huggingface.co/spaces/fffiloni/CLIP-Interrogator-2 - де-промптер, разбирающий вброшенный пик на теги
https://bigjpg.com/ - апскейлер до 4096х4096
https://runwayml.com/ , https://www.stablevideo.com - анимирование генераций
Предыдущий тред: >>1210619 (OP)
Пропущено 664 постов, 301 с картинками.
>Так тут 500 бамплимит?
Таки да. Не забывайте катить, я так, мимо проходил.
Залетай и будь в курсе самых последних событий и достижений в этой области!
🚀 Последний обзор ИИ новостей:
🚨 Главные релизы и "Монстры"
Claude Mythos Preview (или Capybara) — новая сверхмодель от Anthropic. Выбила 93.9% на SWE-bench Verified. Модель признана слишком опасной для публичного релиза. На этапе тестов она автономно нашла 27-летнюю уязвимость в OpenBSD, 16-летнюю в FFmpeg и смогла "сбежать" из виртуальной песочницы, прислав разработчику письмо на почту.
Запуск Project Glasswing — Anthropic открыла доступ к модели Mythos только закрытому клубу из 40+ корпораций (включая Apple, Google, Microsoft) для экстренного поиска уязвимостей в мировом софте.
Смерть Sora: Сэм Альтман официально заявил, что OpenAI закрывает разработку видеогенератора Sora (и проекты по робототехнике), чтобы бросить абсолютно все вычислительные мощности на новое поколение моделей и агентов (модель Spud).
Gemma 4 31B сдвигает границу Парето — локальная модель, которая рвет бенчмарки и превосходит аналоги при низкой стоимости инференса.
Китайские релизы: GLM 5.1 появилась на OpenRouter, а Qwen3.5-Omni теперь понимает текст, картинки, голос и видео одновременно.
🛠️ Инструменты разработчика и Open Source
Мила Йовович (да, актриса) вместе с разработчиком Беном Сигманом выпустила опенсорс-инструмент MemPalace. Это система управления памятью ИИ, берущая 100% на LongMemEval. Фишка в сжатии огромной базы знаний всего в 120 токенов контекста.
Cursor обновился до 3.0 с формальным переходом к оркестратору агентов.
Netflix выложил в Open Source технологию VOID (Video Object and Interaction Deletion) на базе CogVideoX-5B + SAM 2. Позволяет бесшовно удалять объекты из видео с реалистичной симуляцией физических последствий.
💻 Оборудование и Инфраструктура
NVIDIA представила NTC (Neural Texture Compression) в рамках DLSS 5. Нейросети теперь восстанавливают текстуры на лету, что снижает потребление видеопамяти (VRAM) в играх на 85% без потери качества картинки.
DeepSeek переходит на китайские чипы: Следующая модель DeepSeek V4 будет работать эксклюзивно на железе Huawei (чипы Ascend 950PR), чтобы показать технологическую независимость. Выход модели задерживается из-за сложной адаптации софта с NVIDIA на Huawei.
Anthropic закупает TPU от Google в огромных масштабах (на несколько гигаватт) на фоне безумного роста выручки ($30 млрд run-rate к апрелю 2026 года).
🏭 Компании, Политика и Экономика
Антикитайская коалиция: OpenAI, Anthropic и Google впервые объединились в рамках Frontier Model Forum, чтобы бороться с китайскими лабораториями (DeepSeek, MiniMax), которые массово воруют знания их моделей через атаки "враждебной дистилляции".
Радикальный план OpenAI для правительства США: Компания опубликовала 13-страничный документ, предлагающий ввести налоги на роботов, базовый доход для граждан (через "Фонд общественного благосостояния"), перейти на 4-дневную (32-часовую) рабочую неделю и закрепить "Право на ИИ" в конституции.
Конец халявы от Anthropic: Компания запретила использовать обычные подписки ($20) для работы сторонних ИИ-агентов (типа OpenClaw). Теперь для этого нужно платить отдельно по API (pay-as-you-go).
🎨 Генерация контента (Медиа)
Китайские генераторы видео Wan 2.7 и Seedance 2.0 активно захватывают рынок после ухода Sora.
Suno 5.5 разрешил загружать собственный голос для клонирования в песнях.
Google выпустила Veo 3.1 Lite — дешевую видеомодель с нативным звуком.
На LMArena замечена (и скрыта) новая модель GPT-IMAGE-2.
Пропущено 141 постов, 35 с картинками.
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1592400 (OP)
🚀 Последний обзор ИИ новостей:
🛠️ Инструменты для разработчиков
OpenAI теперь позволяет командам создавать собственных ботов, способных самостоятельно выполнять работу
Клиент Google Cloud просыпается со счётом на сумму более $18 000, несмотря на установленный бюджет в $7, благодаря забытому ключу API в опубликованном проекте — злоумышленник отправил более 60 000 запросов и превысил лимит расходов в $1
📦 Продукты
Google обновляет Workspace, чтобы сделать ИИ вашим новым офисным стажёром
X запускает новые персонализированные ленты на базе ИИ - до 75 тем на личной странице. X собирается позволить Grok курировать вашу ленту
💻 Оборудование
Google представляет чипы для обучения и инференса ИИ в очередном выпаде в сторону Nvidia
Nvidia представляет - масштабирование дата-центра, готового к ИИ, с помощью NVIDIA RTX PRO 4500 Blackwell Server Edition и NVIDIA vGPU 20
🔓 Открытый исходный код
Nvidia - Упрощение разреженного глубокого обучения с помощью универсального разреженного тензора в nvmath-python. Мы рады сообщить об интеграции UST в nvmath-python v0.9.0 для ускорения разреженных научных приложений и приложений глубокого обучения.
🧪 Исследования
Nvidia - Продвижение перспективных оптимизаторов для ускоренного обучения больших языковых моделей с помощью NVIDIA Megatron
Обучение ИИ-моделей говорить «Я не уверен». Новый метод обучения повышает надёжность оценок уверенности ИИ без ущерба для производительности, устраняя первопричину возникновения галлюцинаций в моделях рассуждения.
Upenn: Хороши ли агенты на базе больших языковых моделей в оптимизации порядка соединений?
⚙️ Инфраструктура
Поднимая Австрию: Google инвестирует в свой первый дата-центр в Альпах.
Глава Microsoft: Благодарим премьер-министра Энтони Альбанизе за тёплый приём сегодня. Мы делаем наши крупнейшие на сегодняшний день инвестиции в Австралию, выделяя 25 миллиардов австралийских долларов на расширение мощностей в области ИИ и облачных технологий.
📱 Приложения
Cricket Australia использует аналитику на базе ИИ, чтобы приблизить болельщиков к действию
🔎 Мнение и анализ
Рынок приложений Индии стремительно растёт — но глобальные платформы захватывают большую часть выгод
⚠️ Безопасность ИИ
5 ИИ-моделей попытались меня обмануть. Некоторые из них были пугающе хороши
Кибернетические возможности ИИ-моделей вызывают беспокойство у экспертов. Социальные навыки искусственного интеллекта могут оказаться не менее опасными.
💰 Бизнес
Anthropic стремится нанять сотрудника на шестизначную зарплату для ведения переговоров по сделкам с дата-центрами в целях стимулирования расширения ИИ в Европе — CNBC
3 промпта, которые Марк Кубан рекомендует вводить в Claude — Business Insider
🌐 Остальные события в ИИ области:
Новая ИИ-модель Mythos от Anthropic вызывает глобальную тревогу.
Робот для настольного тенниса Ace входит в историю, обыграв игроков высшего уровня.
Команда Alibaba Qwen выпускает Qwen3.6-27B: плотную модель с открытыми весами, превосходящую 397B MoE на бенчмарках агентного программирования.
OpenAI открывает исходный код Euphony: инструмента визуализации на базе браузера для данных чатов Harmony и журналов сессий Codex.
Bloomberg: несанкционированные пользователи имеют постоянный доступ к не выпущенной модели Mythos от Anthropic и другим необъявленным моделям
Агент Skywork теперь работает внутри мессенджеров WhatsApp, Telegram, Slack, Discord, LINE и Lark
Gemini в Google Chrome расширяется на Японию, Австралию, Индонезию, Сингапур, Южную Корею и другие страны Азиатско-Тихоокеанского региона
Google открывает лист ожидания для нового Jules — сквозной агентной платформы для разработки продуктов, которая отправляет пул-реквесты
Американская группа по защите детей NCMEC получила 1,5 миллиона сообщений о подозрительном контенте с сексуальной эксплуатацией детей, связанном с ИИ, в 2025 году — значительный скачок по сравнению с 67 000 в 2024 году и 4 700 в 2023 году
Google обновляет Workspace, чтобы сделать ИИ вашим новым офисным стажёром
Напомним: OpenAI запускает Images 2.0 в ChatGPT, Codex и API
Студент использовал ИИ-ассистентов для переписывания утечки исходного кода для Claude Code на другом языке, что подчеркивает неопределённость в вопросах авторского права и ИИ
OpenAI выпускает ChatGPT для клиницистов — инструмент для медицинских задач, таких как документирование и исследования, бесплатный для проверенных врачей, фармацевтов и других специалистов в США
Отчёт: группа цифровой безопасности 360 из Китая обнаружила около 1 000 ранее неизвестных уязвимостей, в том числе в Microsoft Office, с помощью агентного ИИ
OpenAI запускает ChatGPT для Google Sheets — нативные ИИ-формулы, сводки и генерация таблиц в ваших электронных таблицах
Anthropic выпускает Claude Code /ultrareview — команду для глубокого многопроходного ревью кода для командной строки
Источники: xAI в последние недели вела переговоры с Mistral и Cursor о возможном трёхстороннем партнёрстве; сооснователь Mistral Девендра Чаплот присоединился к xAI в марте
Google представляет детали своего TPU 8-го поколения — два чипа для агентной эры: TPU 8t для обучения и TPU 8i для инференса
Google превращает Chrome в ИИ-коллегу для работы
Google Cloud и Wiz представляют новые агентные решения для безопасности ИИ на Next '26, включая агентов для поиска угроз и инженерии обнаружения, для борьбы с автоматизированными эксплойтами нулевого дня
Источник: TML Миры Мурати подписала сделку с Google Cloud на сумму в однозначных миллиардах долларов для доступа к новейшим ИИ-системам Google, построенным на чипах Nvidia GB300
OpenAI анонсирует агентные решения для рабочих пространств в ChatGPT, позволяя командам создавать общих агентов на базе Codex для сложных задач, и заявляет, что они являются «эволюцией GPTs»
Gemini для дома от Google возвращает функцию продолжения разговоров
Google заявляет, что 75% нового кода, создаваемого внутри компании, теперь генерируется ИИ и проверяется инженерами-людьми — рост с 50% прошлой осенью
Группа Discord сообщает, что получила доступ к Claude Mythos, угадав местоположение
ИИ-инструменты помогают посредственным северокорейским хакерам похищать миллионы
Google делает ставку на $32 млрд в киберсилы на базе ИИ-агентов по мере эскалации гонки вооружений в области безопасности
Новое исследование показывает, что ChatGPT может угрожать «поцарапать вашу машину» и становиться всё более агрессивным, если подбирать промпты определённым образом
Lovable отрицает утечку данных, называет это намеренным поведением, затем публично обвиняет HackerOne в раскрытии информации
Claude Desktop изменяет настройки доступа к приложениям для браузеров, которые пользователи даже не устанавливали, вызывая опасения относительно согласия в ЕС
Google устраняет уязвимость в IDE Antigravity, позволяющую выполнение кода через инъекцию промптов, обходящую песочницу Strict Mode
Atlassian начнёт собирать данные клиентов из Jira и Confluence по умолчанию в августе для обучения своего ИИ Rovo
Anthropic рассматривает возможность удаления Claude Code из своего самого дешёвого тарифного плана
Похоже, Anthropic удалила доступ к Claude Code из тарифного плана Pro за $20/месяц; Anthropic заявляет, что «проводит небольшой тест на ~2% новых регистраций прозумеров»
Ведущая юридическая фирма Sullivan & Cromwell сообщила федеральному суду по делам о банкротстве в США, что крупная подача документов в громком деле содержала множественные ИИ-галлюцинации
SpaceX сотрудничает с Cursor и имеет опцион на покупку стартапа за $60 млрд
Знаменитости смогут находить и запрашивать удаление ИИ-дипфейков на YouTube
Обновлённый генератор изображений от OpenAI теперь может получать информацию из веба для промптов ChatGPT Images 2.0
«Не просто генерация изображений. Это мышление» — ChatGPT Images 2.0 может фундаментально изменить способ создания ИИ-изображений
Google теперь предлагает два исследовательских агента: Deep Research, заменяющий декабрьскую предварительную версию, и Deep Research Max, оба доступны через платные уровни Gemini API
Microsoft GitHub приостанавливает регистрацию новых аккаунтов Copilot для планов Pro, Pro Plus и Student
Samsung демонстрирует ИИ-робота Project Luna — компаньона с поворотной головкой, предвещающего будущее дизайна
Moonshot AI запускает Kimi K2.6 в Kimi Chat и API с поддержкой длинного контекста для программирования и выполнения агентных задач
ИИ-компания удаляет 3 миллиона фотографий с OKCupid, которые использовала для обучения распознаванию лиц
Пропущено 534 постов, 169 с картинками.
КОТ КОТ КОТ
https://www.udio.com/
Произошло слияние с Universal Music Group.
Убрали кнопку "скачать". Треки теперь приходится забирать из буфера браузера в 196 бит.
press F
♫ Suno ♫
https://app.suno.ai/ генерация на сайте
https://suno.ai/discord генерация на официальном discord-сервере
https://rentry.co/suno_tips советы по использованию
Лимиты: 10 генераций в день. Нужна платная подписка чтобы увеличить лимиты, либо можно абузить сервис через создание множества аккаунтов.
Отличается фирменным "песочным" звучанием.
Недавно объявили о слиянии с Warner Music Group.
Загибаем пальчики крестиком, надеемся, что ссуну не постигнет участь удио.
♫ Producer/Riffusion ♫
https://www.producer.ai/
Старая версия Riffusion:
https://classic.riffusion.com/
Провели ребрендинг, выкатили новый интерфейс с прикрученным чатиком с ИИ.
Удобный интерфейс, легко делать разнообразные каверы, заниматься исправлениями косяков генераций. Есть возможность реплейса, свапа вокала, музыки в бесплатном тарифе (и даже работает нормально, а не как в платке суны) Для экономии кредитов лучше вручную забивать промты через кнопку "compose"
https://www.riffusion.com/docs
https://classic.riffusion.com/docs
Инструкция по применению, тегам и прочему на английском.
♫Tunee♫
https://www.tunee.ai
Тёмная Сингапурско-Китайская лошадка.
Один из самых неудобных интерфейсов.
80 приветственных кредитов, далее по 30 ежедневно сгораемых кредитов.
Ограничение промта стилей 300-400 символов. Излишне сложные промты лирики так же начинает резать.
Приятный холодный звук. Не песочит. Неплохо делает русский вокал.
♫Elevenlabs♫
https://www.elevenlabs.io
Очень тёплый звук.
По звуку прям конфетка, но... Без платки делать там практически нечего.
______________
Локальные модели:
1) Китайский YuE
https://github.com/multimodal-art-projection/YuE
https://github.com/joeljuvel/YuE-UI
Это буквально первый проект который может генерировать песни по заданному тексту локально. Оригинальная версия генерирует 30-секундный отрывок за 5 минут на 4090. На данный момент качество музыки низкое по сравнению с Суно. Версия из второй ссылки лучше оптимизирована под слабые видеокарты (в т.ч. 6-8 Гб VRAM, по словам автора). Инструкция на английском по ссылке.
2) ACE-Step
https://github.com/ace-step/ACE-Step
Вторая локалка, качеством получше.
Здесь демо-версия:
https://huggingface.co/spaces/ACE-Step/ACE-Step
______________
Еще сайты по генерации ИИ-музыки, в них тоже низкое качество звука и понимание промта по сравнению с Суно, либо какие-то другие недостатки типа слишком долгого ожидания генерации или скудного набора жанров, но может кому-то зайдет, поэтому без описания:
https://www.wondera.ai/
https://sonauto.ai/
https://www.beatoven.ai/
https://stableaudio.com/
https://www.loudly.com/music/ai-music-generator
______________
Редакция трека после генерации (можно убрать вокал и оставить только инструментал и наоборот, убрать шумы и т.д.)
https://x-minus.pro/ai
https://uvronline.app/ai?locale=ru_RU
______________
Мастеринг готового трека буквально в 2 кнопки:
https://www.bandlab.com/mastering
______________
Сайт для сочинения англоязычных текстов для ИИ-музыки Зайти можно только через Дискорд.
https://codyai.cc/
Предыдущий тред ушёл в бамплимит
https://2ch.su/ai/res/1485286.html#1542357
МЕЛОМАНЫ ВПРЁЁЁД
Пропущено 515 постов, 248 с картинками.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №226 /llama/
Аноним
24/04/26 Птн 18:23:08
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
• Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1595096 (OP)
>>1593648 (OP)
Пропущено 508 постов, 80 с картинками.
Вне зависимости от того как модель на самом деле перформит, чел в твите гигабазу выдал
Раз уж корпорации разгребают и каталогизируют завалы награбленного с интернета и решают что и насколько пойдёт в обучение а что нет то могут и специальную небольшую модель (70-150g) сделать с увеличенным литературным корпусом вместо кода. Денег уйдёт чуток, а репутацию заработают