Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №172 /llama/
Аноним
14/10/25 Втр 21:23:00
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd )
• Неактуальные списки моделей в архивных целях: 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1384087 (OP)
>>1378253 (OP)
Пропущено 500 постов, 63 с картинками.
> добавили таки нового китайца в Жору
Наконец-то будет что изучающе потыкать палкой. Шаблон еще буквально копия ChatML, только теги зачем-то заменили. Видимо, чтобы представить как свой собственный шаблон ¯\_(ツ)_/¯
>>1395432 (OP)
ПЕРЕКАТ
>>1395432 (OP)
ПЕРЕКАТ
>>1395432 (OP)
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GLM 4.6 - https://z.ai/blog/glm-4.6
• Вышел Deepseek v3.2 - https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp
• Вышел Claude Sonnet 4.5 - https://www.anthropic.com/news/claude-sonnet-4-5
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1384087 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1390564 (OP)
Пропущено 1501 постов, 226 с картинками.
>gentleisland это самые лучшие снапшоты с абтеста
О заебись, сегодня покумлю на нем тогда
Спс
Создан с разрешения завсегдатаев раздела >>1388146 → >>1388111 →
Как вкатиться?
1) Зайти на https://sora.com с ОБЯЗАТЕЛЬНО ТОЛЬКО IP США или Канады (!).
2) Зарегать аккаунт, если еще нет. Лучше использовать нормальную Gmail почту.
3) Ввести инвайт код.
4) Генерировать, скидывая годноту в тред.
Где взять инвайт код?
Либо на сторонних площадках по типу @sora_invite_bot в тг, в коментах канала n2d2ai либо ждать подачки от добрых анонов. После ввода инвайт кода вам дадут от 0 до 6 новых для приглашения кого-то еще по цепочке.
Как промптить?
https://github.com/daveebbelaar/ai-cookbook/blob/main/models/openai/08-video/docs/sora2-prompting-guide.md
https://cookbook.openai.com/examples/sora/sora2_prompting_guide
Как обойти цензуру?
1) Пробовать менять фразы, имена и в целом промпт. Описывать персонажей без личных имен чтобы не триггерить копирайт.
2) Роллить. Иногда из двух одинаковых реквестов подряд один цензуруется, а другой нет.
Какой лимит?
Одновременно на одном аккаунте можно генерировать до 3 видосов. В день не более 30 штук.
Пропущено 527 постов, 361 с картинками.
Прошлый тред: >>1363739 (OP)
Пропущено 520 постов, 115 с картинками.
https://youtu.be/ysE8FMhAPH0?si=YxA5tLOR8Wof9yUy
1. Hailuo Minimax
https://hailuoai.video/
2. Kling
https://klingai.com/
3. Sora от OpenAI
https://openai.com/sora/
https://openai.com/index/sora-2/
4. Luma Dream Machine
https://lumalabs.ai/
5. Vidu
https://www.vidu.com/create
6. Pixverse
https://app.pixverse.ai/
7. Pika
https://pika.art/try
8. Runway Gen. 4
https://runwayml.com/
9. Wan от Alibaba
https://wan.video/
10. Veo3 от Google
https://deepmind.google/models/veo/
Сайты, где можно попробовать генерации на разных моделях
https://nim.video/
https://pollo.ai/
https://www.florafauna.ai/
Коллекция ИИ-видео:
https://www.reddit.com/r/aivideo/
Локальные модели
1. Hunyuan от Tencent
https://hunyuanvideoai.com/
https://github.com/Tencent/HunyuanVideo
2. Wan от Alibaba
https://github.com/Wan-Video/Wan2.1
https://github.com/Wan-Video/Wan2.2
3. MAGI-1 от Sand AI
https://sand.ai/magi
https://github.com/SandAI-org/MAGI-1
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Hunyuan Video: https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Гайд для использования Wan 2.2:
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan 2.1: https://github.com/kijai/ComfyUI-WanVideoWrapper
Квантованные чекпоинты
Hunyuan Video (GGUF): https://huggingface.co/Kijai/SkyReels-V1-Hunyuan_comfy/tree/main
Wan 2.1 (GGUF): https://huggingface.co/city96/Wan2.1-I2V-14B-480P-gguf/tree/main
Wan 2.1 (NF4): https://civitai.com/models/1299436?modelVersionId=1466629
Где брать готовые LoRA
https://civitai.com/models
Hunyuan Video: https://civitai.com/search/models?baseModel=Hunyuan%20Video&sortBy=models_v9
Wan 2.1: https://civitai.com/search/models?baseModel=Wan%20Video&sortBy=models_v9
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Предыдущий тред
>>1372362 (OP)
Пропущено 984 постов, 211 с картинками.
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GLM 4.6 - https://z.ai/blog/glm-4.6
• Вышел Deepseek v3.2 - https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp
• Вышел Claude Sonnet 4.5 - https://www.anthropic.com/news/claude-sonnet-4-5
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1384087 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1388179 (OP)
Пропущено 1490 постов, 228 с картинками.
ИИ: "Если отношения с Соединенными Штатами не наладятся к концу осени этого года, тогда проэкт моста
Аноним
18/09/25 Чтв 03:57:50
№
Ответ
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GLM 4.6 - https://z.ai/blog/glm-4.6
• Вышел Deepseek v3.2 - https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp
• Вышел Claude Sonnet 4.5 - https://www.anthropic.com/news/claude-sonnet-4-5
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1384087 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1385650 (OP)
Пропущено 1505 постов, 237 с картинками.
>не по назначению Вне РП
Безжоп это когда насухую в жопу ебут
Всем общий Подскажите нейронку чтоб шмотки примерять, пользовался Wand, но надоело акки создавать.
Аноним
08/10/25 Срд 21:44:50
№
Ответ
Подскажите нейронку чтоб шмотки примерять, пользовался Wand, но надоело акки создавать.
Камнями не кидайтесь, в ии не шарю :)
Обнял поднял
Нет больше никаких.
Ну в смысле кидаешь фотку одежды, кидаешь себя и просишь одеть.
Прошлый тред: >>1366952 (OP) https://arhivach.vc/thread/1243470/
Схожие тематические треды
• SD-тред (не аниме): >>1365529 (OP)
• Технотред: >>1272560 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.gitgud.site/wiki/nai
Установка
• NVidia: https://rentry.co/2ch_nai_guide
• AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd
• Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces
• Модели: https://2ch-ai.gitgud.site/wiki/nai/models
• Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts
• Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale
• LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora
• ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 511 постов, 226 с картинками.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №171 /llama/
Аноним
12/10/25 Вск 01:49:57
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd )
• Неактуальные списки моделей в архивных целях: 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1378253 (OP)
>>1372399 (OP)
Пропущено 505 постов, 57 с картинками.
>>1387128 (OP)
ПЕРЕКАТ
>>1387128 (OP)
ПЕРЕКАТ
>>1387128 (OP)
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GLM 4.6 - https://z.ai/blog/glm-4.6
• Вышел Deepseek v3.2 - https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp
• Вышел Claude Sonnet 4.5 - https://www.anthropic.com/news/claude-sonnet-4-5
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1384087 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1382835 (OP)
Пропущено 1503 постов, 240 с картинками.
Это ты пиздабол. ГПТ-5 умеет планировать, но сам кодинг (исполнение) у неё абсолютный хлам. Она заRLшена в какаху на краткость и даёт нечитабельный пиздец, да и просто хуёво ваншотит. Клод же не так хорошо планирует архитектуру, но при этом умеет всё и сразу. Правда при этом может делать кучу незапрошенных правок, надо его пиздить палкой. Так что меты сейчас две: либо гпт-5 архитектор + глм исполнитель, либо, собственно, клод. Который всегда панчил выше циферок бенчей.
>>1388023
>но какой отбитый долбаеб юзает агентов?
А кто их НЕ юзает? Весь кодинг это агенты.
Посидя какое-то время в /soc/ я начал подозревать что там есть ИИ боты и особо не парился. Но я нача
Аноним
07/10/25 Втр 09:59:24
№
Ответ
В Ии и компах особо не шарю, скажите пожалуйста, может ли такой сценарий быть возможным?
Пропущено 5 постов, 2 с картинками.
>заточенный под высасывание личной информации и мыслей
Ну да, спецслужбы будут выманивая информацию разводить на непринуждённый разговор.
Это практика даже не КГБ СССР где чекисты подсаживали к нужному человеку в баре девушку (спец-агента) и под лёгкой беседой добывали информацию, включая и то какую идеологию поддерживает собеседник, а это ещё царско-имперская жандармерия этим занималась.
Теперь это всё делается в интернете, ухаха. Поэтому настоящего общения сейчас как такового нет, это заметно что люди начали меньше общаться, а боты наоборот - их стало много и они стали слишком заметны, их уже не разбавляет большая масса настоящих собеседников, им уже не за кем маскироваться в массовке, уже приходит к тому что боты натыкаются на ботов, а агенты спецслужб общаются с другими агентами спецслужб чтобы прицепить друг к другу авто-бота.
SimSwap обрел покой, да здравствует roop. Или rope. Или facefusion. /deepfake/
Аноним
13/11/23 Пнд 09:31:32
№
Ответ
Форки на базе модели insightface inswapper_128: roop, facefusion, rope, плодятся как грибы после дождя, каждый делает GUI под себя, можно выбрать любой из них под ваши вкусы и потребности. Лицемерный индус всячески мешал всем дрочить, а потом и вовсе закрыл проект. Чет ору.
Любители ебаться с зависимостями и настраивать все под себя, а также параноики могут загуглить указанные форки на гитхабе. Кто не хочет тратить время на пердолинг, просто качаем сборки.
Тред не является технической поддержкой, лучше создать issue на гитхабе или спрашивать автора конкретной сборки.
Эротический контент в шапке является традиционным для данного треда, перекатчикам желательно его не менять или заменить его на что-нибудь более красивое. А вообще можете делать что хотите, я и так сюда по праздникам захожу.
Пропущено 603 постов, 71 с картинками.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №170 /llama/
Аноним
06/10/25 Пнд 17:39:38
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd )
• Неактуальные списки моделей в архивных целях: 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1372399 (OP)
>>1367731 (OP)
Пропущено 499 постов, 56 с картинками.
6,3 + 2,7,1 - гарантировнно работает
6,4 + 2,7,1 - работает в вллм текст + комфи сд/сдхл
6,3 + 2,8,0 - работает в вллм текст+картинки. комфи не проверялся
Тут собираю и тестирую сочетания https://github.com/mixa3607/ML-gfx906
Нет, он таки странный. Эта версия более адекватна, если давать ей какие-либо задачи даже по большому контексту - прилично с ними справляется, глупой не назвать. В вопросах по коду отвечает норм, местами даже хорошо, не путаясь в близких вещах.
Однако в рп - ну это треш какой-то. Пропускает целые пласты активностей/действий, переходя сразу к результатам. Например ты пошел из тс принести коробку с продуктами, которые вы купили, а чару сказал пиздуй на кухню и глянь что есть/подготовь пока не вернусь - придя туда (с продуктами) ты обнаружишь их уже приготовленными в виде неебаться какого ужина. Объекты берутся из неоткуда и исчезают в никуда, неписи в курсе о ваших похождениях, хотя по лору никак не могут этого знать. Тот же прикол с обманом - чар не только сразу тебя узнает, а уже даже успевает все понять@принять в большинстве свайпов.
С другой стороны в паре сценариев начальный розыгрыш интересный и захватывающий, некоторые сеттинги подхватывает точно, слог приятный.
Хуй знает, у других моделей подобных проблем нет, кроме мелочи офк. Учитывая что там swa - есть вероятность подливы от жоры.
>>1384087 (OP)
ПЕРЕКАТ
>>1384087 (OP)
ПЕРЕКАТ
>>1384087 (OP)
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GLM 4.6 - https://z.ai/blog/glm-4.6
• Вышел Deepseek v3.2 - https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp
• Вышел Claude Sonnet 4.5 - https://www.anthropic.com/news/claude-sonnet-4-5
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1378253 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1380396 (OP)
Пропущено 1512 постов, 259 с картинками.
Там где? На аноновской прокси с китайской оболочкой? Анон щедрый, 20к кредитов даёт, жалко не вывести никак
1. Hailuo Minimax
https://hailuoai.video/
2. Kling
https://klingai.com/
3. Sora от OpenAI
https://openai.com/sora/
https://openai.com/index/sora-2/
4. Luma Dream Machine
https://lumalabs.ai/
5. Vidu
https://www.vidu.com/create
6. Pixverse
https://app.pixverse.ai/
7. Pika
https://pika.art/try
8. Runway Gen. 4
https://runwayml.com/
9. Wan от Alibaba
https://wan.video/
10. Veo3 от Google
https://deepmind.google/models/veo/
Сайты, где можно попробовать генерации на разных моделях
https://nim.video/
https://pollo.ai/
https://www.florafauna.ai/
Коллекция ИИ-видео:
https://www.reddit.com/r/aivideo/
Локальные модели
1. Hunyuan от Tencent
https://hunyuanvideoai.com/
https://github.com/Tencent/HunyuanVideo
2. Wan от Alibaba
https://github.com/Wan-Video/Wan2.1
https://github.com/Wan-Video/Wan2.2
3. MAGI-1 от Sand AI
https://sand.ai/magi
https://github.com/SandAI-org/MAGI-1
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Hunyuan Video: https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Гайд для использования Wan 2.2:
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan 2.1: https://github.com/kijai/ComfyUI-WanVideoWrapper
Квантованные чекпоинты
Hunyuan Video (GGUF): https://huggingface.co/Kijai/SkyReels-V1-Hunyuan_comfy/tree/main
Wan 2.1 (GGUF): https://huggingface.co/city96/Wan2.1-I2V-14B-480P-gguf/tree/main
Wan 2.1 (NF4): https://civitai.com/models/1299436?modelVersionId=1466629
Где брать готовые LoRA
https://civitai.com/models
Hunyuan Video: https://civitai.com/search/models?baseModel=Hunyuan%20Video&sortBy=models_v9
Wan 2.1: https://civitai.com/search/models?baseModel=Wan%20Video&sortBy=models_v9
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Предыдущий тред
>>1362198 (OP)
Пропущено 548 постов, 162 с картинками.
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/ltdrdata/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
ЧТО НОВОГО АКТУАЛЬНОГО ЗА ГОД
• Qwen Image Edit Plus (2509)
• Qwen Image Edit
• Qwen Image
• Flux Krea (Флюкс без жопных подбородков)
• Flux Kontext
• Wan 2.2 (подходит для генерации картинок).
• Chroma (сильный ретрейн флюкса).
• NAG (негативный промпт на моделях с 1 CFG)
• Лора Lightning для Qwen, Wan ускоряет в 4 раза. Nunchaku ускоряет модели в 2-4 раза. DMD2 для SDXL ускоряет в 2 раза. Пример: 4-8 шагов, CFG 1. https://huggingface.co/tianweiy/DMD2/blob/main/dmd2_sdxl_4step_lora_fp16.safetensors,
CFG 3 для NoobAI https://huggingface.co/YOB-AI/DMD2MOD/blob/main/LYC-DMD2MOD%20(Dmo%2BTffnoi).safetensors,
Оффлайн модели для картинок: Stable Diffusion, Flux, Wan-Video (да), Auraflow, HunyuanDiT, Lumina, Kolors, Deepseek Janus-Pro, Sana
Оффлайн модели для анимации: Wan-Video, HunyuanVideo, Lightrics (LTXV), Mochi, Nvidia Cosmos, PyramidFlow, CogVideo, AnimateDiff, Stable Video Diffusion
Приложения: ComfyUI и остальные (Fooocus, webui-forge, InvokeAI)
► Предыдущий тред >>1356463 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 546 постов, 164 с картинками.
Уважаемые нейро-боги, подскажте относительному ньюфагу 2 года назад генерил на автоматике1111 насколько ComfyUI лучше Reforge? Меня просто убивает что в ComfyUI нет pnginfo и быстрого переноса параметров чтобы загенерить точно такую же картинку или что ты типа несколько генераций назад что-то сделал и захотел к ней вернуться и отредактировать, просто эту картинку воткнул в pnginfo и нажал totxt2img и все, а в ComfyUI такого инструмента нет. Есть какая-то кастомная нода но как то там все задроченно.
Ты буквально перетягиваешь картинку в комфикал и в ней все настройки. Даже с пикчами из Forge работает, если они в PNG сохранялись.
Вопрос - как сделать чтобы в comfyui использовались обе?