Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №161 /llama/
Аноним
26/08/25 Втр 16:49:17
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1329142 (OP)
>>1326416 (OP)
Пропущено 500 постов, 66 с картинками.
> понятно из архитектуры трансформеро
Колесо сансары сделало еще один оборот, Кали-Юга продолжает свое вялое течение. Название карточки на жпт-6 хоть смени.
>Колесо сансары сделало еще один оборот
Как знаешь.
>Название карточки на жпт-6 хоть смени.
Пока рано, текущие сетки не должны знать про пятёрочку.
>>1336982 (OP)
ПЕРЕКАТ
>>1336982 (OP)
ПЕРЕКАТ
>>1336982 (OP)
автоматический перевод и озвучка на русский полностью офлайн Стори: захотел посмотреть сериал с тра
Аноним
# OP
12/08/25 Втр 21:38:34
№
Ответ
Стори: захотел посмотреть сериал с трампом который оказывается никем никогда не озвучивался, и не переводился (переводился сабами несколько сезонов но похуй) так вот оказалось что нету никаких готовых инструментов в стиле "перевести 20 часов звука за ноль денег". И я подумал что это какой то бред, ведь есть ебанутая гора технологий для реализации всех этапов, бесплатно. Ну вот я и сделал, за пару дней. Перевёл-озвучил первый сезон, посмотрел, ну, так, не зашло особо. Но софт получился что надо. Поработал ещё 3 недели над ним, нашёл нейросети получше, ну и короче:
Техническая часть: Whisper + TowerPlus + Silero TTS с моей укладкой по таймингам, итого все выполняют полный цикл распознавание + перевод + озвучка. Реализовано только на процессоре потому что я нищий у меня нету видеокарты, что бы отдебажить всё это на ней, поэтому да поебать мне.
Скачать+использовать:
https://drive.google.com/file/d/1Kufx5LqKOEx67xy7NNNQjcQd5qwKJt7j/view?usp=sharing полная офлайн сборка со всем софтом и моделями, которые я довёл до простоты принципиально:
1. распакуй куда угодно
2. дропни видос в .bat
3. ??????
4. готовый файл с переводом.
https://drive.google.com/file/d/1u22DFaHRaHDb7sg-i3cxW7wfEQjJUN0z/view?usp=sharing тоже самое но без моделей Whisper + TowerPlus, их можно скачать самому здесь https://huggingface.co/DZgas/Tower-Plus-2B-GGUF/tree/main и здесь https://huggingface.co/ggerganov/whisper.cpp/tree/main
Так же можно использовать другие модели, например large v2 и towerplus 9b для более лучшего перевода, но это упирается в проц и весит дохера. Всё остальное доделывайте сами, 3 модуля, всё можно менять, всё соединяется промежуточно субтитрами, а я на вайбкодился вусмерть.
Пропущено 4 постов, 2 с картинками.
Ну загони в нейронку если боишься. Там вроде всего два файла для питона и один батник. Остальное дефолтные либы которые можешь сам скачать с надёжного источника. Ну или запускай в ВМ и не еби себе мозги
--- STEP 4: Generating voice from subtitles (str-to-voice.py) ---
Загрузка модели из локальной папки: silero_local...
Не удалось загрузить модель: No module named 'omegaconf'
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышел DeepSeek-V3.1 - https://huggingface.co/deepseek-ai/DeepSeek-V3.1
• Вышла GPT-5 - https://platform.openai.com/docs/models/gpt-5
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Talemate: https://github.com/vegu-ai/talemate
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1329142 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1331018 (OP)
Пропущено 1514 постов, 252 с картинками.
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Приложение Forge https://github.com/lllyasviel/stable-diffusion-webui-forge
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/ltdrdata/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
ЧТО НОВОГО АКТУАЛЬНОГО ЗА ГОД
• Qwen Edit (SOTA модель для редактирования картинок).
• Релиз Chroma.
• Qwen Image (SOTA модель для генерации картинок).
• Flux Krea.
• Wan 2.2 (подходит для генерации картинок).
• NAG (негативный промпт на моделях с 1 CFG)
• Лора Lightning для Qwen, Wan ускоряет в 4 раза. Nunchaku ускоряет модели в 2-4 раза. DMD2 для SDXL ускоряет в 2 раза. Пример: 4-8 шагов, CFG 1. https://huggingface.co/tianweiy/DMD2/blob/main/dmd2_sdxl_4step_lora_fp16.safetensors,
CFG 3 для NoobAI https://huggingface.co/YOB-AI/DMD2MOD/blob/main/LYC-DMD2MOD%20(Dmo%2BTffnoi).safetensors,
Оффлайн модели для картинок: Stable Diffusion, Flux, Wan-Video (да), Auraflow, HunyuanDiT, Lumina, Kolors, Deepseek Janus-Pro, Sana
Оффлайн модели для анимации: Wan-Video, HunyuanVideo, Lightrics (LTXV), Mochi, Nvidia Cosmos, PyramidFlow, CogVideo, AnimateDiff, Stable Video Diffusion
Приложения: ComfyUI и остальные (Fooocus, webui-forge, InvokeAI)
► Предыдущий тред >>1324255 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 560 постов, 222 с картинками.
Что этому говну надо? Запускаю файл указанный в гайде, вижу эту картинку и ничего не происходит.
У кого есть платная подписка особенно на клод или своя нейросетка, не в службу а в дружбу, хочу деоб
Аноним
03/08/25 Вск 06:29:27
№
Ответ
Нужно дать задание - деобфусцируй код максимально точно. Этот:
https://g.alicdn.com/AWSC/uab/1.140.0/collina.js
Иногда это работает норм, а иногда нет, как я примерно из опыта почувствовал клод в этом деле в несколько раз лучше других.
Судя по Триттеру, те кто юзал - говорят лучше Claude, у Грока контекст 256 тыс токенов, в него все исходники любого проекта влезут.
https://github.blog/changelog/2025-08-26-grok-code-fast-1-is-rolling-out-in-public-preview-for-github-copilot/
Так его вряд ли можно деобсфуцировать
Или реально такое делают? Там же названия переменных похерены все, по сути их надо заново придумать
Что за нейросеть на скрине, которая генерирует качественные видео /ai/
Аноним
28/08/25 Чтв 14:25:06
№
Ответ
Прошлый тред: >>1313916 (OP)
Пропущено 516 постов, 133 с картинками.
Ноль на сколько ни умножь, во сколько ни усиль — будет ноль.
Это уже произошло. Даже ЛЛМ при всей своей ущербности это всё ещё технологическое чудо, способное срезать много рутины. А по факту помогает на 10%, ну на 20%.
Там, где казалось, что нейронки легко заменят человека (пиздеть по скрипту, отвечая на стандартные вопросы) они не справились.
Даже там! Потому что в отличии от нормального FAQ с нормальным поиском они нестабильны и нечёткие.
Это не усилитель блядь. Не простой множитель навыков.
Это ещё и проверка навыков. Чтобы использовать ИИ нужно обладать умом и навыками, чтобы проверить результат.
Но чем выше навыки, тем меньше нужен ИИ, потому что проще самому написать код, чем роллить варианты и писать простыни запросов, конкретизирующих каждый пук.
Я не луддит, не отрицатель. Я радуюсь охуенному скачку в мире производства лекарств, в мире компьютерного зрения. Да и тачки с автопилотом заебись (хотя до сих пол работают только в ясную погоду днём и стоят дороже мясного водителя)
>>1332648
Вопрос про автопилоты.
А они людей не убивают из-за того што в них умышленно встроены 3 закона Азимова, или это как то само получилось не убивать пешеходов?
Вопрос к тому, што может нахуй эти три закона, если само так получается што автопилот не давит пешеходов.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №160 /llama/
Аноним
22/08/25 Птн 15:57:35
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1326416 (OP)
>>1323697 (OP)
Пропущено 508 постов, 42 с картинками.
А нах ты гоняешь аир в 2 бит, а квен в 4? Ты ничего не перепутал? И не используй iq кванты с мое, замедление очень существенное.
ПЕРЕКАТ
>>1332569 (OP)
ПЕРЕКАТ
>>1332569 (OP)
ПЕРЕКАТ
>>1332569 (OP)
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышел DeepSeek-V3.1 - https://huggingface.co/deepseek-ai/DeepSeek-V3.1
• Вышла GPT-5 - https://platform.openai.com/docs/models/gpt-5
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Talemate: https://github.com/vegu-ai/talemate
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1329142 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1327769 (OP)
Пропущено 1507 постов, 266 с картинками.
Пропущено 7 постов, 2 с картинками.
Какое нахуй неправомерный доступ к информации, полученный из ОТКРЫТОГО доступа?
Чтобы вменить какие-то там обходы, нужно на законодательно уровне разъяснить эти понятия.
Про аресты - не верю.
Он просто тебя троллит.
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Приложение Forge https://github.com/lllyasviel/stable-diffusion-webui-forge
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/ltdrdata/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
ЧТО НОВОГО АКТУАЛЬНОГО ЗА ГОД
• Qwen Image (SOTA модель для генерации картинок).
• Flux Krea.
• Wan 2.2 (подходит для генерации картинок).
• Flux Kontext.
• NAG (негативный промпт на моделях с 1 CFG)
• Chroma
• Лора DMD2 для SDXL ускоряет в 2 раза. Пример: 10 шагов, семплер LCM, шедулер beta, 832x1216,
CFG 1 для обычных SDXL https://huggingface.co/tianweiy/DMD2/blob/main/dmd2_sdxl_4step_lora_fp16.safetensors,
CFG 3 для NoobAI https://huggingface.co/YOB-AI/DMD2MOD/blob/main/LYC-DMD2MOD%20(Dmo%2BTffnoi).safetensors,
Оффлайн модели для картинок: Stable Diffusion, Flux, Wan-Video (да), Auraflow, HunyuanDiT, Lumina, Kolors, Deepseek Janus-Pro, Sana
Оффлайн модели для анимации: Wan-Video, HunyuanVideo, Lightrics (LTXV), Mochi, Nvidia Cosmos, PyramidFlow, CogVideo, AnimateDiff, Stable Video Diffusion
Приложения: ComfyUI и остальные (Fooocus, webui-forge, InvokeAI)
► Предыдущий тред >>1309496 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 545 постов, 228 с картинками.
>>1330725
Благодарю, анончики!
Этих лор есть у меня, буду тестить. С шагами тоже поиграюсь.
>>1330724
Спасибо большое. Там есть шаблон даже под ipadapter в comfy.
Не подумал бы, щито SDXL так ебашит. Отличные фото. Особенно первая.
>>1330740 (OP)
>>1330740 (OP)
>>1330740 (OP)
1. Hailuo Minimax
https://hailuoai.video/
2. Kling
https://klingai.com/
3. Sora от OpenAI
https://openai.com/sora/
4. Luma Dream Machine
https://lumalabs.ai/
5. Vidu
https://www.vidu.com/create
6. Pixverse
https://app.pixverse.ai/
7. Pika
https://pika.art/try
8. Runway Gen. 4
https://runwayml.com/
9. Wan от Alibaba
https://wan.video/
10. Veo3 от Google
https://deepmind.google/models/veo/
Сайты, где можно попробовать генерации на разных моделях
https://nim.video/
https://pollo.ai/
https://www.florafauna.ai/
Коллекция ИИ-видео:
https://www.reddit.com/r/aivideo/
Локальные модели
1. Hunyuan от Tencent
https://hunyuanvideoai.com/
https://github.com/Tencent/HunyuanVideo
2. Wan от Alibaba
https://github.com/Wan-Video/Wan2.1
https://github.com/Wan-Video/Wan2.2
3. MAGI-1 от Sand AI
https://sand.ai/magi
https://github.com/SandAI-org/MAGI-1
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Hunyuan Video: https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Гайд для использования Wan 2.2:
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan 2.1: https://github.com/kijai/ComfyUI-WanVideoWrapper
Квантованные чекпоинты
Hunyuan Video (GGUF): https://huggingface.co/Kijai/SkyReels-V1-Hunyuan_comfy/tree/main
Wan 2.1 (GGUF): https://huggingface.co/city96/Wan2.1-I2V-14B-480P-gguf/tree/main
Wan 2.1 (NF4): https://civitai.com/models/1299436?modelVersionId=1466629
Где брать готовые LoRA
https://civitai.com/models
Hunyuan Video: https://civitai.com/search/models?baseModel=Hunyuan%20Video&sortBy=models_v9
Wan 2.1: https://civitai.com/search/models?baseModel=Wan%20Video&sortBy=models_v9
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Предыдущий тред
>>1287986 (OP)
Пропущено 504 постов, 101 с картинками.
Нет. Только с неприемлемо низким разрешением и неприемлемо долгими генерациями. RAM тебе надо минимум 64 гига, чтоб оффлоадить модели.
С помощью каких нейросетейИИ создаётся графика которая реагирует на пользователя? /vopros/
Аноним
13/05/25 Втр 19:33:15
№
Ответ
В я девчат лучшая которую первая кач слышал музыка этого этих песня цвет твой такой это от композитора выступлении вот лютый.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №159 /llama/
Аноним
20/08/25 Срд 00:49:05
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1323697 (OP)
>>1318126 (OP)
Пропущено 508 постов, 66 с картинками.
Прогревайте риги, ёпта.
https://huggingface.co/TheDrummer/Behemoth-R1-123B-v2
Я за вас рад, конечно, но не от всего сердца.
>Quad channel ddr5
Дефолтное поведение интула на двух плашках, почитай про новшества DDR5.
>>1329142 (OP)
ПЕРЕКАТ
>>1329142 (OP)
ПЕРЕКАТ
>>1329142 (OP)
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышел DeepSeek-V3.1 - https://huggingface.co/deepseek-ai/DeepSeek-V3.1
• Вышла GPT-5 - https://platform.openai.com/docs/models/gpt-5
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Talemate: https://github.com/vegu-ai/talemate
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/reanon/nonono/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1323697 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1324666 (OP)
Пропущено 1506 постов, 278 с картинками.
Прошлый тред: >>1293837 (OP) https://arhivach.vc/thread/1216738/
Схожие тематические треды
• SD-тред (не аниме): >>1284303 (OP)
• Технотред: >>1272560 (OP)
• Фурри-тред: https://2ch.hk/fur/res/374311.html
FAQ
https://2ch-ai.gitgud.site/wiki/nai
Установка
• NVidia: https://rentry.co/2ch_nai_guide
• AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd
• Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces
• Модели: https://2ch-ai.gitgud.site/wiki/nai/models
• Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts
• Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale
• LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora
• ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 504 постов, 242 с картинками.
>Как будто тебе было на что
Так написал, как будто 5080 или 5090 в продаже найти невозможно.
https://www.udio.com/
Вышла версия 1.5 Allegro, по функционалу то же, что и 1.5, только в два раза быстрее. Лимит 400 кредитов в месяц (или 200 генераций по 33 секунды каждая) при условии ежедневного захода на сайт - 100 кредитов даются в месяц, и еще 10 кредитов даются ежедневно. Также можно фармить кредиты, выполняя специальные задания по оцениванию качества рандомных треков, это дает не больше 10 дополнительных кредитов в день. Для большего числа кредитов и более продвинутых фич типа инпэйнтинга или генерации с загруженного аудио нужно платить. Появилась возможность генерировать треки по 2 минуты 11 секунд, не больше 3 длинных треков (по 2 версии на каждый трек) в день на бесплатном тарифе.
♫ Suno ♫
https://app.suno.ai/ генерация на сайте
https://suno.ai/discord генерация на официальном discord-сервере
https://rentry.co/suno_tips советы по использованию
Лимиты: 10 генераций в день. Нужна платная подписка чтобы увеличить лимиты, либо можно абузить сервис через создание множества аккаунтов
♫ Riffusion ♫
https://www.riffusion.com/
Новинка, по качеству звука на уровне Суно или чуть выше. Лучший по качеству генератор текстов на русском. Количество генераций в день не ограничено, но за некоторые функции нужно платить (загрузку аудио, стемов и т.д.)
https://www.riffusion.com/docs
Инструкция по применению, тегам и прочему на английском.
______________
Локальные модели:
1) Китайский YuE
https://github.com/multimodal-art-projection/YuE
https://github.com/joeljuvel/YuE-UI
Это буквально первый проект который может генерировать песни по заданному тексту локально. Оригинальная версия генерирует 30-секундный отрывок за 5 минут на 4090. На данный момент качество музыки низкое по сравнению с Суно. Версия из второй ссылки лучше оптимизирована под слабые видеокарты (в т.ч. 6-8 Гб VRAM, по словам автора). Инструкция на английском по ссылке.
2) ACE-Step
https://github.com/ace-step/ACE-Step
Вторая локалка, качеством получше.
Здесь демо-версия:
https://huggingface.co/spaces/ACE-Step/ACE-Step
______________
Еще сайты по генерации ИИ-музыки, в них тоже низкое качество звука и понимание промпта по сравнению с Суно, либо какие-то другие недостатки типа слишком долгого ожидания генерации или скудного набора жанров, но может кому-то зайдет, поэтому без описания:
https://sonauto.ai/
https://www.beatoven.ai/
https://stableaudio.com/
https://www.loudly.com/music/ai-music-generator
______________
Редакция трека после генерации (можно убрать вокал и оставить только инструментал и наоборот, убрать шумы и т.д.)
https://x-minus.pro/ai
______________
Напомню мега-сайт для сочинения аутентичных англоязычных текстов для ИИ-музыки в стиле известных групп и артистов от Пинк Флойда до Эминема. Зайти можно только через Дискорд.
https://codyai.cc/
Прошлый тред >>1253338 (OP)
Пропущено 505 постов, 198 с картинками.
https://www.youtube.com/watch?v=02pbEilkrj8
По сути 3д моделька, с эмоциями ходит по привязанной области, рассказывает интересные истории, поддерживает диалог, развлекает.
В фильме используется проектор выводящий голограмму, вместо этого можно использовать либо: Quest 3 (не особо удобно), легкие XR очки (https://www.youtube.com/watch?v=M16vMeYNLLc), Google Glasses и прочая китайщина, либо даже совсем бюджетный вариант это ARBox ( https://aliexpress.ru/item/1005007980447998.html ) для вставки Android смартфона.
Для Quest 3 с лидаром можно, чтобы она ходила по комнате между мебелью, знала где стены, с Android смартон и легкими XR очками ситуация сложнее, но для них можно и пока без этого обойтись. По сути у нас 3д моделька на черном фоне (или прозрачном для квеста 3).
Для общения 3 нейронки: одна распознает речь, вторая общается с нами, третья озвучивает речь. Во вторую можно дать такой промт, которая будет отдавать json, в котором будет не только ответ, но и эмоциональный окрас и прочее. Дополнительный запрос можно делать на события, чтобы запоминала важные вещи, типа как реализовано в этом боте
https://github.com/r57zone/LuizaAIAssistant/blob/master/README.RU.md
Есть такое https://www.youtube.com/@Tyke18/videos для quest 3.
Какие проблемы видно: голос (пока, со временем будет ок), эмоции (3д анимации, глаза, может быть можно сделать костыль и лицо отрисовывать как плоскость с видео, видел лайфхак в геймдеве для аниме такой, типа 2д спрайты в 3д модель делали, а все остальное 3д, но опять же нужны будут плавные переходы из состояний в состояние), плавные переходы между эмоциями, в остальном вроде плюс минус реализуемо все.
В общем дискам по теме, может кому какие идеи в голову придут, по теме.
Пропущено 41 постов, 8 с картинками.
Там она слишком естественно двигалась в пространстве, таких нейронок еще нет которые 3д моделькам такие движения делают, не говоря уже о роботах
Хотя б для начала пусть в играх реализуют невсратые анимации и в кино без записи движения от реального актера
Тогда заживём. Думаю СКОРО будет. В конце концов если учат на видеозаписях можно учить на реальных движениях, сотне индусов датчики и пусть танцуют
Какие есть инструменты чтобы через AI менять освещение на видео. Например исходик всратое домашнее в
Аноним
20/08/25 Срд 14:14:09
№
Ответ
