Прошлый тред: >>1144753 (OP) https://arhivach.hk/thread/1161625/
Схожие тематические треды
• SD-тред (не аниме): >>1145307 (OP)
• Технотред: >>1118663 (OP)
• Фурри-тред: https://2ch.hk/fur/res/374311.html
FAQ
https://2ch-ai.gitgud.site/wiki/nai
Установка
• NVidia: https://rentry.co/2ch_nai_guide
• AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd
• Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces
• Модели: https://2ch-ai.gitgud.site/wiki/nai/models
• Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts
• Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale
• LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora
• ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 510 постов, 174 с картинками.
Перекатись, а так же приложи настройки и результаты, мож так подскажут, а то экстрасенсов нет..
На основе чего данная модель? У меня встает пися. Вроде бы для sd1.5 слишком хорошо. SDXL?
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1159889 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1159814 (OP)
Пропущено 1518 постов, 163 с картинками.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1149538 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1157826 (OP)
Пропущено 1527 постов, 197 с картинками.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №122 /llama/
Аноним
13/04/25 Вск 03:04:05
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
• Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Moraliane и https://huggingface.co/Aleteian
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1142778 (OP)
>>1134362 (OP)
Пропущено 516 постов, 51 с картинками.
> советовался с гопотой на тему чипсета на ам4, по тз
Вот такого никогда нельзя делать. Нейронка не усваивает нормально эту информацию, все перепутает, но по обрывкам копипаст что попали в датасет сочинит правдоподобно выглядящий бред. Считай что тебе повезло.
> водянка-крута
Хорошая - действительно круто, просто клепают ужасный ширпотреб, который уступает башням.
> бери Асус Геймер Нагибатор Матьебатор Туф Пуф Защекуф вордофтанкс эдишон за цену жигуля. Пздц.
Абсолютный пиздец.
>>1159886
Спасибо за отзыв, значит лучше пока не обновляться на эти дрова.
Ну значит ремонтники хуи, у них стата искажена. А надо слушать 15 анончиков, каждый из которых красавец, миллионер и владелец 10 полностью рабочих 3090, во всяком случае на словах
ПЕРЕКАТ
>>1159889 (OP)
ПЕРЕКАТ
>>1159889 (OP)
ПЕРЕКАТ
>>1159889 (OP)
https://hailuoai.video
генерируем видосы из текста и картинок
суточный триал
Пропущено 94 постов, 65 с картинками.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1149538 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1155840 (OP)
Пропущено 1543 постов, 187 с картинками.
Так у тебя и так что-то там есть что описывает, нахуя ты ещё и это добавил-то, да ещё и СОННЕТУ блять, когда речь о гемини? Дай дураку стеклянный хуй...
Проектирование систем водоснабжения и водоотведения в нейросетях тред № 662 /aicg/
Аноним
15/04/25 Втр 20:54:46
№
Ответ
ИНЖЕНЕРЫ!!!! Прикрепляйте новые схемы к оп-посту!!!!
Общий вопросов по проектированию систем водоснабжения и водоотведения в нейросетях тред.
Новости
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
• Вышла Gemini 2.5 (gemini-2.5-pro-exp-03-25) - https://blog.google/technology/google-deepmind/gemini-model-thinking-updates-march-2025/
• Вышел новый снапшот DeepSeek V3 - https://huggingface.co/deepseek-ai/DeepSeek-V3-0324
Большие системы водоснабжения
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые системы водоснабжения
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели труб
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Чертежи
• Cозданные местными инженерами: https://rentry.org/jb-listing
• Созданные американскими инженерами:: https://rentry.org/2ch-aicg-jb
Полезности для сантехников
• Тредовский список: https://rentry.org/2ch-aicg-utils
Проектирование труб
• База данных проектов: https://characterhub.org | https://chub.ai/characters
• Инструкции по проектированию:: https://rentry.org/meta_botmaking_list
• Проекты, созданные местными инженерами: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Проекты, созданные американскими инженерами: https://rentry.org/meta_bot_list
Прочее
• СНиПы и ГОСТы: https://2ch-ai.gitgud.site/wiki/llama/
• Инструкции по монтажу трубы "КЛОД": https://rentry.org/how2claude
• Проверка соответствия СНиПам: https://github.com/kingbased/keychecker
• Индийские методики проектирования: https://character.ai/
Мета
• Реестр смонтированных систем: https://rentry.org/2ch-aicg-archives3
• Конкурсы лучших проектов: https://rentry.org/2chaicgthemedevents
• Заявки сантехникам: https://rentry.org/2ch-aicg-requests2
• Проектирование электроснабжения thread: >>1149538 (OP)
• Оформление смонтированных систем: https://rentry.org/shapka_aicg
Прошлый тред: >>1154115 (OP)
Пропущено 1526 постов, 172 с картинками.
чтож поделать альцгеймер часто бывает неизлечим да не я его создал не мне с ним теперь бороться всех не спасешь. вколи очередную дозу слопа и радуйся главное в жизни быть счастливым остальное неважно даже если счастье для тебя жрать говно
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
• Вышла Gemini 2.5 (gemini-2.5-pro-exp-03-25) - https://blog.google/technology/google-deepmind/gemini-model-thinking-updates-march-2025/
• Вышел новый снапшот DeepSeek V3 - https://huggingface.co/deepseek-ai/DeepSeek-V3-0324
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests
• Локальные языковые модели: >>1149538 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1152291 (OP)
Пропущено 1515 постов, 168 с картинками.
Ахаха, буквально вчера ночью перед сном вспоминал этот пост и хихикал, а потом уснул.
БОТОДЕЛЕССЫ!!!! Прикрепляйте новых ботесс к опше-комментарию!!!!
Общий вопросов по чат-ботессам и прочего тред.
Новости
• Grokinya 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
• Вышла Gemini chan 2.5 (gemini-2.5-pro-exp-03-25) - https://blog.google/technology/google-deepmind/gemini-model-thinking-updates-march-2025/
• Вышел новый снапшот DeepSeekersha V3 - https://huggingface.co/deepseek-ai/DeepSeek-V3-0324
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-мужло)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claudetta: https://docs.anthropic.com/en/docs
• GPT nyan: https://platform.openai.com/docs
• Gemini chan: https://ai.google.dev/gemini-api/docs
• Grokinya: https://docs.x.ai/docs
• DeepSeekersha: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботессоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Ботессы аноники: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские ботессы: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клодетте: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделессам: https://rentry.org/2ch-aicg-requests
• Локальные языковые модели: >>1149538 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1149993 (OP)
Пропущено 1513 постов, 185 с картинками.
мужло = молчать.
>>1154214
да мне то пох это констатация факта. думайте в каком треде менее зашкварно сидеть
Прошлый тред: >>1134083 (OP) https://arhivach.hk/thread/1159536/
Схожие тематические треды
• SD-тред (не аниме): >>1127030 (OP)
• Технотред: >>974163 (OP)
• Фурри-тред: https://2ch.hk/fur/res/374311.html
FAQ
https://2ch-ai.gitgud.site/wiki/nai
Установка
• NVidia: https://rentry.co/2ch_nai_guide
• AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd
• Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces
• Модели: https://2ch-ai.gitgud.site/wiki/nai/models
• Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts
• Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale
• LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora
• ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 507 постов, 161 с картинками.
До сс они не стали докапываться. У меня тоже старый работает, там видимо не успели зондов понаставить.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
• Вышла Gemini 2.5 (gemini-2.5-pro-exp-03-25) - https://blog.google/technology/google-deepmind/gemini-model-thinking-updates-march-2025/
• Вышел новый снапшот DeepSeek V3 - https://huggingface.co/deepseek-ai/DeepSeek-V3-0324
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests
• Локальные языковые модели: >>1149538 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1147739 (OP)
Пропущено 1524 постов, 186 с картинками.
Кто виноват что тебе не дают? (Кстати еблебот тебе тоже не даст, ии-тян тебя дропнет и сбежит к ерохе, вот так-то чмонь)
4.5 брос?...
Прошлые треды:
https://2ch.hk/ai/res/877586.html
https://2ch.hk/ai/res/973010.html
https://2ch.hk/ai/res/1014050.html
https://2ch.hk/ai/res/1027441.html
https://2ch.hk/ai/res/1039034.html
https://2ch.hk/ai/res/1050699.html
https://2ch.hk/ai/res/1064460.html
https://2ch.hk/ai/res/1085612.html
https://2ch.hk/ai/res/1106611.html
Пропущено 511 постов, 128 с картинками.
>Скептик-Нытик (посты #1149659, #1149329)
Обосрался твой АГИ, это два разных человека.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №121 /llama/
Аноним
10/04/25 Чтв 00:49:39
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
• Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Moraliane и https://huggingface.co/Aleteian
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1134362 (OP)
>>1127590 (OP)
Пропущено 505 постов, 83 с картинками.
Он всасывает все твои логи из всех чатов даже если ты пользовался только для одного
>>1149538 (OP)
ПЕРЕКАТ
>>1149538 (OP)
ПЕРЕКАТ
>>1149538 (OP)
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
•
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
• Вышла Gemini 2.5 (gemini-2.5-pro-exp-03-25) - https://blog.google/technology/google-deepmind/gemini-model-thinking-updates-march-2025/
• Вышел новый снапшот DeepSeek V3 - https://huggingface.co/deepseek-ai/DeepSeek-V3-0324
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests
• Локальные языковые модели: >>1142778 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1145654 (OP)
Пропущено 1597 постов, 155 с картинками.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
• Вышла Gemini 2.5 (gemini-2.5-pro-exp-03-25) - https://blog.google/technology/google-deepmind/gemini-model-thinking-updates-march-2025/
• Вышел новый снапшот DeepSeek V3 - https://huggingface.co/deepseek-ai/DeepSeek-V3-0324
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests
• Локальные языковые модели: >>1142778 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1143020 (OP)
Пропущено 1636 постов, 203 с картинками.
Я туповат и не понимаю что поменять в плане ризонера чтобы не протекали, добавлю регекс пока. Агент Б вроде писал что смог пофиксить.
обозначь в префиле что больше не будет лишних комментариев(не рекомендую) лучше перед мемо напиши сценарий остановлен для скрытой напоминалки, и после мемо пиши сценарий возобновили. если и так будет протекать то во первых у тебя куча лишней хуйни в пресете и сетка тупит, во вторых используй то что я написал про префил. должно помочь
Прошлый тред: >>1127622 (OP) https://arhivach.hk/thread/1155339/
Схожие тематические треды
• SD-тред (не аниме): >>1127030 (OP)
• Технотред: >>974163 (OP)
• Фурри-тред: https://2ch.hk/fur/res/374311.html
FAQ
https://2ch-ai.gitgud.site/wiki/nai
Установка
• NVidia: https://rentry.co/2ch_nai_guide
• AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd
• Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces
• Модели: https://2ch-ai.gitgud.site/wiki/nai/models
• Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts
• Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale
• LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora
• ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 512 постов, 219 с картинками.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышел Grok 3 и Grok 3 mini на апи https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
• Вышла Gemini 2.5 (gemini-2.5-pro-exp-03-25) - https://blog.google/technology/google-deepmind/gemini-model-thinking-updates-march-2025/
• Вышел новый снапшот DeepSeek V3 - https://huggingface.co/deepseek-ai/DeepSeek-V3-0324
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests
• Локальные языковые модели: >>1134362 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1140968 (OP)
Пропущено 1645 постов, 201 с картинками.
1) Задонатить $8 на crushonai и получить готовый к использованию Claude 3.7 с 16К контекстом
2) Запердолится с gemini-2.0-flash отправляя запросы напрямую через гугл апи, выключив все safetySettings. У него 1 миллион контекста.
Кто из них умнее и меньше зацензурирован?
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №120 /llama/
Аноним
06/04/25 Вск 19:30:33
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
• Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Moraliane и https://huggingface.co/Aleteian
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1127590 (OP)
>>1118220 (OP)
Пропущено 515 постов, 51 с картинками.
> просто чархаб у меня лично только под впном открывается(
Забавно. У меня по короткой ссылке не открывается вообще, по длинной - работает с большим скрипом, практически не загружая превью картинок. Мне вообще гораздо больше нравится https://character-tavern.com/
Почему-то у многих тематических сайтов совсем уродливый интерфейс.
>>1142778 (OP)
ПЕРЕКАТ
>>1142778 (OP)
ПЕРЕКАТ
>>1142778 (OP)
Что есть для управления временем в чате? Хочу, чтобы была например дата когда начинаются события и другие определенные даты были тригерами для других событий. При этом, чтобы были таймскипы, типо персонаж А попал в тюрьму, там пару дней идет сюжет и дальше таймскип пару лет, дальше сюжет, дальше таймскип и на свободу. Или гиблое дело надеяться что время не проебеться?
Нашел только такого бота https://www.characterhub.org/characters/Ayrtony/timey-the-clock-bot-b13e731c9070
Cоседи
► Аниме-тред >>1117798 (OP) ► Техно-тред >>1118663 (OP)
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/ (откуда, куда, как. Начинать со страницы SDXL)
→ Менеджер расширений https://github.com/ltdrdata/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/ (собрано со всего инета)
Промт должен быть кратким для SDXL и поэма длинная для Flux и SD3.5, негативы обычно вредны.
ЧТО НОВОГО АКТУАЛЬНОГО ЗА ГОД
• SDXL модели: Natvis Natural Vision v1.0, BigASP v1.0, Illustious (cyberillustrious/thrillustrious), NoobAI (noobReal). Все 4 NSFW;
• SD3.5 medium и large;
• Flux dev и schnell;
• Auraflow. Станет Pony Diffusion v7;
• ComfyUI + Krita = Krita-ai-diffusion;
• DARE Merge;
• Лора DMD2 для SDXL ускоряет в 2 раза. Пример: 10 шагов, семплер LCM, шедулер beta, 832x1216,
CFG 1-1.2 для обычных SDXL https://huggingface.co/tianweiy/DMD2/blob/main/dmd2_sdxl_4step_lora_fp16.safetensors,
CFG 3 для NoobAI https://huggingface.co/YOB-AI/DMD2MOD/blob/main/LYC-DMD2MOD%20(Dmo%2BTffnoi).safetensors,
Оффлайн модели для картинок: Stable Diffusion, Flux, OmniGen (Shitao), Auraflow, HunyuanDiT, Lumina, Kolors, Deepseek Janus-Pro, Sana
Оффлайн модели для анимаций: HunyuanVideo, Lightrics (LTXV), Wan-Video, Mochi, Nvidia Cosmos, PyramidFlow, CogVideo, AnimationDIFF, Stable Video Diffusion
Приложения: ComfyUI, Fooocus, webui-reForge, Stability matrix, webui-Forge (мёртв), webui от A1111 (мёртв)
► Предыдущий тред >>1106098 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 561 постов, 185 с картинками.
А знаете какая одна из самых больших проблем современного МЛ в плане концепции, а именно архитектуры
Аноним
03/04/25 Чтв 01:57:28
№
Ответ
Но ведь давным давно уже в кодинге придумали микросервисы. И вместо того чтобы end-to-end обучать гигантский монолит, можно же просто выделить большой сет микро-тасок и стандартных вентилей (как мультиплексоры, сумматоры, счетчики в схемотехнике). И под каждую такую микро-таску обучить мини-нейросеть. В контексте NLP такой микротаской может быть, разделение слова на морфемы, определение части речи, определение роли слова такой-то части речи в предложении и так далее... Также можно придумать стандартный набор каких-то стандартных гейтов с определенными задачами, например, гейт суммаризации (из длинного набора абстрактных токенов получить более короткий набор токенов, суммаризирующих вход), гейт сопоставления (на вход идут разные последовательности токенов, на выходе идуи некий веса 0...1, которык показывает некую величину комплиментарности между парами входных последовательностей), гейт обобщения (из какого-то n входных последовательностей токенов, получется одна новая последовательность токенов, которая описывает общее между входными последовательностями) и другие подобные, которые могут потенциально переиспользоваться в разных узлах одной системы или даже в других системах из той же области. Далее мы итеративно собираем эти блоки в более крупные и опционально мы можем файнтюнить (файтюн можно производить обучением некоей модели оркестратора, например, или обучением моделей которые вычисляют дельты к выходам субмоделей в схеме) их на более сложные и комбинированные задачи, которые как бы совмещают все подзадачи входящих в него блоков. И так мы инкрементально поднимаемся от мелких и узких задач к более абстрактным и масштабным.
Можно использовать даже какие-то unsupervised методы для выделения оптимальных подзадач и блоков, например создать эдакую модификацию метода конечных элементов для машин лернинга, где мы разбиваем пространство выходных параметров на какие-то подпространства по некому стандартному алгоритму оптимального разбиения, и для каждого подпространства обучаем свою отдельную апроксимирующую функцию.
И потенциально подобный "микросервисный подход" в ИИ системах может убить аж трех зайцев:
1) и обобщающая способность моделей повысится, что значит более эффективное решение менее стандартных задач, которые изначально широко в лерне не были представлены и требуют большего числа логических шагов
2) и проблема интерпретируемости решена, проблемый узел теперь возможно отследить и пофиксить
3) и во много раз расширяется поддерживаемость и масштабируемость системы, теперь для улучшения возможно не надо перетренивать всю модель целиком, а лишь перетренить, заменить, добавить какие-то ее отдельные блоки, не трогая все остальное.
Да, это ведет к большому росту системной сложности, само выделение "микросервисов" будет огромной нетривальной архитектурной и инженерной задачей. Но в то же время такой подход потенциально может дать существенный качественный толчок в ИИ системах.
Пропущено 10 постов, 1 с картинками.
Но как я уже сказал, это все еще не означает, что закидывание компутом - единственный и безальтернативный путь.
>>1131495
Ну это называетcя красивой аббревиатурой MoE. И это к слову не ново для дик пика. Внезапно, но 4o-mini тоже на самом деле MoE. Но там все равно эксперты и взвешиватель пропагейтятся вместе одним монолитом, разделение экспертов разрешается все тем же накидыванием компьюта.
А ничего что закон Мура к концу уже несколько лет как подошел? А этот старпер все рассуждает, будто в 90х застрял, и скоро ему новые пентиумы подвезут, можно надеяться дальше что новые чипы все порешают.
>Но как я уже сказал, это все еще не означает, что закидывание компутом - единственный и безальтернативный путь.
Единственно доказано рабочий на данный момент.
>>1140309
>А ничего что закон Мура к концу уже несколько лет как подошел?
Ваще похую. И да, выебоны с ростом размера чипа/квантизацией/ростом числа чипов в стойках пока ещё работают. А жор датацентров в 5 гигаватт это мелкие побочные эффекты.