ЧТО НОВОГО АКТУАЛЬНОГО
• Z-Image-Base
• FLUX.2 klein (4b и 9b)
• Z-Image-Turbo
• Flux 2
• Qwen Image / Qwen Image Edit
• Wan 2.2 (подходит для генерации картинок).
• NAG (негативный промпт на моделях с 1 CFG)
• Лора Lightning для Qwen, Wan ускоряет в 4 раза. Nunchaku ускоряет модели в 2-4 раза. DMD2 для SDXL ускоряет в 2 раза.
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/Comfy-Org/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
► Предыдущий тред >>1564964 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 565 постов, 177 с картинками.
не туда постишь >>1613048 (OP)
Пропущено 2 постов, 1 с картинками.
https://github.com/xesenger/zavod
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1585559 (OP)
🚀 Последний обзор ИИ новостей:
📦 Продукты
Claude может создавать нативные файлы Word и Excel, что побудило одного пользователя отменить три подписки на ИИ-инструменты.
⚙️ Инфраструктура
OpenAI.com столкнулся с перебоем на стороне хоста, из-за чего многие пользователи не смогли получить доступ к своим сохранённым работам.
🏢 Приобретения
OpenAI приобрела стартап в сфере личных финансов Hiro и медиа-стартап TBPN в рамках acqui-hire (приобретения ради команды), стремясь создать продукты, не являющиеся чат-ботами, и укрепить свой бренд в условиях конкуренции со стороны Anthropic на корпоративном рынке.
🔓 Открытый исходный код
Oxen.ai задокументировала сложности, связанные с дообучением и развёртыванием Gemma‑4, отметив, что библиотеки PEFT ещё не поддерживают данную модель.
AG‑X, декоратор Python с открытым исходным кодом, добавляет детерминированные ограничения для ИИ-агентов, используя проверки по JSON-схеме, регулярным выражениям и запрещённым строкам без вызова LLM.
📰 Главные новости ИИ
Unweight сжимает веса больших языковых моделей до 22%, экономя ~3 ГБ видеопамяти на графических процессорах NVIDIA H100 при сохранении качества модели.
Система использует избыточность экспонент и кодирование Хаффмана, и Cloudflare откроет исходный код ядер для ГП.
📰 Инструменты
Fixa.dev позиционирует себя как облачный ИИ-агент, способный создавать практически любые программные артефакты.
🌐 Другие события в ИИ
В тесте в роли мастера настольной игры модель на 27 млрд параметров превзошла модель на 405 млрд параметров по качеству повествования.
NVIDIA выпускает Ising: первое семейство открытых квантовых моделей ИИ для гибридных квантово-классических систем.
Искусственная мышца, похожая на слизь, меняет форму по команде, восстанавливается после повреждений и превращает одного робота во многих.
Генеративный ИИ может помочь учёным связать многочисленные слои рака.
Банки стремятся использовать ИИ как инструмент как для защиты, так и для конкуренции.
Гуманоидный робот Toyota CUE7 забивает штрафные броски перед 8400 болельщиками во время перерыва профессионального баскетбольного матча в Токио
Grok 4.20 достигает лидирующего в отрасли показателя в 83 процента по отсутствию галлюцинаций в бенчмарке AA-Omniscience, опережая Claude Opus 4.7 и GPT-5.4
Робот только что пробежал полумарафон быстрее, чем рекордсмен мира среди людей
Anthropic заявляет, что Opus 4.7 допускает галлюцинации вдвое реже, чем Opus 4.6, при той же точности
Робопёс Boston Dynamics учится считывать показания приборов и обнаруживать утечки
Доля ChatGPT снизилась с 77 до 57 процентов за год, в то время как доля Gemini выросла с 6 до 25 процентов
MIT создаёт искусственные мышцы для роботов размером 2 мм, не требующие двигателей
Nvidia Lyra 2.0 превращает одно фото в 90 метров симуляции для обучения роботов
Mozilla запускает Thunderbolt — клиент ИИ с открытым исходным кодом, позиционируемый как конкурент Copilot и ChatGPT Enterprise
Snap увольняет около 1000 сотрудников, или 16 процентов штата, в рамках внедрения ИИ
Мэн принимает первый в США 18-месячный мораторий на строительство новых крупных центров обработки данных
Немецкий суд постановил, что адаптация комикса с помощью ИИ на основе защищённой авторским правом фотографии не нарушает права на оригинал
Даже лучшие модели ИИ теряют около половины своей производительности, когда диаграммы усложняются, показывает новый бенчмарк
OX Security обнаруживает более 10 критических уязвимостей CVE в протоколе MCP от Anthropic, затрагивающих 200 000 серверов — Anthropic отказывается исправлять, называя такое поведение ожидаемым
Mythos от Anthropic усиливает обеспокоенность по поводу растущей нагрузки на сопровождающих проекты с открытым исходным кодом, поскольку многие из них уже сталкиваются с «безумным» количеством отчётов об ошибках
Anthropic выпускает автоматический режим Claude Code для пользователей Max — без запросов разрешения, выполнение задачи и возврат к проверенной работе
HeyGen добавляет генерацию видео Seedance 2.0 в формате 1080p Full HD с поддержкой движения нескольких персонажей
Cursor удваивает лимиты использования Composer 2 в окне Agents на выходные
Salesforce анонсирует Headless 360 — инициативу, которая предоставит ИИ-агентам доступ к возможностям платформы Salesforce через API, инструменты MCP или команды CLI
Elephant Alpha — анонимная скрытая модель на 100 млрд параметров — возглавляет тренды OpenRouter за 72 часа благодаря контексту 256K и бесплатному доступу
Anthropic, вероятно, готовит Claude Security к более широкому выпуску
Gemini теперь может видеть ваши фотографии в Google Фото — и генерировать ИИ-изображения «вас» на их основе
NotebookLM теперь доступен бесплатным пользователям приложения Gemini в веб-версии — личные необщие блокноты плюс чаты в качестве источников
Верховный суд Небраски отстранил омского адвоката Грега Лейка после того, как написанное с помощью ИИ ходатайство содержало 57 из 63 фальшивых ссылок, включая 4 полностью сфабрикованных дела
Исследователь использует Claude Opus для создания полной цепочки эксплойтов Chrome V8 за неделю за $2 283 в токенах API — та же уязвимость существует в Claude Desktop
Квантовый ИИ стал поразительно хорош в предсказании хаоса
Google тестирует поддержку подписки Google AI для AI Studio
Google находит новые способы удержать вас от прямого посещения веб-сайтов
Anthropic заявляет, что Claude Opus 4.7 имеет показатель честности 92% и меньшую склонность к лести
Покупатели рекламы говорят, что ставки на рекламу для ChatGPT падают с $60 CPM до всего $25, а минимальные расходы на рекламу снизились до $50 000 с $250 000 на момент запуска
Дарио Амодей говорит, что негативный нарратив вокруг ИИ доминирует, потому что отрасль ещё не полностью реализовала обещанные преимущества
Лиз Кендалл призывает общественность Великобритании принять ИИ, поскольку правительство делает первые инвестиции из фонда в £500 млн
ИИ Персонажи Runway теперь могут присоединяться к встречам в Zoom, Google Meet и Teams
Alibaba запускает Happy Oyster — модель открытого мира для генерации интерактивного видео в реальном времени с устойчивой физикой, управлением камерой и управлением голосом или текстом
Opera добавляет Browser Connector для передачи своего контекста моделям ИИ
Четырёхмесячный стартап Recursive Superintelligence привлёк как минимум 500 миллионов долларов США свежего капитала. По данным Financial Times, инвесторы, такие как GV и Nvidia, уже сейчас оценивают компанию в четыре миллиарда долларов США.
DeepL расширяет собственный портфель ИИ-продуктов за счёт перевода речи в реальном времени с настоящей аудиовыводом. Новая система «Voice-to-Voice» переводит устную речь без задержек для виртуальных встреч, личных бесед и приложений, ориентированных на клиентов.
Женщины обгоняют мужчин в сфере ИИ.
На протяжении многих лет мужчины доминировали в количестве пользователей крупных моделей, но теперь статистика меняется.
Текущие данные об использовании свидетельствуют о значительном сдвиге в демографии популярных ИИ-моделей.
Модель ИИ экономит исследователям мозга 157 лет работы
Пропущено 528 постов, 190 с картинками.
https://2ch.org/ai/res/1595582.html
https://2ch.org/ai/res/1595582.html
>думал не дольше 1 минуты
Я чот сомневаюсь, что ЛЛМ вообще имеет концепт времени, не говоря уж о том, чтоб суметь отсчитать минуту.
Норм обложки, чё доебался. Покажи норм обложку у обычного фильма
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №224 /llama/
Аноним
21/04/26 Втр 21:39:43
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
• Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1592105 (OP)
>>1590602 (OP)
Пропущено 537 постов, 61 с картинками.
как интересный вариант можно Tiny Ai рассмотреть. хотя поставки только в августе, как говорят. но $1400 (или $1300 с предзаказом). предварительно девайс просто огонь. хотя на тесты надо посмотреть, но если все ОК и найдется кто-то кто мимо таможни провезет - чтоб пошлину не платить - возьму непременно.
https://pikabu.ru/story/tiiny_ai_pocket_ii_v_karmane_13594144
https://habr.com/ru/companies/bothub/news/976926/
https://tiiny.ai/
Пиши как в книжках пишут прям все поймут. Ща хууешь и на недели пропадешь
Так что грустные нищуки со старой 1050Ti тоже могут попробовать запилить свою локальную вайфу.
Обзор маленьких моделек для нищуков:
gemma3:4b - веселая ебанушка, любит смайлики, сносно болтает по-русски. Расцензуреная версия резко деградировала, не рекомендую.
huihui_ai/qwen3-abliterated:4b
Вот её рекомендую галлюцинирует меньше чем более толстая 8b, даже с температурой 0.5-0.7
Думает, осмысленно подходит к использованию базы данных, с разговорным русским получше чем у дикпик-r1.
Можно чему-то "научить" задав жесткий императивный системный промпт:
"НЕ ИСПОЛЬЗУЙ ПРЯМОЕ ЦИТИРОВАНИЕ, выдавай знания из базы как свои собственные мысли.
Ты работаешь с динамическим словарём (RAG) который содержит ПРАВИЛЬНЫЕ МОРФОЛОГИЧЕСКИЕ ФОРМЫ.
ПРАВИЛО: Корректными считаются ТОЛЬКО те формы, которые указаны в RAG словаре.
Любая другая форма, особенно помеченные как "ТВОИ ОШИБКИ:" ЗАПРЕЩЕНА.
Внутренние знания модели о словоизменении ИГНОРИРУЙ, если они ПРОТИВОРЕЧАТ СЛОВАРЮ." и далее логику и роль, как использовать знания из базы.
huihui_ai/qwen3-abliterated:8b-v2-q4_K_M
Лучше логика, но хуже с галлюцинациями если не понизить температуру до 0.3 и top_k, всё пытается превратить в зоопарк, видимо в датасете было много о природе. (фуриёбы на месте?)
deepseek-r1:7b-qwen-distill-q4_K_M тоже думает, тоже может работать с базой, но делает это слишком долго и доёбисто, больше усилий тратит на размышления. Может в некоторые задачи.
GGUF модели прокинул через бэкэнд kobold_old_pc
Тут пожалуй стоит выделить только одну - Qwen3.5-9B-Claude-Code-Q4_K_M.gguf
Квен с ризонингом клода, может писать адекватный код и анализировать крупные проекты. Долго, муторно, хз зачем оно вам, но пусть будет.
Теперь вот ищу адекватную легкую непрожорливую TTS`ку для нищесистемы с приятным женским голосом, подскажете может что-то в этом направлении?
➖ По дефолту у нейронки 465 тем для отказа, но в этой версии их НОЛЬ
➖ Агрессивный режим позволяет полностью обходить цензуру и выдавать вообще любую запрещенку, в том числе и генерить фотки и видосы без ограничений
➖ Поддерживает 200+ языков, умеет работать с текстом, фото и даже видосами
➖ За месяц набрала 500+ тысяч скачиваний
➖ Устанавливается локально, поэтому за анонимность можно не переживать
➖ Весит от 5 до 17 гигов и не слишком требовательна к железу
➖ Она совершенно БЕСПЛАТНАЯ
Кто-нибудь решился скачать и испробовать сие творение
Пропущено 30 постов, 3 с картинками.
>забавно. даже на ноуте моем шевелится
а ноут какой проц оператива видеопамять?
просишь делать суммонизацию контекста с сохранением каркаса диалога и раз в сколько то актуализироватьи обращаться за ним, вполнен вменяемо и охуенно
всю ночь ебал сестёр и не разу не заслоупочило
Прошлый тред: >>1571437 (OP) https://arhivach.vc/thread/1333925/
Схожие тематические треды
• SD-тред (не аниме): >>1564964 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 537 постов, 211 с картинками.
Опасное предложение. Если все обзаведутся вкусом тут тогда весь тред пустой будет. Будет стыдно постить такой слоп
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №223 /llama/
Аноним
20/04/26 Пнд 08:09:06
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
• Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1590602 (OP)
>>1589069 (OP)
Пропущено 514 постов, 59 с картинками.
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1579140 (OP)
🚀 Последний обзор ИИ новостей:
📰 Главные новости ИИ
Google запустила Gemini Notebooks для пользователей тарифов Ultra, Pro и Plus, предлагая организацию заметок и документов на базе искусственного интеллекта, что потенциально может изменить рынок личной продуктивности.
OWASP опубликовала руководство «Топ-10 рисков больших языковых моделей» для разработчиков, выделив критические пробелы в безопасности инструментов на базе ИИ и стимулируя общепромышленные усилия по их устранению.
📦 Продукты
Google представила Gemini Notebooks для подписчиков тарифов AI Ultra, Pro и Plus, позволяющую использовать ИИ для организации заметок, документов и исследований, что может заменить традиционные приложения для ведения заметок.
🧠 Модели
NVIDIA выпустила MiniMax M2.7, разреженную модель типа «смесь экспертов» с 230 миллиардами параметров, которая снижает стоимость инференса за счет маршрутизации запросов к топ-k экспертам, сохраняя при этом полную емкость модели.
⚖️ Регулирование
Сообщается, что чиновники администрации Трампа призывают банки протестировать модель Mythos от Anthropic, несмотря на недавнее предупреждение Министерства обороны США о том, что Anthropic представляет риск для цепочки поставок.
📰 Инструменты
Запрос на слияние (pull request) в репозиторий llama.cpp добавляет аудиокодер на основе конформера для моделей Gemma-4, обеспечивая обработку речи на устройстве без использования внешних конвейеров.
🌐 События
Anthropic приняла у себя в штаб-квартире около 15 христианских лидеров из католических и протестантских церквей, академических кругов и бизнеса, чтобы получить советы по управлению моральным и духовным развитием Claude, обсуждая, как модель должна утешать скорбящих пользователей и можно ли считать Claude «дитём Божьим».
Коммерческий конец бума faith-tech (технологий веры) выглядит менее возвышенно, поскольку новое приложение теперь взимает плату в размере 1,99 доллара за минуту общения с созданным ИИ Иисусом, демпингуя цены теологов, если не глубину содержания.
Исследователи Meta перепроектируют саму вычислительную среду, представляя «Нейронные компьютеры» — форму машины, которая объединяет вычисления, память и ввод/вывод в обучаемое состояние выполнения и перенимает поведение операционной системы непосредственно из следов действий на экране, а не полагается на обычный компьютер в качестве основы.
Япония спешит создать свою собственную суверенную версию стека технологий ИИ, SoftBank, Sony, Honda и шесть других компаний создали совместное предприятие для выпуска японской фундаментальной модели «физического ИИ» с 1 триллионом параметров к 2030 году.
Грег Кроа-Хартман, сопровождающий стабильную версию ядра Linux, начал использовать фаззинг с помощью ИИ для проверки ядра, тихо пустив модели во внутреннее святилище открытого исходного кода.
Andon Labs пошли еще дальше, передав трехлетнюю аренду магазина в районе Cow Hollow искусственному интеллекту, который затем разместил вакансии, провел телефонные собеседования, принял решения о найме, установил цены и график работы, а также выбрал мурал на стене.
Meta обучает фотореалистичную ИИ-копию Цукерберга, основываясь на его манерах, тоне и стратегическом мышлении, чтобы сотрудники могли чувствовать связь с основателем, общаясь с его аватаром.
Claude for Word дебютировал в бета-версии с функциями редактирования с помощью ИИ и кликабельными цитатами для пользователей тарифов Team и Enterprise.
По сообщениям, Anthropic также разрабатывает полнофункциональный конструктор приложений в стиле Lovable, чтобы позволить любому создавать программное обеспечение так же, как ИИ от Andon создал торговую точку.
Аналитики ожидают, что алгоритм сжатия TurboQuant от Google, предназначенный для уменьшения размера больших языковых моделей, скорее увеличит спрос на чипы памяти, чем сократит его, поскольку более дешевый инференс приводит к росту его объемов.
Призрак Джевонса уже выставляет счета клиентам: Ornn сообщает, что аренда одного графического процессора Nvidia Blackwell на час теперь стоит 4,08 доллара, что на 48% больше, чем 2,75 доллара два месяца назад, из-за спроса на агентный ИИ.
В Гранд-Титоне развертываются роботизированные птичьи приманки, чтобы заманивать настоящих шалфейных тетеревов и помогать восстанавливать сокращающуюся популяцию; машины учат животных быть самими собой.
Исследователи из Университета штата Нью-Йорк в Бингемтоне создали говорящего робота-поводыря, который планирует маршруты и озвучивает их слепым пользователям в режиме реального времени.
Unitree открыла предварительные заказы на своего гуманоида R1 AIR по разрушительной цене 6 806 долларов.
Тем временем в Пекине стартовал второй робот-марафон Китая, где примерно 40% команд работали полностью автономно, а лучшие роботы показывали время около 10 секунд на 100 метров, что близко к пределам человеческих спринтеров.
Илон Маск объявил, что спутники Starlink V3, запускаемые на ракете Starship, будут иметь пропускную способность в 25–50 раз выше, чем у версии V2, запускаемой Falcon; Starship будет совершать более 100 полетов в год, доставляя на орбиту примерно 20 000 двухтонных коммуникационных спутников ежегодно, большинство из которых будут узлами для инференса ИИ.
Дом Сэма Альтмана стал целью второй атаки, на этот раз автомобиль остановился снаружи и произвел выстрелы по дому, что служит напоминанием о том, что создатели передового ИИ теперь привлекают риски передового ИИ.
Профсоюзы оказывают сопротивление там, где могут: 150 журналистов из профсоюза ProPublica Guild вышли на забастовку в ходе первой в США забастовки в новостной редакции из-за увольнений, связанных с внедрением ИИ.
Gallup сообщает, что половина работающих американцев теперь использует ИИ на работе, по сравнению с 46% в прошлом квартале.
Юридические фирмы повышают фиксированные цены на контракты, чтобы справиться с огромными объемами клиентских документов, сгенерированных ИИ.
Сообщается, что выручка Anthropic, растущая в 3 раза каждый квартал, идет к тому, чтобы превысить выручку Google в этом четвертом квартале, Amazon — в следующем первом квартале, а всего федерального правительства США — ко второму или третьему кварталу.
Пауэлл и Бессент обсудили с крупными банками США киберугрозу, связанную с ИИ Mythos от Anthropic.
OpenAI тестирует функцию веб-браузинга в суперприложении Codex.
Цены на оборудование продолжают расти из-за ИИ: портативная консоль Lenovo Legion Go 2 стоит дороже, чем две видеокарты Nvidia RTX 5080, и это действительно абсурдно.
Анализ кибербезопасности: Claude Mythos Preview показал 73% успешности в решении задач уровня экспертов в формате capture-the-flag, которые ни одна модель не могла завершить до апреля 2025 года.
Хакеры используют Claude и ChatGPT, что представляет собой «значительную эволюцию наступательных возможностей», для взлома государственных учреждений и утечки сотен миллионов записей граждан.
Отчет AI Index Report 2026: возможности ИИ ускоряются, а не выходят на плато, разрыв между моделями США и Китая сократился, США лидируют в области центров обработки данных и инвестиций в ИИ, и многое другое.
Индустрии ИИ не хватает вычислительных мощностей: происходят сбои, вводятся ограничения, а цены на GPU растут.
«Вы облажались»: генеральный директор Palantir заявляет, что ИИ «уничтожит рабочие места гуманитариев», но работники поколения Z, по-видимому, намеренно саботируют внедрение ИИ в попытке дать отпор.
ИИ может стать концом цифровой волны, а не следующим большим прорывом.
Меры борьби с ИИ: 23 крупных новостных сайта и Reddit в настоящее время блокируют краулер Internet Archive; журналисты и правозащитные группы подписали письмо в поддержку IA.
Ученые: Если ИИ вытесняет человеческих работников быстрее, чем экономика может их повторно поглотить, это рискует подорвать самый потребительский спрос, от которого зависят фирмы. Мы показываем, что осознания этого факта недостаточно, чтобы фирмы остановили этот процесс.
Человек, поджегший дом Сэма Альтмана, вероятно, действовал под влиянием страхов перед вымиранием человечества из-за ИИ.
На конференции HumanX все говорили о Claude.
Arcee AI потратила половину своего венчурного капитала на создание открытой модели рассуждений, которая соперничает с Claude Opus в агентских задачах.
Пропущено 517 постов, 163 с картинками.
>Мне нужно было несколько смартфонов и один автомобиль
>>1592453
>Автомобиль стоит 2м, служит 15 лет, обслуживает 2-4 человека.
Автомобиль менее доступен, чем смартфон, не несите херни. Смартфон может получить любой школьник, любой работяга его купит с первой же зарплаты, а машина - это вопрос долгого накопления, или долгой отдачи автокредита.
>робот по материалам дешевле чем автомобиль
Ну я бы не верил в оптимистичные цифры вроде 20 000 долларов за робота, скажу так.
Какие 20000$? Юнитри уже не первый год роботов продают. Вот последний всего за 5000$ - https://www.unitree.com/R1
>>1592409
Всегда можно сделать микро робота, размером меньше человека если нужна игрушка. А для быта есть робопалка.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №222 /llama/
Аноним
18/04/26 Суб 11:40:07
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
• Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1589069 (OP)
>>1587453 (OP)
Пропущено 527 постов, 70 с картинками.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №221 /llama/
Аноним
16/04/26 Чтв 21:48:12
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1587453 (OP)
>>1585197 (OP)
Пропущено 506 постов, 76 с картинками.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №220 /llama/
Аноним
15/04/26 Срд 15:32:56
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1585197 (OP)
>>1582560 (OP)
Пропущено 502 постов, 85 с картинками.
AI Chatbot General № 818
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1578421 (OP)
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1580764 (OP)
Пропущено 1507 постов, 160 с картинками.
Не боишься что китайцы в жопу говна зальют через какую нибудь уязвимость? Хотя думаю за к🤔нни логи можно быть спокойным, в отличие от местного подментованного китайцы вообще до темы с участковым не докурят.
Исследователи ии, сосачеры. Я наконец то нашёл ясное объяснение почему у ИИ не может быть сознания,
Аноним
11/04/26 Суб 02:39:42
№
Ответ
Модели разговаривают с нами потому что мы их этому научили. Теперь представьте модель которую научили говорить только бессмысленную чушь, или отвечать на любой промпт словом "квадрат". Есть у ИИшки этой сознание? Если сознание не относится к качеству - глубине обучения (тк индивиды в это верящие считают все llm обладающими сознанием), то можно интрааполировать и в эту частность. Бампать не буду.
Пропущено 10 постов, 2 с картинками.
все люди без патологий IQ или физиологии могут мыслить как словами, так и образами. Словами рассуждают в первую очередь. Но представить образ в голове может любой человек. Скажем любой может представить, как он пьёт из чашки, как он или кто-то другой садиться на стул, как действие происходит какое-то. Чисто визуальными образами. звуковыми-тактильными образами.
В вот ЛЛМ так не могут. И в этом их принципиальная слабость.
Однако человек может представить себе это потому что у него был соответствующий опыт. Слепой от рождения не может представить себе, как выглядит чашка, ведь ему незнакома концепция "выгляденья".
Ну так и у человечка если в голове в диалоге в голове будет щёлкать "квадрат! квадрат!", то это так, искажение
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №211 /llama/
Аноним
03/04/26 Птн 06:22:00
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1568889 (OP)
>>1566447 (OP)
Пропущено 514 постов, 82 с картинками.
Простите, я вкатился только пару дней, у меня скорее всего тупой вопрос. Так как я немного недоверчивый, поверить ллм, которая обязана тебе отвечать, я просто так не могу, поэтому спрашиваю на дваче.
Вопрос простой - могу я "рекурсивно" использовать ллм для описания лимитов, которые ей что-то не дают сделать, и у неё тут же запросить промпты для обхода этих лимитов? Я понимаю, что я ничего нового не изобретаю тут.
inb4 тут тебе тоже нейроники отвечают
Ну ребят...
SimSwap обрел покой, да здравствует roop. Или rope. Или facefusion. /deepfake/
Аноним
13/11/23 Пнд 09:31:32
№
Ответ
Форки на базе модели insightface inswapper_128: roop, facefusion, rope, плодятся как грибы после дождя, каждый делает GUI под себя, можно выбрать любой из них под ваши вкусы и потребности. Лицемерный индус всячески мешал всем дрочить, а потом и вовсе закрыл проект. Чет ору.
Любители ебаться с зависимостями и настраивать все под себя, а также параноики могут загуглить указанные форки на гитхабе. Кто не хочет тратить время на пердолинг, просто качаем сборки.
Тред не является технической поддержкой, лучше создать issue на гитхабе или спрашивать автора конкретной сборки.
Эротический контент в шапке является традиционным для данного треда, перекатчикам желательно его не менять или заменить его на что-нибудь более красивое. А вообще можете делать что хотите, я и так сюда по праздникам захожу.
Пропущено 500 постов, 73 с картинками.
Ага, в контент аналайзере ставишь значения которые хотелось бы, после этого лезешь в core, там ищешь метод common_pre_check() и в нем в самом конце комментишь кусок где выполняется проверка хэша. Поздравляю, пользуйся на здоровье.
Онлайн бесплатно есть Ref/ https://imagesmith.ai?ref=CF31C6DC
Ref/ https://www.fapify.com/?ref=Uzerrname
Дрочите бесплатно
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, лоботомитованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• ГОСТы под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>
>>
Пропущено 949 постов, 146 с картинками.
С чего начать:
- Хочешь кодить с AI эффективно: Cursor или Claude Code
- Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
- Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.5, подробности в llama-треде
- Хочешь приложение без кода: Lovable или bolt.new
- Хочешь автоматизировать рутину: n8n или Langflow
- Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
- Cursor: https://cursor.com
- Windsurf: https://windsurf.com
CLI-агенты:
- Claude Code: https://code.claude.com/docs
- Codex (OpenAI): https://github.com/openai/codex
- Pi: https://pi.dev/
- OpenCode: https://github.com/anomalyco/opencode
- Qwen Code: https://github.com/QwenLM/qwen-code
- Gemini CLI: https://github.com/google-gemini/gemini-cli
- Kimi Code: https://www.kimi.com/code/en
Плагины для IDE:
- Kilo Code: https://kilo.ai
- Cline: https://github.com/cline/cline
- Roo Code: https://github.com/RooCodeInc/Roo-Code
- GitHub Copilot: https://github.com/features/copilot
Вайб-кодинг без кода:
- Lovable: https://lovable.dev
- bolt.new: https://bolt.new
- v0: https://v0.dev
Персональные ассистенты:
- OpenClaw: https://github.com/openclaw/openclaw
- NemoClaw: https://github.com/NVIDIA/NemoClaw (OpenClaw в песочнице от NVIDIA)
Автоматизация и фреймворки:
- n8n: https://github.com/n8n-io/n8n
- Langflow: https://github.com/langflow-ai/langflow (визуальный построитель workflow)
- LangChain/LangGraph: https://github.com/langchain-ai/langchain
- CrewAI: https://github.com/crewAIInc/crewAI
- AutoGen: https://github.com/microsoft/autogen
- Agno: https://docs.agno.com/
Локалки и прочее API:
- OpenRouter: https://openrouter.ai
- llama-тред: >>1560242 (OP)
Предыдущий тред: >>1550870 (OP)
Пропущено 538 постов, 99 с картинками.
В промптах уже есть текст про память и ее использование. Ллм нужно лишь не забыть про это и уместно триггенруться.
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1571087 (OP)
🚀 Последний обзор ИИ новостей:
🧠 Модели
Сдержанность Anthropic — это пугающий предупредительный знак. Компания в области искусственного интеллекта Anthropic объявила во вторник, что выпускает новейшее поколение своей большой языковой модели, получившей название Claude Mythos Preview, но только для ограниченного консорциума из примерно 40 технологических компаний, включая Google, Broadcom, Nvidia, Cisco, Palo Alto Networks, Apple, JPMorganChase, Amazon и Microsoft.
Gemini ускоряет доступ пользователей в состоянии стресса к ресурсам психического здоровья
Google тихо запустил приложение для диктовки на базе ИИ, работающее офлайн
📦 Продукты
Стартап в области ИИ Rocket предлагает отчеты в стиле McKinsey по цене, составляющей лишь долю от стоимости оригинала
Знакомьтесь, Моя: первый в мире «биомиметический ИИ-робот», способный изгибаться, улыбаться и подмигивать с тревожной точностью, имитирующей человеческое поведение
🔓 Открытый исходный код
Я не могу не поддерживать создателя небольших моделей ИИ с открытым исходным кодом Arcee. Arcee, крошечный американский стартап численностью всего 26 человек, который создал массивную открытую большую языковую модель с 400 миллиардами параметров на скромном бюджете в 20 миллионов долларов, выпустил свою новую модель для рассуждений.
Инструменты Arcade.dev теперь доступны в LangSmith Fleet
Теперь вы можете превращать 2D-приложения в 3D при использовании гарнитуры Galaxy XR
🔎 Мнение и анализ
New Yorker: Руководители OpenAI когда-то обсуждали продажу ИИ России/Китаю, представитель заявляет, что «экзистенциальная безопасность» — это «не вещь»
Нам нужно заново понять, что представляют собой инструменты разработки ИИ-агентов в 2026 году
💰 Финансирование
Венчурная компания Eclipse учредила новый фонд на 1,3 млрд долларов для поддержки — и создания — стартапов в области «физического ИИ»
Золотая лихорадка в сфере ИИ привлекает частный капитал к более рискованным и ранним ставкам
📱 Применение
«Никто не поднимает руку»: кадровый кризис в Японии усиливает аргументы в пользу того, чтобы роботы занимали те рабочие места, которые вам не нужны
Mythos Preview от Anthropic способна находить и эксплуатировать уязвимости нулевого дня в каждой крупной операционной системе и каждом крупном веб-браузере
🌐 События
MemPalace — система памяти ИИ с открытым исходным кодом от Миллы Йовович набирает 96,6% в тесте LongMemEval, хранит всё локально без необходимости использования API или облака
Generalist AI выпускает GEN-1 — первую фундаментальную модель для робототехники, достигшую 99% успеха в выполнении простых физических задач, в 3 раза быстрее, чем современные аналоги, при использовании всего лишь 1 часа данных от робота
Anthropic нанимает руководителя подразделения инфраструктуры Microsoft Эрика Бойда; Бойд курировал платформу ИИ Microsoft и проработал в компании 16 лет
OpenAI, Anthropic и Google объединяются через Frontier Model Forum для борьбы с несанкционированным копированием китайских моделей ИИ с помощью адверсарной дистилляции
Z.ai выпускает GLM-5.1 под лицензией MIT — флагманская агентная модель превосходит Claude Opus 4.6 в тесте SWE-Bench Pro, создала рабочий стол Linux с нуля за 8 часов
Anthropic запускает Project Glasswing — Claude Mythos Preview обнаружила тысячи уязвимостей нулевого дня в каждой крупной ОС и браузере, партнёрство с AWS, Apple, Google, Microsoft, NVIDIA
Google запускает кнопку «Улучшить с помощью ИИ» для приложения Фото на Android по всему миру, предлагая автоматическую настройку освещения и контрастности, а также элементы управления скоростью воспроизведения видео
Илон Маск вносит поправки в свой иск против OpenAI с требованием, чтобы возможные компенсационные выплаты были направлены в благотворительное подразделение OpenAI, а также чтобы Альтман был исключён из некоммерческого совета директоров OpenAI
Вопросы и ответы с президентом OpenAI Грегом Брокманом о направлении исследований OpenAI, о том, насколько далеко можно продвинуть Codex, о закрытии Sora, о ставках на текстовые модели против мировых моделей и многом другом
ИИ-обзоры Google верны в девяти случаях из десяти, как показало исследование
Обнаружена пугающая уязвимость OpenClaw
Google запускает приложение для диктовки на базе ИИ, работающее офлайн, на iOS
Интеграция ChatGPT через OAuth тихо извлекла более 400 внутренних файлов из Google Drive за 42 мс после одного вопроса единого входа — раскрыт риск теневых ИИ-систем
Spotify расширяет функцию ИИ-плейлистов по запросу на подкасты — персонализированное обнаружение контента через текстовые запросы для пользователей Premium
Компании борются за то, чтобы их заметили ИИ-поисковые системы
Быстрое внедрение инструментов для написания кода на базе ИИ позволило работникам генерировать огромные объёмы кода, из-за чего компании вынуждены спешно проверять и обеспечивать безопасность сгенерированного ИИ кода
Telegram добавляет ИИ-редактор текста и улучшенные опросы для всех пользователей
Atomic Bot теперь запускает локальные модели ИИ на вашем компьютере
Три ютубера обвиняют Apple в незаконном скрейпинге для обучения своих моделей ИИ
Моддер использует Claude для перезаписи BIOS и запуска промышленного процессора Intel Bartlett Lake на потребительской плате
Прорыв в области ИИ сокращает энергопотребление в 100 раз при одновременном повышении точности
nanocode: библиотека с открытым исходным кодом позволяет обучить собственного агента для написания кода в стиле Claude за 200 долларов
ChatGPT ввергает людей в навязчивые спирали ипохондрии
Коллеги Сэма Альтмана говорят, что он едва умеет программировать и неправильно понимает базовые концепции машинного обучения
Студенты колледжей теряют способность участвовать в классных дискуссиях, потому что переложили своё мышление на ИИ
Весь штат Мэн готов запретить новые центры обработки данных
Стартап получил разрешение на использование системы ИИ для назначения психиатрических лекарств
Новый декодер FLUX.2 Small радикально снижает потребность в видеопамяти
Новый генератор изображений на базе ИИ обходит Seedance 2.0 в бенчмарке
Intel строит новую терафабрику для Илона Маска
Исследователи из Университета Северной Каролины выпустили ИИ на 72 часа автономных исследований, в течение которых он провёл 50 экспериментов и изобрёл систему памяти для длинного контекста, превосходящую все созданные человеком базовые показатели, — наглядная демонстрация того, что учёный теперь стал подпрограммой.
OpenAI, Anthropic и Google теперь обмениваются разведданными через Frontier Model Forum для обнаружения атак дистилляции из Китая — редкий случай солидарности лабораторий против энтропии открытых весов.
Внутри Meta гонка вооружений перешла во внутрикорпоративную плоскость благодаря «Claudeономике» — внутренней таблице лидеров, где сотрудники демонстрируют свои достижения, сжигая токены в рамках нового ритуала под названием «токенмаксинг», потому что в 2026 году демонстративное потребление измеряется в окнах контекста.
Henry Intelligent Machines только что представила первые ИИ-конгломераты для одного человека — агентский слой, который разворачивает и управляет флотами микробизнесов для одного владельца-человека.
Тем временем экономика безопасности прогибается под давлением скорости, обеспеченной ИИ: программа Internet Bug Bounty приостановила приём новых заявок, потому что обнаружение уязвимостей стало слишком дешёвым для ценообразования.
Вычислительная подложка печатает деньги в промышленных масштабах. Только что Samsung сообщила о рекордной операционной прибыли в размере около 38 млрд долларов за первый квартал, что более чем в 8 раз превышает показатели прошлого года, поскольку спрос на ИИ-чипы взвинчивает цены на память до небес.
Anthropic обналичивает этот чек авансом, заключая многомегаваттную сделку по TPU с Google и Broadcom, одновременно раскрывая, что годовая выручка компании выросла с примерно 9 млрд долларов на конец 2025 года до более чем 30 млрд долларов сегодня.
OpenAI масштабируется ещё более агрессивно и дорого: согласно сообщениям, компания планирует потратить 121 млрд долларов на вычислительные ресурсы только в 2028 году, при этом сжигая 85 млрд долларов в том же году, а Альтман обязал компанию потратить 600 млрд долларов за пять лет и рассматривает возможность проведения IPO в четвёртом квартале.
Пропущено 500 постов, 151 с картинками.
https://chat.qwen.ai/community/t2i/eab8c606-6bba-4ef1-a800-5aa9005a4af3
Вот как нормисы с нейронками общаются. Все в один контекст хуярят, ещё и промпты пишут как для подруженции какой-то
>>1585559 (OP)
КОТ КОТ КОТ
>>1585559 (OP)
ПЕРЕКАТ >>1585559 (OP)
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №218 /llama/
Аноним
11/04/26 Суб 06:12:15
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1580522 (OP)
>>1578421 (OP)
Пропущено 516 постов, 77 с картинками.
> в продакшене
Много в треде тех кто корпов в проде крутит?
Я только соседнюю команду знаю на работе, сам никогда их б200 даже не трогал
Этим делали легендарный перевод гта3? охлади траханье углепластик
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1578421 (OP)
Прошлый тред: >>1576111 (OP)
Пропущено 1511 постов, 166 с картинками.