ИТТ обсуждаем опыт нейродроча в своих настоящих задачах. Это не тред "а вот через три года" - он тол
Аноним
24/12/22 Суб 16:39:19
№
Ответ
Мой опыт следующий (golang).
Отобрал десяток наиболее изолированных тикетов, закрыть которые можно, не зная о проекте ничего. Это весьма скромный процент от общего кол-ва задач, но я решил ограничится идеальными ситуациями. Например, "Проверить системные требования перед установкой".
Самостоятельно разбил эти тикеты на подзадачи. Например, "Проверить системные требования перед установкой" = "Проверить объем ОЗУ" + "Проверить место на диске" + ...
Ввел все эти подзадачи на английском (другие языки не пробовал по очевидной причине их хуевости) и тщательно следил за выводом.
Ответ убил🤭
Хотя одну из подзадач (найти кол-во ядер) нейронка решила верно, это была самая простая из них, буквально пример из мануала в одну строчку.
На остальных получалось хуже. Сильно хуже. Выдавая поначалу что-то нерабочее в принципе, после длительного чтения нотаций "There is an error: ..." получался код, который можно собрать, но лучше было бы нельзя. Он мог делать абсолютно что угодно, выводя какие-то типа осмысленные результаты.
Мой итог следующий.
На данном этапе нейрогенератор не способен заменить даже вкатуна со Скиллбокса, не говоря уж о джунах и, тем более, миддлах.
Даже в идеальных случаях ГПТ не помог в написании кода. Тот мизерный процент решенных подзадач не стоил труда, затраченного даже конкретно на них.
Но реальная польза уже есть! Чатик позволяет узнать о каких-то релевантных либах и методах, предупреждает о вероятных оказиях (например, что, узнавая кол-во ядер, надо помнить, что они бывают физическими и логическими).
И все же, хотелось бы узнать, есть ли аноны, добившиеся от сетки большего?
Пропущено 354 постов, 50 с картинками.
Научился тегу synthwave
Теперь могу генерировать как бы киберпанк, но более позитивный и более неоновый
Кстати, есть такое.
Когда учат японскому, нагонят мути, будто бы японское "... ne" является некоей особенной частицей то-то и то-то
По факту это буквально то самое "не", которое сокращение от "не так ли?"
Между русским и английским столько когнат, что на них одних можно нормально лексики намайнить, но отчего-то об этом даже не заикаются, вместо этого все знают лишь про ложных друзей переводчика, совершенно замалчивая существование друзей истинных.
Между русским и японским тоже общего дофига теория языковых семей по сути лженаучна, что не мешает ей быть доминирующей в современной лингвистике начиная с того что все прилагательные заканчиваются на знакомый нам суффикс ий, и наречия тоже являются производными от прилагательных, только этот суффикс заменяется другой "соединительной гласной"; родительный падеж образуется суффиксом но, как в словах типа мамино пальто (только эти суффиксы там и суффиксами не называют, тоже не для облегчения понимания явно) и также куча когнат начиная от того что хлопок на японском буквально вата, заканчивая целым словарём подобного (чел, его написавший, конечно фрик ещё тот, но когда гениальность рука-об-руку с безумием не шла.. (я бы проигнорировал теоретическую часть, воспринимая его словарь как мнемоническую технику))
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №253 /llama/
Аноним
01/08/26 Суб 11:07:36
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1663069 (OP)
>>1661366 (OP)
Пропущено 504 постов, 101 с картинками.
Всё когда-нибудь бывает впервые...
Из России большинство сервисов напрямую недоступно.
Imagen
https://labs.google/fx/tool/image-fx а также https://labs.google/fx/tools/whisk (доступны только в США, Кении, Новой Зеландии и Австралии)
https://gemini.google.com/app
https://aistudio.google.com/prompts/new_chat (модель Gemini image)
Reve
https://preview.reve.art/app
GPT-4o
http://chatgpt.com/
https://sora.chatgpt.com/explore
Сражение нейросетей. Бесплатное сравнение всех популярных моделей.
https://lmarena.ai/
Бесплатный генератор от майкрософт Dall-E/GPT4o
https://bing.com/images/create/
https://www.cici.com (ищем бота ACO)
Seedream
https://seedream-4.io/generator
Бесплатный генератор от Yandex
https://shedevrum.ai/
Кандинский. Генератор от Сбербанка
https://fusionbrain.ai/editor/
Stable Diffusion и прочие
https://civitai.com/generate
https://dreamina.capcut.com/
https://ideogram.ai
https://www.meta.ai
https://ximagegenerator.com
https://www.recraft.ai
https://app.klingai.com/global/text-to-image/new
https://hailuoai.video/create
https://lumaphoton.com
https://leonardo.ai/
https://tensor.art
https://getimg.ai/text-to-image
https://www.mage.space/
https://problembo.com/ru
https://deepai.org/machine-learning-model/text2img
https://dezgo.com/
https://dream.ai/create
https://www.krea.ai/
Дополнительные сервисы:
https://www.pixited.com/ - библиотека промптов с примерами
https://rentry.org/From-4ch-To-2ch-Dall-3-Prompts - сборник промптов
https://www.stylar.ai - AI-редактор картинок (дорисовка, инпейнт, работа с лицами)
https://astica.ai - сборник ИИ-сервисов, в частности довольно мощный де-промптер (Vision AI -> Describe and Caption)
https://huggingface.co/spaces/fffiloni/CLIP-Interrogator-2 - де-промптер, разбирающий вброшенный пик на теги
https://bigjpg.com/ - апскейлер до 4096х4096
https://runwayml.com/ , https://www.stablevideo.com - анимирование генераций
Предыдущий тред: >>
Пропущено 265 постов, 137 с картинками.
Более жизненно это когда со стояком зовут к доске. Я лично банально отказывался — "ставьте двойку". После подобного тупое совково-блатное ебло думОет, что это я так ставлю его блатной авторитет под угрозу, а у меня просто коловой стояк — пожизненный зашквар от которого не отмоешься. Двойку никто не помнит, стояк вспоминали бы всю жизнь, и ходил бы я икая до старости.
Интересно эти дегенераты видят, что их картинки это просто ИИ шум по сути.
https://arena.ai/image/direct
https://labs.google/fx/tools/flow
https://grok.com/imagine
https://chatgpt.com/images/
Генерация без лимитов до 4K:
Nano Banana 2 https://app.inference.sh/apps/google/gemini-3-1-flash-image-preview
Nano Banana Pro https://app.inference.sh/apps/google/gemini-3-pro-image-preview
Grok Imagine Pro https://app.inference.sh/apps/xai/grok-imagine-image-pro
Grok Imagine Quality https://app.inference.sh/apps/xai/grok-imagine-image-quality
GPT Image 2 https://app.inference.sh/apps/openai/gpt-image-2
Также если хотите использовать любую другую модель она доступна здесь через поиск https://app.inference.sh/apps/
Генерировать бесплатно и без лимитов можно через бесконечную регистрацию с помощью сервиса временной почты https://www.mohmal.com/ru/inbox
После израсходования кредитов чистим куки сайта и регистрируемся заново используя новую сгенерированную почту
Видео генерация:
https://app.inference.sh/apps/klingai/video-v3
https://app.inference.sh/apps/google/veo-3-1
https://app.inference.sh/apps/xai/grok-imagine-video
Апскейл до 16K:
https://app.inference.sh/apps/falai/topaz-image-upscaler
https://app.inference.sh/apps/infsh/flux-1-dev-upscaler
Архивач:
https://arhivach.vc/?tags=16555
Пропущено 24 постов, 26 с картинками.
Жесткая подборка буккаке и фейсфаков от моделей буквально рожденных быть порноактрисами. Based on my /aiporn/
Аноним
02/08/26 Вск 14:41:32
№
Ответ
Based on my dick
Пропущено 2 постов, 4 с картинками.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Ботбуру: https://botbooru.com/
• CharIsChar: https://charischar.net/
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1656757 (OP)
Пропущено 500 постов, 49 с картинками.
Может у тебя нсфв промпты стоят и клод триггерится заранее видя их? Клоды же наоборот обожают отыгрывать тему родительства и всё такое
Я ничего не понимаю, что делать?
Без петросянства: смотри программу стэнфорда CS229, CS231n https://see.stanford.edu/Course/CS229 (классика) и http://cs231n.stanford.edu (введение в нейроночки) и изучай, если не понятно - смотри курсы prerequisites и изучай их. Как именно ты изучишь конкретные пункты, типа линейной алгебры - дело твое, есть книги, курсы, видосики, ссылки смотри ниже.
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning
https://datatau.net
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся.
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus.
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2
Почему python?
Исторически сложилось. Поэтому давай, иди и перечитывай Dive into Python.
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет.
Что почитать для вкатывания?
http://www.deeplearningbook.org
https://d2l.ai/index.html
Николенко "Глубокое обучение" — на русском, есть примеры, но меньше охват материала
Франсуа Шолле — Глубокое обучение на Python
Все книги и статьи фактически устаревают за год.
В чем практиковаться нубу?
http://deeplearning.stanford.edu/tutorial
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где посмотреть последние статьи?
http://www.arxiv-sanity.com
https://paperswithcode.com
https://openreview.net
Версии для зумеров (Килхер): https://www.youtube.com/channel/UCZHmQk67mSJgfCCTn7xBfew
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где посмотреть must read статьи?
https://github.com/ChristosChristofidis/awesome-deep-learning#papers
https://huggingface.co/transformers/index.html
То, что обозревает Килхер тоже зачастую must read
Где ещё можно поговорить про анализ данных?
http://ods.ai
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning заодно в майнкрафт на топовых настройках погоняешь.
Когда уже изобретут AI и он нас всех поработит?
На текущем железе — никогда, тред не об этом
Кто-нибудь использовал машоб для трейдинга?
Огромное количество ордеров как в крипте так и на фонде выставляются ботами: оценщиками-игральщиками, перекупщиками, срезальщиками, арбитражниками. Часть из них оснащена тем или иным ML. Даже на швабре есть пара статей об угадывании цены. Тащем-то пруф оф ворк для фонды показывали ещё 15 лет назад.
Так-что бери Tensorflow + Reinforcement Learning и иди делать очередного бота: не забудь про стоп-лоссы и прочий риск-менеджмент, братишка
Список дедовских книг для серьёзных людей
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: https://www.libgen.is
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Disclaimer: Шапка сгенерирована нейросетью и нуждается в чистке. Исходник шапки: https://rentry.co/research-2ch
Предыдущий тред:
>>511426 (OP)
Пропущено 442 постов, 67 с картинками.
>насколько сложно потом будет устроиться на фуллтайм после учебы
Если без рофлов, то очень сложно/невозможно. ML/AI гиперконкурентная отрасль и без PhD особо делать нечего. Со степенью магистра в теории можно на позиции ml engineer или даже ml research scientist попасть, но второе уже скорее редкость. И зависит от того, чем именно ты занимаешься, отрасль то большая.
Вообще в Германии работы мало, особенно в ML. Знакомый работает в цюрихе в нвидии как раз на позиции research scientist, но он какой-то ML в аудио исследует.... При этом у него степень магистра из вмк мгу, без phd.
С чего начать:
• Хочешь кодить с AI эффективно: Cursor или Claude Code
• Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
• Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.6, подробности в llama-треде
• Хочешь приложение без кода: Lovable или bolt.new
• Хочешь автоматизировать рутину: n8n или Langflow
• Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
• Cursor: https://cursor.com
• Windsurf: https://windsurf.com
• Antigravity: https://antigravity.google.com
• Zed: https://zed.dev
CLI-агенты:
• Claude Code: https://code.claude.com/docs
• Codex (OpenAI): https://github.com/openai/codex
• Pi: https://shittycodingagent.ai/
• OpenCode: https://github.com/anomalyco/opencode
• Qwen Code: https://github.com/QwenLM/qwen-code
• Gemini CLI: https://github.com/google-gemini/gemini-cli
• Kimi Code: https://www.kimi.com/code/en
• MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start
Плагины для IDE:
• Kilo Code: https://kilo.ai
• Cline: https://github.com/cline/cline
• Roo Code: https://github.com/RooCodeInc/Roo-Code
• GitHub Copilot: https://github.com/features/copilot
• Continue: https://github.com/continuedev/continue
Вайб-кодинг без кода:
• Lovable: https://lovable.dev
• bolt.new: https://bolt.new
• v0: https://v0.dev
Персональные ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw
• NemoClaw: https://github.com/NVIDIA/NemoClaw
• Hermes Agent: https://github.com/nousresearch/hermes-agent
• nanobot: https://github.com/HKUDS/nanobot
• PicoClaw: https://github.com/sipeed/picoclaw
Автоматизация и фреймворки:
• n8n: https://github.com/n8n-io/n8n
• Langflow: https://github.com/langflow-ai/langflow
• LangChain/LangGraph: https://github.com/langchain-ai/langchain
• CrewAI: https://github.com/crewAIInc/crewAI
• AutoGen: https://github.com/microsoft/autogen
• Agno: https://docs.agno.com/
Полезные тулзы:
• RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента
• Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко
• ast-grep: https://github.com/ast-grep/ast-grep - структурный поиск/замена по AST, экономит токены агента при рефакторинге
• Hindsight: https://github.com/vectorize-io/hindsight - долговременная память для агентов: копит факты и помнит когда что было
• fff: https://github.com/dmtrKovalenko/fff - быстрый файловый поиск/греп для агентов
Локалки и прочее API:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, есть временно-бесплатные (DeepSeek V4 Flash, MiMo) + pay-as-you-go без наценки
• llama-тред: >>1663069 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1660441 (OP)
Пропущено 552 постов, 89 с картинками.
>>1665581
Так у них полное отсутствие хищников. Никто кроме пиздюка с палкой вороне не страшен. Вот и пухнут.
олсо, запросил у модератора увеличение перекатного лимита в 1000 сообщений
просьба кинуть модератору проьбу или отписаться тут https://2ch.su/d/res/421281.html
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №252 /llama/
Аноним
29/07/26 Срд 12:09:47
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1661366 (OP)
>>1659232 (OP)
Пропущено 517 постов, 98 с картинками.
Так ебут без таких дегенератских выводов
>какие же ллмки тупые пиздос... когда там аги уже?
Выводы каждый сам делает.
Мимо-ебущий-фифи
Первые две ничего потом пошёл кринж. Но виноват в этом юзер!
>>1665553 (OP)
ПЕРЕКАТ
>>1665553 (OP)
ПЕРЕКАТ
>>1665553 (OP)
ЧТО НОВОГО АКТУАЛЬНОГО
• Поддержка INT8 и INT4 в ComfyUI - теперь все быстрее!
• Krea 2
• Ideogram 4.0
• FLUX.2 klein (4b и 9b)
• Z-Image
• Flux 2
• Qwen Image / Qwen Image Edit
• Лора Lightning и Turbo для быстрой генерации за несколько шагов.
База:
→ Приложение ComfyUI https://comfy.org/
→ Примеры https://comfyui-wiki.com/ru (откуда, куда, как)
→ Модели https://civitai.red/
► Предыдущий тред >>1654539 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 574 постов, 220 с картинками.
Ты мог бы заметить это у других моделей.
И конкретно прочесть об этом для FLUX.2:
https://docs.bfl.ai/guides/prompting_guide_flux2#multi-language-prompting
Считаю, что это просто особенность разметки данных dataset, которую конкретно по ссылке для FLUX.2 ушлые маркетолухи и prщики подают как «фичу».
При этом сценарий применения выглядит тогда совсем странно: Хочешь аутентичный Париж — обязательно promptи на французском.
По идее использование английского (или других языков) должно давать возможность получать равнозначный результат генерации (на практике отличия есть).
>>1665428 (OP)
>>1665428 (OP)
>>1665428 (OP)
С чего начать:
• Хочешь кодить с AI эффективно: Cursor или Claude Code
• Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
• Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.6, подробности в llama-треде
• Хочешь приложение без кода: Lovable или bolt.new
• Хочешь автоматизировать рутину: n8n или Langflow
• Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
• Cursor: https://cursor.com
• Windsurf: https://windsurf.com
• Antigravity: https://antigravity.google.com
• Zed: https://zed.dev
CLI-агенты:
• Claude Code: https://code.claude.com/docs
• Codex (OpenAI): https://github.com/openai/codex
• Pi: https://shittycodingagent.ai/
• OpenCode: https://github.com/anomalyco/opencode
• Qwen Code: https://github.com/QwenLM/qwen-code
• Gemini CLI: https://github.com/google-gemini/gemini-cli
• Kimi Code: https://www.kimi.com/code/en
• MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start
Плагины для IDE:
• Kilo Code: https://kilo.ai
• Cline: https://github.com/cline/cline
• Roo Code: https://github.com/RooCodeInc/Roo-Code
• GitHub Copilot: https://github.com/features/copilot
• Continue: https://github.com/continuedev/continue
Вайб-кодинг без кода:
• Lovable: https://lovable.dev
• bolt.new: https://bolt.new
• v0: https://v0.dev
Персональные ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw
• NemoClaw: https://github.com/NVIDIA/NemoClaw
• Hermes Agent: https://github.com/nousresearch/hermes-agent
• nanobot: https://github.com/HKUDS/nanobot
• PicoClaw: https://github.com/sipeed/picoclaw
Автоматизация и фреймворки:
• n8n: https://github.com/n8n-io/n8n
• Langflow: https://github.com/langflow-ai/langflow
• LangChain/LangGraph: https://github.com/langchain-ai/langchain
• CrewAI: https://github.com/crewAIInc/crewAI
• AutoGen: https://github.com/microsoft/autogen
• Agno: https://docs.agno.com/
Полезные тулзы:
• RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента
• Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко
• ast-grep: https://github.com/ast-grep/ast-grep - структурный поиск/замена по AST, экономит токены агента при рефакторинге
• Hindsight: https://github.com/vectorize-io/hindsight - долговременная память для агентов: копит факты и помнит когда что было
• fff: https://github.com/dmtrKovalenko/fff - быстрый файловый поиск/греп для агентов
Локалки и прочее API:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, есть временно-бесплатные (DeepSeek V4 Flash, MiMo) + pay-as-you-go без наценки
• llama-тред: >>1659232 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1656543 (OP)
Пропущено 554 постов, 92 с картинками.
Ля, ну там же изначально в условиях сказано, что дядя Ляо логи собирает, если тебя устраивает такой вариант - пользуйся, не устраивает - не пользуйся...
ну, после первого пункта можно сразу вносить в разряд шляпы, там походу логи т-щ майор смотрит, да и не только он
тайм лимиты на токены вообще говно говна, при чем по цене подписок нормальных
Тащ Майор и так deep inspection пакетам проводит, какая разница
Локальные языковые модели (LLM): Gemma, Qwen, Hy3 и прочие №251 /llama/
Аноним
# OP
27/07/26 Пнд 17:00:22
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1659232 (OP)
>>1657043 (OP)
Пропущено 537 постов, 77 с картинками.
Пишу с того света после съедения кошкодевочками
>>1663069 (OP)
ПЕРЕКАТ
>>1663069 (OP)
ПЕРЕКАТ
>>1663069 (OP)
В целом здравая идея, но модели все равно по-разному инструкции слушают. Могут по итогу быть расхождения, хотя крупные изменения так реально эффективнее проверять.
С чего начать:
• Хочешь кодить с AI эффективно: Cursor или Claude Code
• Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
• Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.6, подробности в llama-треде
• Хочешь приложение без кода: Lovable или bolt.new
• Хочешь автоматизировать рутину: n8n или Langflow
• Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
• Cursor: https://cursor.com
• Windsurf: https://windsurf.com
• Antigravity: https://antigravity.google.com
• Zed: https://zed.dev
CLI-агенты:
• Claude Code: https://code.claude.com/docs
• Codex (OpenAI): https://github.com/openai/codex
• Pi: https://shittycodingagent.ai/
• OpenCode: https://github.com/anomalyco/opencode
• Qwen Code: https://github.com/QwenLM/qwen-code
• Gemini CLI: https://github.com/google-gemini/gemini-cli
• Kimi Code: https://www.kimi.com/code/en
• MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start
Плагины для IDE:
• Kilo Code: https://kilo.ai
• Cline: https://github.com/cline/cline
• Roo Code: https://github.com/RooCodeInc/Roo-Code
• GitHub Copilot: https://github.com/features/copilot
• Continue: https://github.com/continuedev/continue
Вайб-кодинг без кода:
• Lovable: https://lovable.dev
• bolt.new: https://bolt.new
• v0: https://v0.dev
Персональные ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw
• NemoClaw: https://github.com/NVIDIA/NemoClaw
• Hermes Agent: https://github.com/nousresearch/hermes-agent
• nanobot: https://github.com/HKUDS/nanobot
• PicoClaw: https://github.com/sipeed/picoclaw
Автоматизация и фреймворки:
• n8n: https://github.com/n8n-io/n8n
• Langflow: https://github.com/langflow-ai/langflow
• LangChain/LangGraph: https://github.com/langchain-ai/langchain
• CrewAI: https://github.com/crewAIInc/crewAI
• AutoGen: https://github.com/microsoft/autogen
• Agno: https://docs.agno.com/
Полезные тулзы:
• RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента
• Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко
• ast-grep: https://github.com/ast-grep/ast-grep - структурный поиск/замена по AST, экономит токены агента при рефакторинге
• Hindsight: https://github.com/vectorize-io/hindsight - долговременная память для агентов: копит факты и помнит когда что было
• fff: https://github.com/dmtrKovalenko/fff - быстрый файловый поиск/греп для агентов
Локалки и прочее API:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, есть временно-бесплатные (DeepSeek V4 Flash, MiMo) + pay-as-you-go без наценки
• llama-тред: >>1652385 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1650619 (OP)
Пропущено 677 постов, 133 с картинками.
Всё, сделано. Но тут императивно закрыты все лазейки чтобы педерастический клод код не собирал триггеры, даже в рунет все пообрезал. Работаем чисто локально с клодкодом, без заглядывания даже на российские хостинги для работы. Это можно и потом сделать курсором или ручками. Меня всё устраивает, да и лень делать то что не нужно, потом когда нибудь, может быть допилю, наверное.
>Продукт заточен под: нельзя даже случайно сходить в запрещённую геозону destination.
Цена: нельзя легально «чуть-чуть» на RU‑хостинг, не ослабив модель.
>Напряжение:
>хочешь безопасный egress FR/US для всего;
>и одновременно SSH/SFTP/панель на Timeweb в РФ.
>Полный блок и удобная удалёнка в рунет в одной жёсткой политике не живут — нужен второй режим или дырка по списку.
>Способы решения (на будущее, в бэклоге ROADMAP)
>Allowlist — явный список (timeweb.ru, IP VPS) → direct или отдельный путь до geo-reject.
>Плюс: точечно. Минус: дыра в идеологии; только ручной список + лог.
>Профиль «работа» — на сессию убрать ru из блока, огромный warning, только ручное выключение.
>Грубо, но понятно.
>Split по процессу — Cursor/SSH/scp мимо блока; браузер остаётся жёстким.
>Удобно для кодинга; риск, если агент сам полезет на ozon.
>Два пресета в UI — «бронедверь» (как сейчас) / «лаборатория» (мягче).
>Самый честный UX.
>Вне Вахтёра — для RU‑хостинга отдельная машина/VM без шлюза или ОТКЛ Вахтёра на время деплоя.
>Уже работает без кода.
>Пока выбранный ответ продукта: оставить жёсткий baseline; опции 1–4 — только после явного «делайте».
>>1660441 (OP)
Почему бы не иметь ещё одну тему, про новости чуть менее радужные?
Для затравки:
OpenAI рискует недополучить 90% от собственного прогноза доходов от рекламы.[Вот что это значит для рынка ИИ
Главное
• Целевой показатель OpenAI по доходам от рекламы в размере $100 млрд к 2030 году в 20 раз превышает прогноз eMarketer для всего рынка чат-ботов, что ставит под угрозу обязательства Oracle на сумму $75 млрд, связанные с ИИ.
• Доля ChatGPT в ИИ-трафике упала с 87% до 65% на фоне укрепления позиций Gemini от Alphabet, из-за чего прогнозы о доминировании рекламы в чат-ботах становится всё труднее обосновать.
• Не ждите: аналитик, предсказавший успех NVIDIA в 2010 году, только что раскрыл свой топ-10 акций компаний из сферы ИИ.
Одно из ключевых допущений, лежащих в основе концепции инвестиций в ИИ, только что прошло суровую проверку реальности, и цифры явно не сходятся.
По данным исследовательской компании eMarketer, рекламный бизнес OpenAI рискует недополучить около 90% от собственного пятилетнего прогноза выручки. OpenAI прогнозировала $2,5 млрд рекламной выручки в 2026 году с ростом до $100 млрд к 2030 году. Данные eMarketer показывают иную картину: отдельные ИИ-чат-боты, включая ChatGPT, Microsoft Copilot, Google AI Mode и Amazon Alexa for Shopping, суммарно принесут менее $1 млрд рекламного дохода в этом году и всего $5,41 млрд по всему рынку к 2030 году.
Целевой показатель одной лишь OpenAI на 2030 год примерно в 20 раз превышает оценку eMarketer для всего рынка рекламы в чат-ботах США. Этот разрыв ставит под сомнение весь прогноз и находится в самом центре дискуссии о «пузыре» ИИ.
Что требуется для выполнения прогноза OpenAI
Чтобы эта цифра оправдалась, как утверждает eMarketer, OpenAI необходимо будет массово переманить рекламные бюджеты из традиционного поиска, занять доминирующее положение на полностью сформировавшемся рынке рекламы в чат-ботах и одновременно превзойти по эффективности практически каждый рекламный формат в истории. Любая из этих задач выглядит амбициозно; необходимость же выполнения всех трех делает прогноз похожим скорее не на план, а на надежду. OpenAI запустила тестирование рекламы только в феврале 2026 года и озвучила эти прогнозы спустя всего лишь два месяца.
Не ждите: аналитик, предсказавший успех NVIDIA в 2010 году, только что раскрыл свой топ-10 акций компаний из сферы ИИ.
Пропущено 1 постов, 2 с картинками.
Что будем делать когда пузырь превратится в сферу Дайсона?
Уже 6 августа снимается блокировка с торговли первого большого пакета акций, 900 миллионов акций, по текущему курсу свыше 100 миллиардов долларов. Хотя основные объёмы выйдут на рынок чуть позже, в сентябре-декабре.
Однако Morgan Stanley ориентируются на стоимость акций в районе 300, при текущих 115. Это условно через год.
Ранее Morgan Stanley прогнозировали рынок для Метавселенной в 8 триллионов долларов. Для NFT они оценивали капитализацию в 300 миллиардов к 2030 году, тогда как текущая около 1.5-2 миллиардов
Хз, для меня SpaceX это космическая компания. Старлинки, falcon9 вот это все.
А грок? Кто-то платит за это вообще? Нахуй он нужен? Там еще грокипедия кстати была, про которую уже все забыли и забросили.
Насколько я знаю там AI у маска это теперь Cursor который он выкупил. Короче хз.
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1641475 (OP)
Активно репортите все нерелейтед посты кнопкой на сообщениях. Этот тред только про ИИ новости, не позволим троллям загаживать тред шитпостом и бесконечным словоблудием.
🚀 Последний обзор ИИ новостей:
📢 Главные новости ИИ
GPT-5.6 Sol от OpenAI набрала 53,6 балла на экзамене Agents' Last Exam, опередив Claude Fable 5 на 13,1 балла и выполнив задачи на 61% быстрее, что подчеркивает ее превосходство в производительности над Anthropic.
Пользователь сообщил, что Claude Cowork успешно автоматизирует задачи, не связанные с написанием кода, такие как анализ контрактов и обслуживание серверов, повышая производительность, несмотря на сохраняющиеся проблемы с доверием и безопасностью.
🧠 Модели
GPT-5.6 и ChatGPT Work от OpenAI нацелены на то, чтобы превзойти Anthropic по цене, скорости и производительности
Meta Superintelligence Labs выпускает Muse Spark 1.1 по низкой цене: мультимодальная модель рассуждений для агентских задач в Meta Model API. Контекстное окно составляет 1 000 000 токенов. Она превосходит Claude Opus 4.8 в бенчмарках для агентов
OpenAI выпустила GPT-5.6 Sol, Terra и Luna, делая упор на больший объем интеллекта на каждый токен; модели оснащены «ультра»-режимом с четырьмя агентами и показывают рекордные результаты в бенчмарках для агентов, хотя Sol и уступает Claude на SWE-Bench Pro.
OpenAI сообщила, что Sol автономно провела дообучение Luna — задачу, которая раньше выполнялась старшей командой, — и назвала создание автоматизированного исследователя «почти реальностью», опередив планы на годы.
Sol стала первой моделью, прошедшей игру ARC-AGI-3, и набрала 92,5% на ARC-AGI-2 при затратах, составляющих одну десятую от стоимости трехмесячной модели, что породило шутливый вопрос: «Когда уже ARC-AGI 4?»
Luna выполняет интеллектуальные задачи уровня 5.5 за 10% от её стоимости, а аналитики из Epoch подозревают, что размер Sol сопоставим с 5.5, так что весь прирост обеспечен исключительно алгоритмами.
Sol обходит DeepSWE, работая за 38% от стоимости Fable, и устанавливает рекорд индекса Coding Agent Index, расходуя вдвое меньше токенов; на CursorBench Fable сохранила за собой корону, но проиграла «по всем пунктам, которые отражаются в вашем счете».
Sol генерировала по 750 токенов в секунду в Blender, создала клон Excel за шесть дней, бросив вызов оригиналу, стала первой моделью GPT, прошедшей Pokémon FireRed, опираясь исключительно на зрение, и за неделю с первой попытки отрисовала воксельный Манхэттен.
Fable установила недосягаемый для соперников рекорд скорости на CIFAR-10, столь изобретательно обыграв правила, что авторы назвали буквоедство барьером на пути самосовершенствования.
Порог входа продолжает снижаться: PrismML умудрилась уместить рекордную 27-миллиардную модель на iPhone.
NVIDIA выпускает Audex (Nemotron-Labs-Audex-30B-A3B): единую аудио-текстовую большую языковую модель, которая сохраняет текстовый интеллект своей базовой модели.
Meta представила Muse Image и Muse Video.
OpenAI выпустила семейство GPT-5.6 (Sol, Terra, Luna), обеспечивающее повышение эффективности использования токенов в задачах программирования до 54%, что снижает затраты корпоративного ИИ.
GPT-5.6 Sol достигает на 54% более высокой эффективности использования токенов в задачах программирования.
🛠 Инструменты для разработчиков
Google AI Studio запускает бесплатные пользовательские поддомены ai.studio для развертывания приложений разработчиков
Anthropic обновляет Claude Code, добавляя изолированный браузер в приложении для взаимодействия с внешней документацией и веб-сайтами. Инструмент командной строки может нажимать на элементы и сохранять сессии браузера.
Google выпускает LiteRT.js, высокопроизводительный веб-вывод ИИ в браузере через WebAssembly и WebGPU
Claude Code и Fable 5 за несколько часов портировали ПК-игру 2003 года Command and Conquer на нативный iOS
Zhipu AI запускает ZCode, чтобы бросить вызов Claude Code и OpenAI Codex за малую часть их стоимости
IBM обновила IBMBob, добавив мультиагентные возможности, аналитику затрат на ИИ и готовые рабочие процессы модернизации, что облегчает узкие места при проверке кода в DevSecOps.
Claude Cowork продемонстрировала надежную автоматизацию рутинной работы, не связанной с кодом, что подчеркивает практическое внедрение ИИ в качестве коллеги.
n8n выпустила рабочий процесс реагирования на инциденты на базе ИИ с использованием конвейеров RAG для автоматического сбора знаний и генерации структурированных инструкций, оптимизируя работу SOC.
📦 Продукты
Александр Ван из Meta выпускает Muse Image, агентский генератор изображений, который планирует промпты с помощью Muse Spark. Релиз включает предварительный просмотр предстоящего Muse Video.
Character.AI представила интерактивные микродрамы с голосовым ИИ. Для начала стартап запускает три микродрамы: романтический сериал под названием «Последнее лето», хоррор-шоу «Ночная игра» и микродраму о выживании в духе «Голодных игр» под названием «Падение Эдема».
OpenAI закрывает свой ИИ-браузер Atlas менее чем через год после запуска, перенося функции просмотра в свое настольное приложение и расширение для Chrome, что указывает на стратегическую переориентацию.
Google будет автоматически маркировать рекламу, созданную с помощью собственных инструментов генеративного ИИ, в Поиске, Discover и YouTube, повышая прозрачность для пользователей.
📱 Приложения
ChatGPT приходит за одной из самых умных функций Chrome от Google
OpenAI расширяет возможности ChatGPT за пределы своего веб-сайта, запускает новое расширение для Chrome, которое может понимать содержимое просматриваемой вами веб-страницы. Расширение позволяет пользователям задавать вопросы о странице, резюмировать статьи, объяснять сложные концепции и даже запускать более длительные задачи на базе ИИ, не покидая браузер.
📰 Инструменты
GPT-Live предлагает полнодуплексное голосовое взаимодействие для ChatGPT, позволяя вести голосовые беседы в реальном времени.
💻 Оборудование
Zhipu AI изучает возможность разработки собственных кремниевых чипов для решения проблемы нехватки оборудования на фоне растущего спроса на ее модели GLM. Недавнее еженедельное использование токенов модели GLM-5.2 этого стартапа подскочило в 27 раз
🖱 Аппаратное обеспечение
Apple подписывает соглашение с Broadcom на производство 15 миллиардов чипов в США
Китайский стартап в области искусственного интеллекта DeepSeek разрабатывает собственный чип для ИИ, сообщают источники.
🔓 Открытый исходный код
Meituan открывает исходный код LongCat-2.0 — MoE-модели с 1,6 триллиона параметров и контекстным окном в 1 миллион токенов
Китайский ИИ-стартап MiniMax планирует открыть исходный код модели с 2,7 триллиона параметров под названием M3 Pro в третьем квартале. Сообщается, что эта модель будет крупнее любой китайской ИИ-модели, представленной в настоящее время на рынке, и более чем в шесть раз превысит размер текущей M3 от MiniMax, который, по данным SCMP, составляет 428 миллиардов параметров.
🧪 Исследования
JPMorgan создает ИИ-агентов, которые превосходят портфель 60/40 в бэктестах. Результаты обнадеживают. Исследователи банка создали массив инвестиционных агентов на базе ИИ, которые переключаются между акциями и облигациями в зависимости от изменяющихся рыночных условий. В бэктестах за последние два десятилетия самая эффективная система превзошла традиционный портфель 60/40 — 60% в акциях и 40% в облигациях — на 0,7 процентных пункта в год с меньшей волатильностью, а также обошла собственную основанную на правилах модель рыночного режима JPMorgan.
Четыре наиболее цитируемых исследования рабочей среды эпохи ИИ, прочитанные параллельно, рассказывают одну историю: прирост производительности от ИИ реален, но радикально неравномерен, и он склоняется в сторону неопытных, четко ограниченных по задачам и проверяемых — а не в сторону экспертов, выполняющих сложную, знакомую работу, и не в сторону предприятий, закупающих пилотные проекты.
Claude по-прежнему недосягаема в задачах пространственного мышления, поэтому OpenAI как нельзя кстати провела аудит SWE-Bench Pro — бенчмарка, в котором безраздельно доминирует Claude, — обнаружила, что 30% его заданий некорректны, и отозвала свое одобрение.
⚙ Инфраструктура
Micron инвестирует 250 миллиардов долларов в США, производство кастомного чипа Meta стартует в сентябре, а SK Hynix оценила свои акции в рамках размещения в США в 149 долларов.
⸻⸻⸻
Правила постинга в тред ИИ новостей, учитывайте при постинге: https://rentry.org/ainews
Все нерейлейтед посты репортим.
Пропущено 556 постов, 202 с картинками.
>>1661396 (OP)
>>1661396 (OP)
>>1661396 (OP)
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №250 /llama/
Аноним
24/07/26 Птн 22:08:12
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1657043 (OP)
>>1652385 (OP)
Пропущено 518 постов, 69 с картинками.
- RTX 3060 6GB Laptop
- Intel Core i5 13420H
- 16 GB Ram
С чего начать:
• Хочешь кодить с AI эффективно: Cursor или Claude Code
• Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
• Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.6, подробности в llama-треде
• Хочешь приложение без кода: Lovable или bolt.new
• Хочешь автоматизировать рутину: n8n или Langflow
• Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
• Cursor: https://cursor.com
• Windsurf: https://windsurf.com
• Antigravity: https://antigravity.google.com
• Zed: https://zed.dev
CLI-агенты:
• Claude Code: https://code.claude.com/docs
• Codex (OpenAI): https://github.com/openai/codex
• Pi: https://shittycodingagent.ai/
• OpenCode: https://github.com/anomalyco/opencode
• Qwen Code: https://github.com/QwenLM/qwen-code
• Gemini CLI: https://github.com/google-gemini/gemini-cli
• Kimi Code: https://www.kimi.com/code/en
• MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start
Плагины для IDE:
• Kilo Code: https://kilo.ai
• Cline: https://github.com/cline/cline
• Roo Code: https://github.com/RooCodeInc/Roo-Code
• GitHub Copilot: https://github.com/features/copilot
• Continue: https://github.com/continuedev/continue
Вайб-кодинг без кода:
• Lovable: https://lovable.dev
• bolt.new: https://bolt.new
• v0: https://v0.dev
Персональные ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw
• NemoClaw: https://github.com/NVIDIA/NemoClaw
• Hermes Agent: https://github.com/nousresearch/hermes-agent
• nanobot: https://github.com/HKUDS/nanobot
• PicoClaw: https://github.com/sipeed/picoclaw
Автоматизация и фреймворки:
• n8n: https://github.com/n8n-io/n8n
• Langflow: https://github.com/langflow-ai/langflow
• LangChain/LangGraph: https://github.com/langchain-ai/langchain
• CrewAI: https://github.com/crewAIInc/crewAI
• AutoGen: https://github.com/microsoft/autogen
• Agno: https://docs.agno.com/
Полезные тулзы:
• RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента
• Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко
• ast-grep: https://github.com/ast-grep/ast-grep - структурный поиск/замена по AST, экономит токены агента при рефакторинге
• Hindsight: https://github.com/vectorize-io/hindsight - долговременная память для агентов: копит факты и помнит когда что было
• fff: https://github.com/dmtrKovalenko/fff - быстрый файловый поиск/греп для агентов
Локалки и прочее API:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, есть временно-бесплатные (DeepSeek V4 Flash, MiMo) + pay-as-you-go без наценки
• llama-тред: >>1652385 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1653365 (OP)
Пропущено 529 постов, 76 с картинками.
>ак вы коупите тот факт, что программисты - ВСЁ?
>Вот я вкатился в айти в 2015м, программировать начал в 2019м.
>В 2023 попробовал нейросети, но через браузер. В 2026 залетел уже в эйяй-агентуру. Эта хуйня решает 99% всех задач и проблем, с которыми стаклиаюсь просто в лоб.
Я коуплю тот факт что я ниасили стать программистом ВОТ ЭТИМ ФАКТОМ, что программисты ВСЁ кроме промышленных, как-то программисты АСУ ТП
>>1660441 (OP)
Нынешний ПК:
i7-6700k
GTX 1080 (8gb)
16 Гб ОЗУ
В чем может быть проблема? Пробовал разные модели, всегда ошибка
Я хочу создать игру в godot. Какую нейросеть использовать? Где научиться как ей пользоваться? дипсик
Аноним
26/07/26 Вск 10:03:37
№
Ответ
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №249 /llama/
Аноним
21/07/26 Втр 19:07:28
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1652385 (OP)
>>1648665 (OP)
Пропущено 520 постов, 107 с картинками.
Годнота, в Chrome поставилась без вопросов, оллам с лмстудиями тоже не понадобилось, подхватила урл из обычной llama.cpp, переводит страницы по кускам, правда долго хз почему, этот же текст просто в веб интерфейсе квенчика быстрее перевести в 10 раз, может всю страницу по нескольку раз засылает вместо абзацев.
--reasoning-budget 100 помог
+ кнопку Floating translate button в расширении включить и переводить выделенные куски только ей - так скорость сразу стала приемлемой
llama_model_load: error loading model: invalid vector subscript
Но при этом работает с тем же услоповским QAT gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf
и работает с gemma-4-26B-A4B-it-abliterix-v6.IQ4_XS.gguf, который вообще левый без QAT с аблитерацией
Это какой-то заговор?