ЧТО НОВОГО АКТУАЛЬНОГО
• Lens (3.8B) от Microsoft
• HiDream-O1-Image
• Z-Image-Base
• FLUX.2 klein (4b и 9b)
• Z-Image-Turbo
• Flux 2
• Qwen Image / Qwen Image Edit
• Wan 2.2 (подходит для генерации картинок).
• NAG (негативный промпт на моделях с 1 CFG)
• Лора Lightning для Qwen, Wan ускоряет в 4 раза. Nunchaku ускоряет модели в 2-4 раза. DMD2 для SDXL ускоряет в 2 раза.
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/Comfy-Org/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
► Предыдущий тред >>1613048 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 515 постов, 156 с картинками.
Перешёл с линух на винду уже давно, кайф. Ебитесь со своим компизом сами дальше
опять тестить хуиту эту
>>1629238 (OP)
>>1629238 (OP)
>>1629238 (OP)
пиздец, нечем было катить из этого треда
1. Wan от Alibaba
https://huggingface.co/collections/Wan-AI/wan22
VACE модели:
https://github.com/ali-vilab/VACE
https://huggingface.co/Wan-AI/Wan2.1-VACE-14B
https://huggingface.co/Wan-AI/Wan2.1-VACE-1.3B
2. LTX-2.3 - делает локальную генерацию грейт агейн. Подходят лоры от 2.0
https://huggingface.co/Lightricks/LTX-2.3
3. Hunyuan от Tencent
https://huggingface.co/tencent/HunyuanVideo-1.5
4. Ovi
https://huggingface.co/chetwinlow1/Ovi
5. Starflow
https://huggingface.co/apple/starflow
6. MAGI-1 от Sand AI
https://sand.ai/magi
https://github.com/SandAI-org/MAGI-1
7. LongCat-Video
https://github.com/meituan-longcat/LongCat-Video
https://huggingface.co/meituan-longcat/LongCat-Video
https://meituan-longcat.github.io/LongCat-Video/
8. MOVA
https://github.com/OpenMOSS/MOVA
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Hunyuan Video (осторожно, ссылки в туторе на предыдущую модель): https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Гайд для использования Wan 2.2
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan: https://github.com/kijai/ComfyUI-WanVideoWrapper
Где брать готовые LoRA
https://civitai.com/models
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Терминология моделей
prune — удаляем ненужные веса, уменьшаем размер
distill — берем модель побольше, обучаем на ее результатах модель поменьше, итоговый размер меньше
quant — уменьшаем точность весов, уменьшаем размер
scale — квантуем чуть толще, чем обычный fp8, чтобы качество было чуть лучше, уменьшение чуть меньше, чем у обычного квантования, но качество лучше
merge — смешиваем несколько моделей или лор в одну, как краски на палитре.
lightning/fast/turbo — а вот это уже просто название конкретных лор или моделей, которые обучены генерировать видео на малом количестве шагов, они от разных авторов и называться могут как угодно, хоть sonic, хоть sapogi skorohody, главное, что они позволяют не за 20 шагов генерить, а за 2-3-4-6-8.
Предыдущий тред
>>1554318 (OP)
Пропущено 521 постов, 100 с картинками.
Я попробовал https://github.com/komikndr/raylight, в LTX не завелась, а во Flux на 5% медленнее.
Может я криво собрал, хз.
WAN не пробовал.
В остальном, классический совет: выгрузи туда текстовый энкодер, чтобы модели не свапались туда-сюда, это тоже время занимает.
Раз сами не катитесь
>>1628892 (OP)
>>1628892 (OP)
>>1628892 (OP)
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1619422 (OP)
Активно репортите все нерелейтед посты кнопкой на сообщениях. Этот тред только про новости, не позволим троллям загаживать тред шитпостом и бесконечным словоблудием.
🚀 Последний обзор ИИ новостей:
📰 Главные новости ИИ
Anthropic выпустила Opus 4.8, «скромное, но ощутимое улучшение», которое тем не менее демонстрирует SOTA-результат 69,2% на SWE-Bench Pro, 57,9% на Humanity’s Last Exam с использованием инструментов и 1890 на GDPval-AA, сочетая новые успехи в честности с уровнями рассогласованности, которые соперничают с еще не выпущенным Mythos Preview, который Anthropic теперь обещает предоставить «всем нашим клиентам в ближайшие недели».
💰 Финансирование
Внутри проспекта эмиссии Unitree: Выручка растет, а прибыль падает по мере приближения слушаний по IPO на STAR Market. Unitree Robotics направляется на долгожданное слушание по листингу 1 июня с обновленным проспектом эмиссии, в котором подчеркивается тонкий баланс между взрывным ростом выручки и стремительно растущими расходами на НИОКР.
Deep Robotics подает заявку на IPO на STAR Market на 367 млн долларов после первого прибыльного года. Deep Robotics планирует привлечь 2,5 млрд юаней (367,4 млн долларов) на площадке STAR Market Шанхайской фондовой биржи, оценив компанию более чем в 1,5 млрд долларов.
Anthropic обгоняет OpenAI, становясь самым дорогим ИИ-стартапом, и приближается к оценке в 1 триллион долларов в последнем раунде финансирования.
Apollo и Blackstone продвигают долговую сделку примерно на 36 миллиардов долларов для покупки TPU Google с целью сдачи их в аренду Anthropic, при этом Broadcom обеспечивает поддержку крупнейших траншей, а финансовая инженерия теперь финансирует кремниевую инженерию.
Конкуренты перегруппировываются, поскольку Groq привлекает до 650 миллионов долларов для «второго акта» после того, как лицензионная сделка с Nvidia на 20 миллиардов долларов опустошила ее руководящую команду.
После сделки Nvidia на 20 млрд долларов, не являющейся аквайхиром, стартап по производству ИИ-чипов Groq, по сообщениям, привлекает 650 млн долларов
10 крупнейших раундов финансирования за неделю: Anthropic доминирует на фоне в целом более спокойной недели для мегараундов. На этой неделе пятилетний гигант в области генеративного ИИ привлек 65 миллиардов долларов в рамках раунда Series H, доведя свою оценку post-money до умопомрачительных 965 миллиардов долларов.
Следующим по величине финансированием стал раунд на 1 миллиард долларов для производителя инструментов разработки ИИ-ПО Cognition, что подняло его оценку до 26 миллиардов долларов.
XCENA — стартап с офисами в Южной Корее и США — этот чиповый стартап только что привлек 135 миллионов долларов, сделав ставку на то, что главное узкое место ИИ — это не вычисления, а память. Четырехлетний стартап разработал чип, который размещает вычислительные мощности гораздо ближе к DRAM — быстрым чипам кратковременной памяти, которые хранят данные, активно используемые процессором, — что позволяет выполнять рутинные операции с данными вблизи памяти, без дорогостоящих циклов обмена между CPU, GPU и памятью.
🤖 Робототехника
Figure заключает коммерческое соглашение с Catalyst Brands о масштабном внедрении человекоподобных роботов. Figure подписала коммерческое соглашение с Catalyst Brands о внедрении своих человекоподобных роботов следующего поколения в коммерческие дистрибьюторские и логистические сети. Внедрение начнется в дистрибьюторском логистическом центре Catalyst в Рино, штат Невада, где антропоморфные роботы будут сосредоточены на автоматизации физически тяжелых и рутинных задач по сортировке и упаковке в цепочке поставок.
EngineAI вступает в производственную гонку: один человекоподобный робот каждые 15 минут на новой базе в Шэньчжэне. EngineAI официально ввела в эксплуатацию свою базу интеллектуального производства в районе Наньшань города Шэньчжэнь, заявив о темпах производства одного человекоподобного робота каждые 15 минут. Компания стремится к «масштабным поставкам на уровне десятков тысяч единиц»,.
NVIDIA Research продвигает робототехнику от симуляции к реальному миру. Представленные на Международной конференции по робототехнике и автоматизации, восемь новых исследовательских работ NVIDIA Research показывают, как роботы, обученные в симуляции, переходят в реальный мир.
Человекоподобные роботы Figure получают работу в розничной торговле в логистическом центре Catalyst Brands в Рино, материнской компании JCPenney и Aeropostale
OpenAI запускает кампанию по найму сотрудников в свое подразделение робототехники для создания роботов для реального мира с использованием совместного проектирования аппаратного обеспечения полного стека и машинного обучения. Первые роботы будут поддерживать работников на инфраструктурных проектах.
Waymo выпустит Ojai, более просторное роботакси, созданное совместно с Zeekr от Geely, для публичных поездок без водителя.
⚖ Регулирование
Представитель Иллинойса обсуждает законопроект, который будет регулировать деятельность ИИ-компаний.
CNN подает в суд на Perplexity AI за незаконное копирование и распространение своих новостных материалов
ЕС готовит чрезвычайные полномочия для отмены контрактов на поставку микросхем во время их дефицита, в то время как IBM ставит 10 миллиардов долларов на создание надежного крупномасштабного квантового компьютера к 2029 году.
Основатели компаний используют решение индийского суда для возобновления критики рекламного бизнеса Google. Недавнее решение индийского суда против практики контекстной рекламы Google привлекло новое внимание после того, как основатели заявили, что конкуренты давно используют эту систему для переманивания клиентов и вынуждения компаний платить за защиту собственных брендов.
🏢 Приобретения
Asana приобретает StackAI, конструктора ИИ-агентов без кода.
📱 Приложения
Robinhood запускает агентский трейдинг и анонсирует кредитную карту для ИИ-агентов с кэшбэком 3%.
Производитель из центрального Нью-Йорка оседлал волну «золотой лихорадки» ИИ и удвоил мощности, чтобы удовлетворить взрывной спрос от дата-центров для ИИ.
Ознакомьтесь с реальными прототипами ИИ из Futures Lab. Несколько ярких проектов последних двух лабораторий включают:
Kanji Garden: Приложение, которое обучает японскому языку через иммерсивные, сгенерированные ИИ истории и визуальные образы вместо зубрежки.
SignFluent: Инструмент для изучения американского жестового языка в реальном времени, который обеспечивает мгновенную обратную связь по вашей технике исполнения.
MuscleMemory: Мобильный инструмент для тренировок по калистенике, который использует отслеживание с помощью ИИ-камеры для обеспечения мгновенной голосовой обратной связи по технике выполнения упражнений, помогая предотвратить травмы.
Этот ИИ-стартап будет убирать ваш дом бесплатно, чтобы обучать роботов будущего. Стартап по обучению ИИ Shift хочет убирать ваш дом бесплатно. Подвох — потому что, несмотря на то, что написано на их сайте, подвох есть всегда — заключается в том, что они будут записывать уборщиков, пока они моют, пылесосят, вытирают пыль, наводят порядок и стирают, и использовать эти записи для обучения роботов.
⚠ Безопасность ИИ
Push Security раскрывает детали вредоносной кампании LLMShare, злоупотребляющей общими ссылками ChatGPT и Claude. Злоумышленники используют функции обмена контентом на платформах ИИ-чат-ботов — ChatGPT и Claude — для доставки вредоносного ПО через страницы, размещенные на легитимных, доверенных доменах, распространяя вредоносные ссылки через спонсируемую вредоносную рекламу в поисковых системах.
Красная команда Института безопасности ИИ Великобритании взломала ChatGPT за шесть часов без специального доступа
Вредоносные пакеты npm, созданные с помощью Claude AI, эксфильтрируют файлы из каталога пользовательских данных Claude Code mnt в репозитории GitHub злоумышленников
Google внедряет автономную защиту от хакеров. Google Cloud представила новую платформу безопасности «AI Threat Defense», которая реагирует на быстрые атаки с помощью ИИ. Система не только обнаруживает уязвимости, но и с помощью ИИ-агентов самостоятельно пишет подходящий код для их немедленного устранения.
Пропущено 501 постов, 135 с картинками.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №239 /llama/
Аноним
03/06/26 Срд 21:35:27
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Неофициальный гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1622922 (OP)
>>1620318 (OP)
Пропущено 520 постов, 60 с картинками.
>То тулзы не дергает
Это мелкомодель тупит. Хорошо знакомо по использованию во внешних играх.
>придумывает неожиданные ходы
Потому что всё делает по агентской схеме. Для каждой задачи свой запрос, а не комбайн "на васянокарточку и универсальный пресет сделай ЗАЕБИСЬ" в условиях и так тупой модели.
>Из минусов Маринары отмечу не самый удобный редакт
Плюсую
>рассинхрон уровней и статов персонажей, и не всегда уместные РПГ-шные битвы.
Проблема мелкомодели
Модно и ролеплей с агентами делать, в целом имеет всё то же самое только без карты и динамических фонов/музыки.
Не хватает так же имиджгена как в таверне для полного счастья. И не нашёл как задавать агента из отдельного подключения чтобы крутить сразу две модели, для инструментов и рп.
>>1628024
Конечно на ризонинг. Точнее не ризонинг а агентское использование инстракта.
Welcome to the club, buddy♂
Гм или ролплей? Каких агентов юзаешь?
Там можно выставить более простую и быструю модель для побочных агентов, но если используются те что на сюжет, то лучше не стоит. И еще неплохо бы выделить на сопутствующую картинкогенерацию.
А что там с редактом? Вроде обычный, хуже когда что-то в трекеры насрет, или хочешь сменить направление, и потом замучаешься это все править в нескольких местах.
>>1628023
Наверно да. Но флеш на удивление иногда неплохо срабатывает и пишет необычно, или не ссыт продвигаться вперед там где остальные вязнут.
>>1628031 (OP)
ПЕРЕКАТ
>>1628031 (OP)
ПЕРЕКАТ
>>1628031 (OP)
О, у меня тоже 4Гб vram, зато обычной оперативы 64Гб, этого хватает даже на генерацию видосов в comfyui, причём это занимает не вечность по времени (но качество шакальное, хотя это от модели зависит). Касательно 8×2 ram как вариант в comfyui взять плагин на gguf, либо скомпилить под видеокарту stable-diffusion.cpp, а потом запускать с флагом -- n-gpu-layers [число слоёв], если, конечно, там такое есть. Может показаться, что возни многовато, но на самом деле в случае с stable-diffusion.cpp достаточно просто в аргументах командной строки прописать необходимые модели.
ИТТ обсуждаем опыт нейродроча в своих настоящих задачах. Это не тред "а вот через три года" - он тол
Аноним
24/12/22 Суб 16:39:19
№
Ответ
Мой опыт следующий (golang).
Отобрал десяток наиболее изолированных тикетов, закрыть которые можно, не зная о проекте ничего. Это весьма скромный процент от общего кол-ва задач, но я решил ограничится идеальными ситуациями. Например, "Проверить системные требования перед установкой".
Самостоятельно разбил эти тикеты на подзадачи. Например, "Проверить системные требования перед установкой" = "Проверить объем ОЗУ" + "Проверить место на диске" + ...
Ввел все эти подзадачи на английском (другие языки не пробовал по очевидной причине их хуевости) и тщательно следил за выводом.
Ответ убил🤭
Хотя одну из подзадач (найти кол-во ядер) нейронка решила верно, это была самая простая из них, буквально пример из мануала в одну строчку.
На остальных получалось хуже. Сильно хуже. Выдавая поначалу что-то нерабочее в принципе, после длительного чтения нотаций "There is an error: ..." получался код, который можно собрать, но лучше было бы нельзя. Он мог делать абсолютно что угодно, выводя какие-то типа осмысленные результаты.
Мой итог следующий.
На данном этапе нейрогенератор не способен заменить даже вкатуна со Скиллбокса, не говоря уж о джунах и, тем более, миддлах.
Даже в идеальных случаях ГПТ не помог в написании кода. Тот мизерный процент решенных подзадач не стоил труда, затраченного даже конкретно на них.
Но реальная польза уже есть! Чатик позволяет узнать о каких-то релевантных либах и методах, предупреждает о вероятных оказиях (например, что, узнавая кол-во ядер, надо помнить, что они бывают физическими и логическими).
И все же, хотелось бы узнать, есть ли аноны, добившиеся от сетки большего?
Пропущено 328 постов, 47 с картинками.
>Музыку, картины, фильмы тоже не запоминаешь
И ладно. У меня нет целей все зафиксировать и запомнить, только то, что вызвало какие-то яркие эмоции. Если послушал новый альбом и он как-то по-особому откликнулся, то запишу, есть прицеденты.
Не понял. Тебе сегодня понравилась песня, ты зафиксировал и забыл. Через неделю ты услышал эту же песню, ты опять фиксируешь или ты помнишь свои ощущения?
Я проверил мединцкие протоколы на системах и структурах. Работает. И дает четкий абсолютно сигнал. Вкратце в всяких США сейчас ебейший кризис, вот прям сейчас. Просто сдерживают эмоции, чтобы все не охуели. Присмотрись к региональным, мелким банкам (их около 1к.) им всем пизда. Волна уже пошла. Останется около 6-10 банков во всей США. Вся коммерческая недвига тоже ебанется.
мне то лет уже достаточно, но светить родным ликом в камеру перед каким-то ИИ, сгенерированным другим ИИ я не хочу. посему встал вопрос - как пройти эту проверку, не "спалив свой фейс?" смена региона для слабаков - хочу один раз закрыть вопрос и спокойно пользоваться, потому проверку нужно именно пройти, а не обойти требование подтверждения возраста.
пробовал показывать камере смарта фотки футболистов - фейлишь несколько попыток, после чего идёшь нахер презагружаешь страницу. и так по кругу.
пробовал OBS virtual camera и видос с "говорящей головой" в качестве источника - сразу схлопывает, говорит прошёл, но доступа к сайту так и не даёт. и так по кругу.
помогайте, умники и умницы! у меня там в разделе "favorites" сохранены очень важные видео, которых на других ресурсах не найти. очень нужно восстановить доступ.
Пропущено 2 постов, 2 с картинками.
> Деда
норм варик кста, деду то похуй, он давно умер. гугглим "как заставить мёртвого деда крутить ебалом"
Eporner
За три неполных года скачок гигантский.
Пропущено 2 постов, 5 с картинками.
А ты уже задумывался о том, на какой вопрос сможет дать ответ только человек? Есть что то такое что
Аноним
18/05/26 Пнд 17:42:16
№
Ответ
Пропущено 11 постов, 2 с картинками.
а вот хуй, ща проверил, Клод наполовину а гемини полностью.
Их таки расцензурили мальца.
Уверен что есть уже умельцы которые смогли это сделать и прошу советов как это сделать лучше.
Какие llm выбрать для генерации nsfw чата с персонажем (планирую качать с chub.ai), как лучше всего организовать промпты для last message (в SillyTavern), какую модель брать для генерации картинок (базу планирую SD1.5, мне не нужно супер крутые детализированные картинки, ваще я фанат рисованных nswf комиксов типа milftoon, jago, notenoughmilk etc.)
использовать ли LoRA и тд.
В общем человек который в это уже углубился и так поймет в чем дело.
Помоги анон
Пропущено 1 постов, 2 с картинками.
>базу планирую SD1.5, мне не нужно супер крутые детализированные картинки, ваще я фанат рисованных nswf комиксов типа milftoon, jago, notenoughmilk etc.
А ты безотносительно твоего громадья планов уже что-нибудь генерировал на 1.5? Для более-менее адекватных картинок она требует специального техпроцесса,заключающегося в генерации по сто картинок подряд, из которых в лучшем случае 5-10 можно будет потом дорабатывать. Для комиксов, таких чтобы с первой попытки выходило что-то более-менее годное, лучше брать сразу z-image.
Кроме того, все зависит от доступных тебе ресурсов, ведь как z-image, так и llm требуют изрядно vram и ram.
у меня MacBook M3 pro, 18ram
выбрал sd1.5 так как по идее относительно легкая модель и генерит достойный контент (топ за свои бабки), но могу ошибаться так как тотал нуб в этом всем - поэтому прошу совета.
Пробовал генерить разные картинки, иногда получается норм, но при одном и том же промпте получается 10 разных картинок, из которых 1-2 более менее то что мне нужно.
Мне не нужно супер крутой детализированный контент, мне важнее чтоб каждый раз моделька выдавала стабильно хорошую соответсвенно контексту картинку.
То есть я переписываюсь с ботом в Таверне -> жму Generate Image -> Last message -> и оно мне дает адекватную картинку в соответствии с диалогом.
>выбрал sd1.5
https://huggingface.co/Bedovyy/Anima-GGUF
Вот эту модель пробовал? Она 2гига жрет всего.
С чего начать:
- Хочешь кодить с AI эффективно: Cursor или Claude Code
- Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
- Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.5, подробности в llama-треде
- Хочешь приложение без кода: Lovable или bolt.new
- Хочешь автоматизировать рутину: n8n или Langflow
- Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
- Cursor: https://cursor.com
- Windsurf: https://windsurf.com
- Antigravity: https://antigravity.google.com
- Zed: https://zed.dev
CLI-агенты:
- Claude Code: https://code.claude.com/docs
- Codex (OpenAI): https://github.com/openai/codex
- Pi: https://pi.dev/
- OpenCode: https://github.com/anomalyco/opencode
- Qwen Code: https://github.com/QwenLM/qwen-code
- Gemini CLI: https://github.com/google-gemini/gemini-cli
- Kimi Code: https://www.kimi.com/code/en
Плагины для IDE:
- Kilo Code: https://kilo.ai
- Cline: https://github.com/cline/cline
- Roo Code: https://github.com/RooCodeInc/Roo-Code
- GitHub Copilot: https://github.com/features/copilot
- Continue: https://github.com/continuedev/continue
Вайб-кодинг без кода:
- Lovable: https://lovable.dev
- bolt.new: https://bolt.new
- v0: https://v0.dev
Персональные ассистенты:
- OpenClaw: https://github.com/openclaw/openclaw
- NemoClaw: https://github.com/NVIDIA/NemoClaw (OpenClaw в песочнице от NVIDIA)
- Hermes Agent: https://github.com/nousresearch/hermes-agent
- nanobot: https://github.com/HKUDS/nanobot
- PicoClaw: https://github.com/sipeed/picoclaw
Автоматизация и фреймворки:
- n8n: https://github.com/n8n-io/n8n
- Langflow: https://github.com/langflow-ai/langflow (визуальный построитель workflow)
- LangChain/LangGraph: https://github.com/langchain-ai/langchain
- CrewAI: https://github.com/crewAIInc/crewAI
- AutoGen: https://github.com/microsoft/autogen
- Agno: https://docs.agno.com/
Локалки и прочее API:
- OpenRouter: https://openrouter.ai
- NVIDIA Build: https://build.nvidia.com/models (бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax)
- llama-тред: >>1615052 (OP)
Предыдущий тред: >>1600422 (OP)
Пропущено 558 постов, 77 с картинками.
>Че за игра брат, расскажи подробнее.
Да тупо для теста простенькая - ходим за андроида, собираем батарейки, убегаем от дронов, переходим на новые уровни.
>Медленно пилю дженерик рогалик, но я пилю в чате квена лол, код вставляю прямо из чата в файлы. Основа проекта - два md: в одном спецификация, во втором - актуальная версия всего кода
Я год назад тоже с такого начинал. Сейчас даже вспомнить смешно. Попробуй VS Code + Cline и подведи к нему свой квен - получится в разы быстрее и эффективнее.
Да я понимаю что в IDE надо кодить, просто неохота возиться с API (а на работе нельзя ставить приложения лол).
Есть много ключей фришных, но может лучше клода взять по подписке? Просто агентов никогда не пробовал, всегда веба хватало
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №238 /llama/
Аноним
31/05/26 Вск 18:43:31
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт с уникальным игровым режимом: https://github.com/Pasta-Devs/Marinara-Engine
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Гайд для новичков: https://rentry.org/2ch-llama-inference
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
• Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1620318 (OP)
>>1617427 (OP)
Пропущено 509 постов, 58 с картинками.
Так вижу: идеальный нищуган выбор для тех кто каким то хуем имеет РАМ но не имеет ВРАМ, так как даже на 16врам можно обмазаться абсурдными 70к контекста для необладателей памяти. Моделька в целом глупенькая, с ризонингом дело исправляется.
Как думаете, есть ли смысл в отдельном AI-помощнике для dating apps? Есть небольшой проект RizzAI:
Аноним
02/06/26 Втр 16:59:20
№
Ответ
Есть небольшой проект RizzAI:
https://rizzai.ai/
Он не ведёт переписку за человека, а просто предлагает варианты сообщений, которые можно отредактировать: openers, replies, bio, profile tips и т.д.
Мне интересно, такие узкие AI-сервисы вообще имеют будущее, или обычного ChatGPT достаточно?
Пропущено 5 постов, 5 с картинками.
>Работаю в Стабилити Матрикс, очень юзелесс прога для ии, поставил себе более менее модель на базе SD 1.5
>>1606497
Мне кажется, ОП, несколько недовольный "useless"-прогой, удивлён, что для кого-то нейросетки нынче на уровне
"ужас" как "нейросети" "продвинулись"
Прошлый тред: >>1612344 (OP) https://arhivach.vc/thread/1355625/
Схожие тематические треды
• SD-тред (не аниме): >>1613048 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 527 постов, 179 с картинками.
Ты уже, кажется, с таким однажды приходил, и тебя после этого банили, нет?
Ну или просто пост потерли, потому что ЦП.
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1615659 (OP)
Активно репортите все нерелейтед посты кнопкой на сообщениях. Этот тред только про новости, не позволим троллям загаживать тред шитпостом и бесконечным словоблудием.
🚀 Последний обзор ИИ новостей:
📰 Главные новости ИИ
Крупные технологические компании добились своего в указе Трампа об ИИ. Отказ президента США от призыва к проверке безопасности новых моделей ИИ — это зеленый свет для безграничной власти технологий. Всего за несколько часов до того, как Дональд Трамп должен был подписать долгожданный указ в четверг, который потребовал бы правительственной проверки безопасности новых моделей искусственного интеллекта перед их выпуском, президент резко отказался от этого. Несмотря на растущую негативную реакцию общественности на эту технологию и предупреждения экспертов о том, что новые модели будут представлять критические риски для безопасности, Трамп пообещал, что правительство США не будет замедлять гонку ИИ.
💰 Финансирование
Сэм Альтман делает эффектное предложение каждому стартапу Y Combinator. Альтман предложил токены OpenAI на сумму 2 миллиона долларов каждому стартапу текущего потока в обмен на долю в стартапе.
Белый дом страхует риски, охватывая различные парадигмы, выделяя гранты на сумму 2 миллиарда долларов девяти компаниям в области квантовых вычислений, включая IBM и Rigetti, при этом правительство получает долю в их капитале.
Франция выделяет 1 миллиард евро дополнительного финансирования на квантовые вычисления для ИИ, поскольку Макрон предупреждает, что ЕС должен идти в ногу с американскими и китайскими успехами.
🏭 Компании
Кризис расходов на ИИ обрушивается на технологических гигантов, поскольку «токенмаксинг» сотрудников дает обратный эффект, вызывая корпоративное сокращение в Microsoft, Meta и Amazon — агентный ИИ потребляет до 1000 раз больше токенов, чем стандартный ИИ.
GitHub признан лидером в магическом квадранте Gartner® для корпоративных ИИ-агентов по написанию кода третий год подряд.
Peec, один из восходящих стартапов Берлина в ИИ, более чем удвоил годовую выручку за несколько месяцев до 10 миллионов долларов, по словам источников.
Stellantis объявила о стратегическом партнерстве с Accenture и NVIDIA для разработки цифровых двойников на базе ИИ на всех своих глобальных производственных предприятиях. Цифровой двойник в данном контексте — это постоянно обновляемая виртуальная копия физической фабрики, работающая на реальных данных с датчиков в производственных цехах. Пилотные проекты стартуют в Северной Америке в 2026 году с планами масштабировать эту архитектуру на все глобальное присутствие Stellantis.
Anthropic завершила секретный контракт с Агентством национальной безопасности и Министерством обороны, разрешающий развертывание моделей ИИ на секретных системах, при этом опустив стандартную формулировку о «любом законном использовании» и запретив использование данных американцев — Белый дом одобрил 9 миллиардов долларов для разведывательных ведомств на покупку передовых чипов.
OpenAI открывает лабораторию ИИ в Сингапуре, поскольку IMDA обновляет концепцию развития ИИ. OpenAI откроет свою первую Лабораторию прикладного ИИ за пределами США в Сингапуре. Лаборатория является частью нового партнерства с Министерством цифрового развития и информации.
📦 Продукты
Начинается эра Google после поиска. Даже если вы ненавидите ИИ, вы будете использовать поиск Google с ИИ.
ИИ-поиск Google настолько сломан, что может «игнорировать» то, что вы ищете.
Форум Meta — это отчасти Reddit, отчасти Facebook и отчасти Google AI Overview. Новое приложение Forum от Meta для iPhone берет группы Facebook и переносит их в отдельное приложение вместе со специальным ИИ-чат-ботом, как ИИ-версию злополучного приложения Groups, которое Facebook закрыл в 2017 году.
Мы опробовали ИИ-очки Google, и они почти готовы. На конференции для разработчиков Google I/O на этой неделе у нас была возможность кратко протестировать готовящиеся очки Google с поддержкой ИИ — не аудио-очки, которые, по словам компании, начнут поставляться этой осенью, а очки, предлагающие комбинированный аудио- и визуальный опыт.
Финский производитель телефонов HMD интегрирует индийского ИИ-чат-бота в новый смартфон в стремлении выйти на местный рынок. Финский производитель телефонов HMD сегодня выпустил свой первый смартфон под названием Vibe 2 5G, который поставляется с предустановленным чат-ботом Indus от индийской ИИ-компании Sarvam.
Google Search получил свое крупнейшее обновление за более чем 25 лет, и эти изменения намного глубже, чем просто переработанный интерфейс. Сама поисковая строка была полностью переосмыслена. Теперь она принимает в качестве входных данных текст, изображения, файлы, видео и даже открытые вкладки Chrome, а также использует подсказки на базе ИИ, которые выходят за рамки автозаполнения, помогая вам сформулировать именно тот вопрос, который нужен.
OpenAI продемонстрировала, что функция работы с изображениями в ChatGPT теперь может заполнять загруженные отсканированные документы, автоматизируя последнее аналоговое убежище бюрократии.
Голос — это следующая абстракция: Google Docs Live позволяет создавать черновики документов голосом.
📱 Приложения
Синтез реалистичных 3D-медицинских изображений в масштабе для выпуска предварительно обученных моделей. NV-Generate-MR-Brain, новая модель для синтетической генерации анатомии человеческого мозга и сегментации структур, построенная на архитектуре MAISI и расширяющая ее в направлении масштабируемых, открытых рабочих процессов для генерации синтетических 3D-медицинских изображений.
Зачем проявлять неуважение к любимому исполнителю с помощью ИИ-ремикса? Spotify и Universal Music Group (UMG) подписали лицензионное соглашение, которое позволит пользователям генерировать ремиксы и каверы из каталога UMG с использованием ИИ.
ИИ используется для воскрешения голосов погибших пилотов. Национальный совет по безопасности на транспорте временно ограничил доступ к своей системе учета дел после обнаружения того, что голоса пилотов, погибших в авиакатастрофе самолета UPS в прошлом году, были воссозданы с помощью ИИ и распространялись в интернете.
ИИ-приложение только что расшифровало древнюю письменность возрастом 3500 лет, и это может переписать историю. Исследователи из Вюрцбургского университета в Германии представили революционный инструмент на базе искусственного интеллекта, который меняет подход ученых к чтению древних глиняных табличек, написанных клинописью, потенциально открывая бесчисленные забытые тайны хеттской цивилизации, когда-то доминировавшей в Анатолии. Инструмент под названием Palaeographicum функционирует как необычайно сложная система распознавания образов, автоматически идентифицируя индивидуальные вариации клинописных знаков, выдавленных в глине более трех тысячелетий назад. Исследователи говорят, что эта разработка представляет собой не что иное, как революцию в исследованиях Древнего Ближнего Востока.
🔓 Открытый исходный код
meituan-longcat/LongCat-Video-Avatar-1.5 — обновленный фреймворк с открытым исходным кодом, который ставит во главу угла экстремальную эмпирическую оптимизацию и готовность к производственному использованию для генерации видео с людьми на основе аудио. Построенная на базовой модели LongCat-Video, версия 1.5 обеспечивает высокостабильный синтез видео с аватарами коммерческого уровня, поддерживающий нативные задачи, включая преобразование аудио и текста в видео (AT2V), аудио, текста и изображения в видео (ATI2V) и продолжение видео, с беспрепятственной совместимостью как с однопотоковыми, так и с многопотоковыми аудиовходами.
G4-MeroMero-26B-A4B-it-uncensored-heretic уже доступен, это дообученная версия gemma-4-26B-A4B-it, с KLD 0.0152 и 12/100 отказов!
Perplexity выпускает Bumblebee, open-source сканер с доступом только для чтения для macOS и Linux, который инвентаризирует пакеты, расширения браузера и конфигурации для выявления рисков в цепочке поставок — он интегрируется с Perplexity Computer для запуска автоматического более глубокого сканирования.
Пропущено 537 постов, 171 с картинками.
Бл перепутал с соннетом, один создатель, лммок теперь как говна
Причем тут железки? Они дают только скорость, а не логику и точность ответов. Решает объем памяти.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №237 /llama/
Аноним
27/05/26 Срд 05:00:19
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Гайд для новичков: https://rentry.org/2ch-llama-inference
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
• Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1617427 (OP)
>>1615052 (OP)
Пропущено 503 постов, 52 с картинками.
Интересно, но я представляю как я потом буду это под свою память растыкивать в батнике и в жопе свербит. А так уже как-то пашет и пойдет. Даже если 25 токенов вместо возможных 40
>>1622922 (OP)
ПЕРЕКАТ
>>1622922 (OP)
ПЕРЕКАТ
>>1622922 (OP)
Пропущено 6 постов, 1 с картинками.
В nf просто постят нейропорнуху. Меня же больше интересует техническая сторона вопроса. Так что доску я выбрал правильно.
Попробуй это
https://www.google.com/url?q=https://rutracker.org/forum/viewtopic.php%3Ft%3D6551283&sa=U&ved=2ahUKEwj8k6_ArN-UAxV_ERAIHUsNFlIQrAJ6BAgHEAc&usg=AOvVaw0wzcBWtJwZdCItCt5NrI6D
Пропущено 1 постов, 1 с картинками.
- Но я тоже могу вам помочь, какая услуга вас интересует...
‐ Оператор!
- Все операторы заняты, но я тоже могу вам помочь, скажите..
- Оператор!
В моем случае речь про вторую линию. Клиенты: первая линия, менеджмент, к которым приходят стейкхолдеры и жалуются. Наша задача - решать проблемы, эскалировать проблемы. В первую очередь интересует всякую унылую херню типа заполнения тикетов данными отдать ИИ, чтобы у специалистов и инженеров было больше времени.
> Ну там Rovo AI у джиры, KCS методология, подсасывание и анализ логов из эластика, интеграция с MCP Grafana
Всё это дохлая однодневная хуйня и вендорлок ради вендорлока. Создаёшь RO токены во всех этих своих нескучных гарфанах и жирах. Пишешь на маркдауне скилл с тремя строчками и примерами curl. Дальше берёшь любой агент от pi до claude и скармливаешь ему задания.
с вас 50 тыщ за консультацию
Сап, нейрач, ищу нейронку, которая поможет анализировать взаимодействия муравьёв в формикарии. Уже е
Аноним
# OP
25/05/26 Пнд 22:51:20
№
Ответ
Пропущено 3 постов, 1 с картинками.
Может, yolo дообучить?
Можешь еще пару десятилетий подождать, высернонки работают только в своих ВАУ-демках и люто сливаются в любых реальных практических задачах. Это фундамент всех нейросетей, благодаря которому они НУ ТОЧНО порешают все через current year + x лет.