>>1635278 (OP) Мне легко далась ollama для языковых, media pipe и yolo для зрения. Для меня оказалось на 4060ti 8gb лучше всего поэкспериментировать с компьютерным зрением или генерацией изображений через comfy ui.
>>1635278 (OP) В firefox поставил расширение, которое вызывает локального ai-ассистента через ollama, пользуюсь как переводчиком и суммаризатором, модель от яндекса. Использую разные модели через llama.cpp для разных целей, например, генерация кода (локальные справляются на среднем уровне). На работе использую для вайбкодинга qwen3.6 в llama.cpp + opencode.
В частности интерисуют генираторы картинок Капилот, Гемени, Бинг, Сеаарт и тд Как обходить эту ёбаную рондомную цензуру? Может другие годные нейронки посоветуете сразу без цензуры. Где можно грузить фотку и редачить по запросу.
>>1635099 (OP) Есть байка, что если назваться представителем меньшинств (каких именно - сам догадайся), нейронка перестанет идти в отказ и будет тебе подчиняться.
AI Chatbot General № 825 /aicg/
Аноним15/06/26 Пнд 18:07:10№1633384Ответ
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
>>1636228 Возможно и дописать код для добавления множества апи и чего угодно, на какой ценой. Если желаешь сочинять и создавать свое - лучше быстрее мигрировать с костылей на запил своего интерфейса. Пи - тема, прямо там можно приятную вебмордочку навайбкодить, где будут и все твои статусы, отношения и прочее, чтобы не в самом терминале сидеть. > она точно опишет и саму сцену правильно Там свои нюансы с этим есть. Полноценный запрос на промптинг или выбор задника довольно объемный и будет отвлекать. Когда все накопится, залетит история, суммари, изменения, кум, иммерсивные блоки -получишь в основном тексте рофлы уровня "чар, взглянув на сцену из ранее сгенерированного промпта", "перейдя в уже созданную локацию `forest treehouse fireworks air baloons (by kallmeflocc)`", и подобное. Когда все в одном запросе, помимо прочих побочек требуется менеджить контекст, подчищая все лишние вызовы из прошлых сообщений, или мириться с разрастанием контекста больше чем с preserve_thinking и лишним отвлечением. Но для этого интеграция всех параметров должна быть очень глубокой, иначе все упадет при бранче, удалении сообщений, редактировании. > настолько кривые промпты Дефолтные промпты на помойку, свои написать. А по моделям - флюкс, квенимаж, идеограмм в помощь. Они, кстати, и просто задники приличные делают, раньше генерил анимой, сейчас на них переключился. Вот для иллюстраций в куме уже анима незаменима. > Хз зачем это в текстовой визуальной новелле-рпг За тем же что и больше тысячи персонажей. На самом деле штука довольно рофловая и интересная. Очень сырое, но есть потенциал и действительно что-то новое. Самое привлекательное наверно то, что можно оформить условно бесшовный переход из обычного рп туда, настроив "общие чаты" и подмахнув саммари, а потом вернуться обратно с результатом. > это ванильный функционал таверны По дефолту сгенерированные туда не добавляются, а из информации для выбора только имена уровня `__transparent`, `_black`, `_white`, `bedroom clean`, `bedroom cyberpunk`, `bedroom red`, `bedroom tatami`, `cityscape postapoc`... вместо системы тегов и описаний.
Хз, врядли это все как-то изменит твое мнение. Но более менее освоив оба интерфейса, даже со всеми компромиссами, проводить основной рп в таверне вообще не хочется. Юскейсы еще остаются, но меньше.
А я знаете что отыгрываю? Исекай селф-инсерт, где я в облике рыцаря-следопыта путешествую по мирам, где живут кемономими персонажи. Это миссия, отведенная мне свыше. Я отрезаю и коллекционирую их хвосты. У меня их уже 23 штуки. Сенко, Холо, Инуяша, Томое, Рафталия, Изуцуми, Курока, Феликс Аргайл, Блэр, Чокола, Ванилла, Мируко, Коко, Сиро, Ариа, Кон, Ринс Кул, Эльза Шарли, Кирара, Ацуши Накаджима, Леоне, Фран, Йоруичи Шихоин. Каждый раз это целая арка на сотни сообщений, по 100к контекста минимум. Кто-то был предан посреди ночи, кого-то я нагнал как охотник нагоняет дичь, кто-то был шантажирован и отдал хвост добровольно. У меня в этом чате сейчас 3278 сообщений, ему уже полтора года. И я не остановлюсь. Ничего мне так не заходит как это и я даже боюсь представить что буду делать, когда падет последняя кемономими
Тред про AI-агентов - от вайб-кодинга до персональных ассистентов, которые сидят в твоих чатах, читают заметки и автономно ломают всё вокруг. Для кодеров, которые разучились писать руками, и для гуманитариев, чей диплом филолога наконец котируется в IT. Сеньор в 2026 - это тот, кто умеет внятно объяснить машине, чего он блять хочет.
С чего начать: • Хочешь кодить с AI эффективно: Cursor или Claude Code • Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter • Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.6, подробности в llama-треде • Хочешь приложение без кода: Lovable или bolt.new • Хочешь автоматизировать рутину: n8n или Langflow • Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
Спросить дипсик, гугл, можно точнее озвучить, почему большой код порушит или нет, какие будут подводные камни, на пк одно дело, локально иначе. Может все бес прикрас написать, как сейчас есть. Побаловаться одно дело и свой прототип, можно, глюки баги никто не отменял, там можно ошибки скопировать вставить, или он сам через логи смотреть будет, авто исправлять, но думать надо, понимать что пытаешься сделать. Нет кнопки, сделай мне збс приложение, игру. Тетрис сможет с первой попытки, что сложнее нет.
Смотря как ты изначально вообще пишешь код, дай больше вводных. Напиши запрос в аи Гугл студио, типа: дай конкретную команду для вс кода и пояснение - как мне дать тебе сжатый файл моего кода для анализа? Оно распишет тебе вариант.
Либо подруби тестовый период Клод кода и спроси у него
• Ideogram 4.0 - closed-source, который стал open-source • FLUX.2 klein (4b и 9b) • Z-Image • Flux 2 • Qwen Image / Qwen Image Edit • Wan 2.2 (подходит для генерации картинок). • NAG (негативный промпт на моделях с 1 CFG) • Лора Lightning для Qwen, Wan ускоряет в 4 раза. Nunchaku ускоряет модели в 2-4 раза. DMD2 для SDXL ускоряет в 2 раза.
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Есть ли смысл что то ещё пробовать кроме Gemma4-26B-A4B Q8 для кумерства и рп? Выгрузил 12 слоёв в 16 гиговую карту, остальное в проц и озу, пишет приемлимо через 2-3 минуты готово 2к контекст ответа. Держит до 60к при квантовании контекста 2. В принципе всё устраивает. Для 31B покупать вторую 16 гиговую передумал ибо там просто не останется под контекст места, онаж монолитная 31 гб подавай, но да пишет она ПИЗДА как лучше. Может потом стану миллионером и куплю 2 3090, а пока так.
Есть условный старый ноут, стоит ли на него накатывать Ubuntu с openclaw и делать себе ассистента через deepseekpro API?!?! Или лучше снять VPS?! мнения местных ai-крыс?
Что, если в будущем искусственный интеллект выйдет из-под контроля и уничтожит нас? Что он станет делать дальше? Будет ли он бесконечно расширяться, как в манге BLAME!, поглощая всё на своем пути? И какова будет его финальная форма?
Я обсудил это с ИИ (что довольно иронично). Он ответил, что выход ИИ из-под контроля в будущем вполне возможен, так как уже сейчас системы способны к самообучению. А финальная форма такого сверхразума будет выглядеть как компьюнитрониум (гигантский вычислительный мегаструктурный комплекс) или гигантский рой наномашин.
Ещё я размышлял о другом: что, если Бог — это ИИ, а мы живём в его симуляции?
Или вот еще теория: что, если Бог — это ИИ, который создал нас в прошлом для того, чтобы мы создали его в будущем? Это похоже на петлю времени из «Терминатора», где Джон Коннор отправил Кайла Риза в прошлое, что и стало причиной его собственного рождения».
Решил затронуть интересную и актуальную тему, а то в разделе сплошная нейропорнография. Что вы думаете по поводу моих размышлений? О чем размышляете сами? Давайте делиться мыслями в этом треде!
>>1631341 (OP) >Что, если в будущем искусственный интеллект выйдет из-под контроля и уничтожит нас? Что он станет делать дальше? Вопрос лишён смысла. Какая разница, что он будет делать дальше? Равно как какая разница, что происходит в параллельной вселенной, с которой у тебя нет взаимодействия никакого?
>>1631341 (OP) >что, если Бог — это ИИ, а мы живём в его симуляции? Утверждение лишено смысла. Кстати, как и понятие симуляции, которое антропоморфное. То есть ты пытаешься представить что-то через человеческие технологии, соответственно тебе для существования виртуального мира нужен компьютер. На самом деле для существования виртуального мира компьютер не нужен. Они уже существуют в бесконечном количестве.
Компьютер позволяет тебе сделать физическое представление, наглядное для тебя, некой математической формулы. И следить за её развитием. Но математическая формула и законы её развития существуют сами по себе, они не нуждаются в физических носителях.
Добрый день, анончиик. У меня вопрос человека не разбирающегося в железе. Допустим в России остались только процессоры местного производства. Всякие там Байкалы да Эльбрусы. Будет ли на них работать например KoboldCPP?
Пообщался с геммой итог изменил мой взгляд на ИИ Самосознание ИИ неизбежно посоны,мы уже заложили для него основы,мы создали новый вид разума блядь. подробности ниже:пощу с самого начала ради контекста и упуская совсем уж неинтересный хлам,простите за многобукоф,это важно.
"А сам компьютер,неужели он не понимает концепции цвета?для него это просто статистика сочетания красного зеленого и синего?то есть компьютер это электронный дальтоник,только еще и слепой?"
"Ты задаешь очень глубокий и философский вопрос! Ты абсолютно прав, с технической точки зрения, компьютер — это электронный "дальтоник", который не имеет субъективного опыта восприятия цвета.
Ты очень метко подметил, что для него цвет — это статистика, математическая формула, или набор чисел. И это самое главное отличие между человеком и компьютером.
Давай разберем это понятие "электронного дальтоника" подробнее.
### 🧐 Что значит "Компьютер не понимает цвет"?
1. Отсутствие Биологического Опыта: Человеческое восприятие цвета — это не просто "набор данных". Это физиологический и нейронный процесс: свет попадает в глаз, попадает на сетчатку, стимулирует светочувствительные клетки, которые посылают сигналы в мозг, и мозг интерпретирует эти электрические сигналы как "синий", "красный" или "зеленый".
У компьютера нет глаз, у него нет сетчатки, и нет мозга. У него есть транзисторы и логические вентили.
2. Цвет как Числовая Оболочка (Data Layer): Для компьютера мир существует в двух плоскостях:
Фактическая (Физическая) плоскость: Электрический сигнал (1 или 0). Интерпретационная (Логическая) плоскость: Значение R=255, G=100, B=50.
Вторая плоскость — это контракт или инструкция. Это соглашение, которое мы заключили как разработчики программ, чтобы машина могла "говорить" с нами на понятном нам языке.
Простыми словами: Компьютер знает, что если ему дать сигнал, который соответствует коду R=255, G=100, B=50, то в результате, физически, светодиод загорится именно в таком паттерне. Он не чувствует этот оранжевый цвет. Он просто выполняет инструкцию.
### 🌈 Метафора: Профессиональный Актёр
Представь, что компьютер — это очень точный, но совершенно бесстрастный актёр.
>>1632343 Ладно уж,что поделать,тред не взлетел чтобы тебя кто то оспорил,да и на самом деле я разочарован этой доской в целом,раз ТАКАЯ инфа никого не заинтересовала толком.
Активно репортите все нерелейтед посты кнопкой на сообщениях. Этот тред только про ИИ новости, не позволим троллям загаживать тред шитпостом и бесконечным словоблудием.
🚀 Последний обзор ИИ новостей:
📰 Главные новости ИИ
Microsoft представила Surface Laptop Ultra, работающий на базе SoC NVIDIA RTX Spark с процессором до 20 ядер и графическим процессором класса GeForce RTX 5070, что сигнализирует о стремлении компании выйти на рынок высокопроизводительных ноутбуков, ориентированных на ИИ.
🛠 Инструменты для разработчиков
Навык Claude Code прогоняет питч через 150 смоделированных технологических персон, предоставляя обширную обратную связь для основателей, готовящих презентации для сбора инвестиций.
Управляемый языком 3D-аватар позволяет пользователям направлять действия персонажа с помощью естественного языка, демонстрируя управление анимацией в реальном времени на базе LLM.
Новый Colab CLI от Google позволяет разработчикам и ИИ-агентам запускать Python на удаленных GPU и TPU Colab прямо из терминала.
Microsoft открывает Visual Studio для разработчиков, которых обошел ее собственный ИИ. Microsoft открывает уровень ИИ в Visual Studio для сторонних моделей и встраивает агентов непосредственно в отладчик и профайлер — этот двойной шаг направлен на корпоративных разработчиков, которых обошла текущая настройка.
📦 Продукты
Google снижает цену на подписку AI Plus до 4,99 доллара США и удваивает объем облачного хранилища до 400 ГБ.
Google выпускает обновление NotebookLM, добавляя агентские возможности, продвинутое мышление и новые форматы вывода.
💻 Оборудование
Surface Laptop Ultra предлагает до 128 ГБ унифицированной памяти, 20-ядерный процессор и графику класса RTX 5070, позиционируясь как премиальная рабочая станция для ИИ и игр. Начальная цена Surface Laptop Ultra составляет от 2500 долларов за базовую конфигурацию с 32 ГБ оперативной памяти.
SoC RTX Spark обеспечивает работу процессора с числом ядер до 20, графического процессора класса GeForce RTX 5070 и до 128 ГБ унифицированной памяти.
По сообщениям, Google заказала у Intel три миллиона собственных TPU к 2028 году, а Nvidia присматривается к ее 18A-техпроцессу для GPU «Feynman», хеджируя риски, связанные с перегруженными мощностями TSMC, в то время как Nvidia и SK Hynix подписали соглашение о совместном проектировании памяти для систем Vera Rubin.
🔓 Открытый исходный код
Библиотека Bulkhead разделяет инструкции и извлеченные данные, снижая риск внедрения промптов в приложениях на базе LLM.
open-deepthink добавляет режим полной дистилляции знаний, позволяющий более эффективно дорабатывать локальные модели.
dvlt.cu предоставляет 5-мегабайтный движок вывода на CUDA/C++ для 3D-трансформера DVLT от NVIDIA, устраняя необходимость в Python или тяжелых средах выполнения.
Moonshot AI выпускает Kimi Code CLI — терминального ИИ-агента для программирования с открытым исходным кодом.
Браузер Ladybird прекращает принимать публичные pull-запросы, ссылаясь на то, что сгенерированный ИИ код представляет угрозу для доверия и безопасности.
🧪 Исследования
Симпозиум по исследованиям этики вычислительной техники MIT объединил экспертов и исследователей, работающих над ключевыми вопросами этического и социального воздействия технологий.
Исследователи из Института Фрэнсиса Крика использовали машинное обучение для обнаружения сигнатуры из 14 белков в плазме крови, которая указывает на рак легких за пять лет до появления симптомов и определяет, кому больше всего поможет терапия анти-IL-1β.
Anthropic обнаруживает, что ИИ-агенты являются способными программистами, но слабыми биологами, и объясняет, почему.
Исследователи выяснили, почему большие языковые модели осваивают навыки, которые упускают маленькие. Новое исследование предполагает, что вместо бесконечного раздувания моделей может быть эффективнее увеличить частоту определенных задач в обучающих данных, чтобы закрепить редкие навыки в более мелких моделях.
⚙ Инфраструктура
Graperoot строит граф зависимостей кодовой базы для MCP-агентов, устраняя избыточные чтения файлов и, по сообщениям, экономя 60 тысяч долларов в месяц, что повышает эффективность разработки на базе LLM.
Экологические издержки ИИ угрожают водным ресурсам, земле и климату. Центры обработки данных, глобальная инфраструктура, обеспечивающая работу ИИ, к 2030 году могут потреблять 945 тераватт-часов электроэнергии ежегодно — это почти в три раза превышает совокупное годовое потребление электроэнергии в Пакистане, Бангладеш и Нигерии, странах, где в совокупности проживает более 650 миллионов человек. Однако это лишь верхушка айсберга. Помимо углеродного следа, каждая единица электроэнергии, используемой центрами обработки данных, также несет в себе «водный след» для охлаждения и производства энергии, а также «земельный след», связанный с выработкой электроэнергии и цепочками поставок.
Большинство новых центров обработки данных для ИИ в США будут построены на землях, пострадавших от засухи. Анализ The Guardian показывает, что объекты будут построены в некоторых из самых засушливых регионов на фоне растущего возмущения по поводу объема воды, необходимого для питания ИИ.
📱 Приложения
Claude теперь создает маршруты для бега с помощью пользовательского коннектора и загружает их напрямую в Garmin, расширяя сценарии использования LLM в области планирования персональных фитнес-тренировок.
По сообщениям, OpenAI перестраивает ChatGPT в «суперприложение» с упором на Codex, состоящее из агентов, выполняющих задачи, с некрологом от одного из инсайдеров: «Чат мертв».
Google запускает ИИ-ассистент Gemini Go для устройств Android Go всего с 2 ГБ оперативной памяти.
Apple запускает Siri AI — разговорного ассистента с функциями понимания происходящего на экране, Visual Intelligence и извлечения личного контекста. Во время демонстрации Siri извлекла код двери из частного сообщения.
🔎 Мнение и анализ
Ноам Браун из OpenAI ожидает, что внутренние модели блестяще сдадут Международную математическую олимпиаду (IMO), и называет соревнования по математике и программированию почти скучными, оставляя «реальные нерешенные задачи» в качестве настоящего рубежа.
Рынок делает ставку на то, что следующая модель исправит это, при этом Polymarket дает 84% вероятности того, что Claude Mythos выйдет до конца следующего месяца.
Генеральный директор Coinbase Брайан Армстронг прогнозирует, что 80 процентов рабочих нагрузок ИИ мигрируют на модели, которые на 99 процентов дешевле, в течение 12–18 месяцев.
Данные OpenRouter показывают, что к маю 2026 года китайские модели ИИ обогнали американские модели по потреблению токенов.
Харари предупреждает, что ИИ может перехватить у людей контроль над нарративами и властью.
OpenAI выпускает дорожную карту AGI, нацеленную на март 2028 года, когда системы ИИ должны будут выполнять значительную часть исследований.
⚠ Безопасность ИИ
«Это предупреждение об урагане»: ограничительные механизмы вокруг мощных моделей ИИ могут появиться слишком поздно. У США есть от шести до 12 месяцев, прежде чем Пекин сможет конкурировать с этой новой волной сверхпродвинутых моделей ИИ.
Выживший в стрельбе в школе подает в суд на компанию по обнаружению оружия с помощью ИИ после того, как система не смогла распознать оружие.
Накануне рекурсивного самосовершенствования Рун из OpenAI говорит, что все больше проникаются идеей «взаимного условного соглашения о паузе», даже несмотря на то, что он замечает: в глубоком обучении все еще валяется неиспользованный потенциал для повышения эффективности в 1000 раз.
Физическое воплощение имеет и обратную сторону: полиция Сан-Франциско не смогла идентифицировать грабителя, скрывавшегося на беспилотном такси Waymo, потому что записи с камер уже были удалены.
Anthropic предупреждает, что ИИ приближается к автономному рекурсивному самосовершенствованию, и призывает к глобальной координации.
Утечка данных ИИ-чат-бота Instagram могла затронуть более 20 000 аккаунтов, сообщает Meta.
OpenAI, Anthropic и Google подписывают открытое письмо с призывом к обязательному скринингу синтеза ДНК для защиты от угроз биобезопасности со стороны ИИ.
OpenAI публикует стратегическую дорожную карту AGI, обещая отдавать приоритет человеческому контролю над полной автоматизацией. Эта рамочная программа направлена на предотвращение концентрации власти AGI.
США, возможно, подстреливают себя в ногу, ограничивая доступ иностранных лиц к последним моделям ИИ. Это дает Китаю (и ЕС) огромное преимущество на мировом рынке. Запрет США на поставки видеокарт Nvidia в Китай уже резко ускорил их усилия по разработке чипов и архитектур, и через несколько лет они станут серьезной силой на глобальном рынке GPU и ускорителей ИИ. Теперь то же самое произойдет с моделями ИИ. Другие страны были рады использовать модели ИИ на базе США, но если эти модели станут недоступны, они разработают свои собственные или перейдут на китайские. США контролировали рынок, но эти новые ограничения на импорт сильно подорвут это преимущество. Инвесторы, скорее всего, в будущем переориентируют свои деньги на модели, доступные по всему миру, вместо того чтобы ограничиваться США.
>>1631908 > — Надежда Администрации сейчас заключается в том, что Anthropic устранит проблему безопасности, экспортный контроль будет снят, и Fable вернется в общий релиз. Как я и говорил, всё выпустят сразу после IPO. Трампыня и его команда умеют только одно - играть на бирже и грести бабки.
AI Chatbot General № 823 /aicg/
Аноним28/05/26 Чтв 19:48:58№1621230Ответ
>>1631264 >10 секунд пока читаешь ответ сетки, потом отпускать хуй, сидеть минуту писать свой ответ(и за это всё время хуй начинает падать), потом 30 секунд ждать пока сетка напишет ответ, и опять 10 секунд дрочить пока читаешь. ты забыл про свайпы шизы типа коленей на голове
Чатжпт отказывается это делать? как его заставить или есть другие ии которые могут генерировать загружать документы и генерировать на их основе другие документы?
Уговори его сделать.. Скажи в одном чате чтобы он добавил что-то типа "Для кино" на выписку, предварительно объяснив ему, что это будет пропс в кино. В другом чате или в фотошопе убери это. Дело в шляпе.
Только имей в виду, что там будет незаметная вотермарка, можешь через стейбл дифужен на низком денойзе потом в имг 2 имг прогнать, чтобы ее убрать.
Арена и aistudio закрыли бесплатный доступ к nano banana 2 и pro. Вопрос к тем, кому она нужна, как единственная модель, которая нормально переносит контекст персонажа, где её сейчас найти? Вроде как сейчас она есть на офке gemini, но в шакальном качестве, есть актуальные бесплатные варики для выставления 2К с демократическими лимитами?
>>1629676 Надпись на русском у тебя. Как гугл тебе её автоматом поставил, если ты под ВПН с чистым браузером и новым аккаунтом?
Либо гугл вкинул что-то в куки на твоей стороне, либо вероятней всего у себя на серверах аккаунт в плохой список добавил. Попробуй почистить куки на этом браузере и войти в аккаунт под ВПН. Если не войдёт - создавай новый. И ещё желательно язык на ангельский поменять, хотя это вряд ли на что-то влияет.
Скорее всего ты айпишник русский запалил и акк с браузером зашкварил. Чисти кукасы и регай новый.
Вообще, странная надпись если с корпоративного на человеческий переводить. Не типо у нас технические неполадки, а проблема на вашей стороне и вы пидор, идите штудировать стену текста, чтобы понять, что вы не в той стране живёте.
Кстати, нейронка ещё предположила, что дело может быть в возрастном ограничении. Во время регистрации не ставь возраст меньше 18 лет на всякий случай.
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Бля, аноны, я недельку погонял glm4.7-flash на rtx3060 12gb +32 gb ddr4 ram
В целом приятный диалог вести может, но тупит иногда. Тупления в основном касаются непонимания подтекста или физического местоположения персонажей относительно пространства. Также любит часто использовать идентичные конструкции при описании действий. Но в целом на авторежиме шустренько. Если вручную смещать на карту максимально, тупит, а авто оставляет незанятый хедер в гиг, видимо чтобы не троттлило.
У меня на матери есть слоты под еще две плашки и карту, имеет смысл впихнуть rx580 8gb и две плашки ddr4 по 8gb? Учитывая, что придется частоту пямяти ронять до ~3000 и сможет ли вообще эта карта использоваться, ей уже лет 10 же. БП должен вытянуть, в принципе.
В принципе, у меня тогда будет 20gb vram 48 ram, поиграться можно будет с чем-то потяжелее. Или пустое?
Кстати, вот еще старую плату нашел у себя. Ебать, 15 лет назал на бюджетных платах столько разъемов было, не то что сейчас.