1. Wan от Alibaba
https://huggingface.co/collections/Wan-AI/wan22
VACE модели:
https://github.com/ali-vilab/VACE
https://huggingface.co/Wan-AI/Wan2.1-VACE-14B
https://huggingface.co/Wan-AI/Wan2.1-VACE-1.3B
2. Hunyuan от Tencent
https://huggingface.co/tencent/HunyuanVideo-1.5
3. Ovi
https://huggingface.co/chetwinlow1/Ovi
4. Starflow
https://huggingface.co/apple/starflow
5. LTX-2
Скоро...
Прочие модели
1. MAGI-1 от Sand AI
https://sand.ai/magi
https://github.com/SandAI-org/MAGI-1
2. LongCat-Video
https://github.com/meituan-longcat/LongCat-Video
https://huggingface.co/meituan-longcat/LongCat-Video
https://meituan-longcat.github.io/LongCat-Video/
3. Wan 2.1
https://huggingface.co/collections/Wan-AI/wan21
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Hunyuan Video (осторожно, ссылки в туторе на предыдущую модель): https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Гайд для использования Wan 2.2
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan: https://github.com/kijai/ComfyUI-WanVideoWrapper
Где брать готовые LoRA
https://civitai.com/models
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Терминология моделей
prune — удаляем ненужные веса, уменьшаем размер
distill — берем модель побольше, обучаем на ее результатах модель поменьше, итоговый размер меньше
quant — уменьшаем точность весов, уменьшаем размер
scale — квантуем чуть толще, чем обычный fp8, чтобы качество было чуть лучше, уменьшение чуть меньше, чем у обычного квантования, но качество лучше
merge — смешиваем несколько моделей или лор в одну, как краски на палитре.
lightning/fast/turbo — а вот это уже просто название конкретных лор или моделей, которые обучены генерировать видео на малом количестве шагов, они от разных авторов и называться могут как угодно, хоть sonic, хоть sapogi skorohody, главное, что они позволяют не за 20 шагов генерить, а за 2-3-4-6-8.
Предыдущие треды
>>1404065 (OP)
>>1382874 (OP)
Ссылка не проходит. Короче, в треде нейрофана nsfw делают с озвучкой.
просто для хуев в рот сделали отдельный тред. и слава богу.
Прогресса нет, будет ван 2.5 надо будет снова горлоеблю тестить тогда
чел, модели на основе вана релизят чуть ли не каждую неделю
если твои задачи начинаются и заканчиваются на горлоебле, то я хз что для тебя будет прогрессом, генерация 20 минутного прона во всех позициях по одному фото подруги?
На основе вана 2.1, что есть мертворождение или стагнация. Охота получить больше контроля и длину контекста хотя бы до 20 секунд без склеек.
Вот интересный проект, но пока только бумага https://xizaoqu.github.io/video4spatial/
чел, любая 2.1 модель может использоваться как лоунойз в 2.2 ване
И как оно работать будет с хай нойзом от ван 2.2? Как там лоры применять? Как мне инфинитолк/хумо использовать с хай нойзом от ван 2.2?
Лтх 2 пидорасы и хуесосы перенесли релиз на 2 месяца
Ван пидорасы и хуесосы молчат
Хуйнян просто пидорасы высрали хуйню
Я разочаровался в Ване. Искал где-бы делать простенькую i2v аниме-анимацию с сохранением изначального стиля, но ван даже с этим умудряется обосраться.
Прикл - ветер срывает шляпу с головы. Пробовал дохуя разных промптов, но эта хуйня не видит что на голове шляпа.
Прикл 2 - должен идти снег, а платье развиваться на ветру. Снег полностью исчезает, а платье деревянное.
И таких приколов слишком уж дохуя.
Я разочаровался в тебе.
Сплошное разочарование
Как ты это сделал?
Вообще видос должен быть зациклен, а она ловить шляпу, пока та не улетела и надевать обратно, может конкретно это для вана слишком сложно?
воркфлоу в видео
fflf и будет все зациклено, только в промпте надо будет прописать что шляпа улетает но она её хватает и возвращает на место
С твоим промптом не намного лучше.
Либо у меня конкретная модель говно, либо дело в количестве шагов, а может в разрешении. Буду думать, спасибо за демонстрацию.
Это Лтх 2 просто пидорасы и хуесосы.
Пусть хоть щас релизят, толку от их говно-качества (в 4К!).
А вот Ван могли бы блядь и релизнуть!
Бесит, ведь модель не топовая, но хорошая, и зажали.
так а че за модель и лоры
там ебать сколько лор на шаги, хуй проссышь чем отличаются и как влияют
Вот эту юзал https://civitai.com/models/1981116?modelVersionId=2388627
Лора на шаги там вроде как зашита.
Моя главная проблема в том что скорость генерации ебать какая медленная и чтобы проверить все варианты и понять что пошло не так у меня уйдёт пол дня минимум. так что возможно и нахуй оно пока не надо
Надо обновляться. К концу месяца хочу заказать что-нибудь за 50-60к, пока к 3090 склоняюсь.
Вот чекни воркфлоу https://civitai.com/models/1772470/wan-22-i2v-loop-workflow?modelVersionId=2335600
Вроде так хорошие залупы получаются, склейку не видно.
ну понятно, скачать рандомный васянский ноунейм кал с цивита и потом охуевать почему все идет по пизде это так называемая база
где про это почитать?
Это называется lora. Но обучение лоры требует много видеопамяти, если для ван 2.2 то там 24 гига минимум, для картинок (флюкс, хрома, сдхл) хватит и 12 гигабайт. Самое простое для тренировки на картинки - fuxgym, там практически однокнопочный интерфейс. Для тренировки видео - AI-Toolkit/onetrainer (они можгут и на картинки тренировать в целом универсальней), немного посложнее но тоже есть гуи интерфейс и много инфы в интернете.
ты на приколе видимо
Вопрос - стоит ли в некросборку (ddr3 8+8+4+4) вместо 2x4Gb прикупить 2х8Gb, коль скоро ddr3 в этом сумасшедшем мире никому кроме меня не нужна и цены на нее особо не ползут.
Psensor говорит, что память забита под завязку. И сдается мне, что часть всей прелести выгружается на hdd в подкачку. Поэтому и подумал, что проблема в утечке на жесткий.
Или это ситуевину не исправит, оно так и будет голимый сас 703х1280 генерить?
В 12 гегов видлопамяти только 3 секунды контекста в таком разврешении влазиет. Снижай разрешение, или количество кадров уменьшай до 3 секов, если хочешь в этом разрешении.
5 сек в хд только от 16 кеков.
Оперативка конкретно в этом случае не зароляет.
>В 12 гегов видлопамяти только 3 секунды контекста в таком разврешении влазиет. Снижай разрешение, или количество кадров уменьшай до 3 секов, если хочешь в этом разрешении.
>5 сек в хд только от 16 кеков.
спасибо, анон, попробую затестить на досуге.
Это только уже после спада цен, к сожалению. Там и материнку надо будет сменить.
братан, такое разрешение на 14b тебе не по карману
как впрочем и любое разрешение на 2.2, там две модели каждая из которых весит как весь твой запас оперативки, и это в fp8, не считая текстэнкодера, затрат на комфи и винду и т.д.
так что оперативу если покупать то сразу чтобы 64 было. не помню правда можно ли столько на ддр3, лол.
альтернатива - докупать до 32-48 гб и использовать только лоунойз модель вана
https://www.reddit.com/r/StableDiffusion/comments/1pf7986/i_did_all_this_using_4gb_vram_and_16_gb_ram/
вот чел на 4VRAM/16RAM умудрился
У меня была зеоновская материнка с четырехканалом, 64 гига на 48 псп. =)
Но это правда не любая, конечно.
На моей старушке только 32gb ddr3 можно набрать, к сожалению. Ну понятно, я и так юзал только лоу. Значит надо резать кадры и разрешение.
У меня почему-то не получалось сделать i2v, уходило в серость. Толи в лоре трабла, толи воркфлоу запорол. Чтобы оттестить похоже придется в самый минимум снижать настройки. А то опять по часу будет пыхтеть. Но опыт интересный. С 5b мне понравилоь возиться
Сколько это займет времени?
Можно.
Зависит от того какую лору хочешь обучить, самое простое на внешность персонажа на одних картинках можно обучить, в принципе достаточно быстро, за несколько часов обучится. На какие-то нсфв действия обучать надо дольше, и датасет нужен большой, с подробными описаниями.
А в чём он не прав? Я даже 2.2 до сих пор не скачал, копия 2.1. А 2.5 говно и не нужно. Какие-то лонгкеты выходили, не вижу в треде примеров, очередная хуйнян.
Жду Z-Video.
Ух ты, я тут оказывается не самый медленный!
Попробуй генерить с макс. разрешением 640, ван 2.2. это позволяет, второе разрешение считай по соотношению, либо 480. Нагрузка упадёт.
Ставь поменьше ФПС 13 хватит и правильно считай кол. кадров. У меня тоже была проблема что видос уходил в серость на последних кадрах. Оказалось что это из за неправильно рассчитанной длинны.
С твоей и моей конфигурацией нет смысла делать ролики с нормальными ФПС и разрешением, гораздо проще после генерации сделать апскейл и интерполяцию, первое добавляет кадров, второе - разрешение. Понятно что качество хуже чем при нормальной генерации, но лучше так, чем по часу пыхтеть.
Нода для первого - Upscale image by.
Для второго - RIFE VFI
Можешь даже готовые ролики апскейлить, загружая через ноду Get Video Components
мимо тесловод
Алсо, выбираю себе 3090. Продавец скинул такие тесты, норм или хуйня? Чёт по моему высоковато по температуре.
Сколько не коупь бесплатный сыр лишь в мышеловке, слоумо не пофиксить, пикселизацию не пофиксить
Видел видосы грока в 640х480 и не мог поверить в такое качество, как у нас в 720р
> pow limit 123
> 1050 mv
Охуенная температура ещё, небось и вертушки на дефолтных скоростях крутит
Вот он мне то-же самое написал, ещё написал что на обслуживание хуй забил и никогда термопрокладки не менял. Можно надеяться что станет получше если поменять, но как бы он там уже не пережег всё к хуям с такой эксплуатацией.
С другой стороны это возможно даже плюс по сравнению с лотами где всё идеально. Могут ведь и дохлую, либо с выпаянными чипами прислать, а эта хоть работает и чувак явно не слишком пытается наебать.
Ты в любом случае берешь кота в мешке не проверяя карту лично.
В случае неудачи можешь насрать продавцу под дверь если тебя это утешит
Термопрокладки столько не сбросят температуры чтобы до 70 хотя бы снизить, тут надо от пыли продуть в первую очередь, завышенный поверлимит убирать, даунвольтить, ну и все остальное потом. Радиатор снимать только когда уже будут прокладки куплены, старые наверняка уже просто высыпятся.
Я свою 3090ti msi supreme x покупал тоже поюзанную которую никогда не обслуживали. До 77 грелась в фурмарке с вентилями на максималке, почистил, поменял термопасту с термопрокладками - до 72 стала греться, сделал даунвольт - выше 68 редкость с задушенными до бесшумности вентилями.
> свою 3090ti msi supreme x
Вот как раз выбираю между MSI RTX 3090 Suprim X и Asus ROG Strix RTX 3090 OC, но первую продают по 70, а вторую по 60, поэтому смотрю сейчас второй вариант. Увы, не ti, т.к. они ещё дороже.
Тоже думаю всё нормально обслужить - заказать термопрокладки и возможно даже паверлимит занизить чтоб не грелась при генерации.
А не могли на ней от 83 градусов чипы начать отваливаться или текстолит зхериться? Вот такой хуйни бы точно не хотелось.
Если ее так долго эксплуатировали и постоянно игры гоняли то могут и начать отваливаться чипы, не сейчас так во время установки или перевозки, когда плату начнут теребить и деформировать.
Для генерации однозначно надо поверлимит занижать, потому что sage attention и fp8 fast насколько увеличивают скорость, настолько же и увеличивают потребление, а с ним и температуры.
я безумно рад, что моя 3060/12 с двумя карлсонами выше 74 не поднимается, несмотря на в целом старую пеку, и процессорную печь неподалеку.
>>1446348
Спасибо за наводку, анон, буду пыхтеть.
Лол, а я думал, на тесте проблем со скоростями нет как таковых.
Это смотре какое тесто. У меня P40, и 3060 в генерации должна быть в 1,5-2 раза быстрее.
Думаю её кстати пока оставить как вторую карту. А потом или продать когда цены совсем ебанутся, либо 48 Гб совместной видеопамяти могут вдруг понадобиться.
>моя 3060/12 с двумя карлсонами выше 74 не поднимается,
Я теслу тоже больше 75 не грею хоть и с паверлимитом в 60%
>>1446413
Пиздос. Короче 2 стула: На первом карта которую могли пережарить разгоном, на втором - карта, которая вообще может не включиться. Дорого же нынче видосы с тяночками обходятся
До 85 не пережарка а нормальная рабочая темпа.
Это железка бля а не пласмаса
Учитывая, что 5070 продают по 45, будто бы стоит брать 3090 ti, ты и так, и так переплачиваешь, так хоть переплати за вариант получше.
>>1446451
Все же, генерить на тесле ето капец. =)
Я их тока для ллм и не выше 60°.
>выше 74 не поднимается
дак это чип, а хотспот все 100 градусов при такой температуре.
ван 14b всегда генерит в 16 фпс, это никак не настраивается
>будто бы стоит брать 3090 ti, ты и так, и так переплачиваешь
Просто читал что только эти
>MSI RTX 3090 Suprim X и Asus ROG Strix RTX 3090 OC
две ревизии прям норм по охладу и производительности, а у остальных проблемки. А вот в варианте TI их не то чтобы много на авито.
Есть от TI от Gigabyte за 68к сама по себе вроде норм выглядит. Но выходить за 60к бюджета бы не хотелось, насколько они вообще мощнее стоковой версии?
Высмысле блядь не настраивается? И причём тут ван вообще?
Я условно генерю 65 кадров, а затем свожу их в 5-секундное видео отдельной нодой. Сколько ФПС на выходе получается?
Чел, я тебе тоже скажу, как и чел выше:
Wan всегда генерирует 16FPS - он на таком материале обучен и другого не знает. Все движения на изображении он генерит из расчета на 16 кадров в секунду.
Если ты видео нодой выставишь 24 для сборки видео из того что Wan нагенерил - будет тебе ускоренная анимация в результате. В секунду будет впихнуто больше кадров - больше движения за то же время. А если выставишь 10 - будет замедленная анимация. Так еще на кинокамерах в прошлом веке делали эффекты ускорения и Slow Mo.
>Я условно генерю 65 кадров, а затем свожу их в 5-секундное видео отдельной нодой. Сколько ФПС на выходе получается?
Если ты хочешь сохранить естественную скорость - 65/16FPS=4 сек. нормального видео. Или - 65/24FPS=2.7сек, но будет Slow Mo. Или 65/10FPS=6.5сек. ускоренного видео - как в кино Чарли Чаплина.
Если же мерить от времени как ты написал - 65/5сек=13FPS. Это ускорение движений получается.
Такая вот математика для Wan.
У меня сложилось впечатление что нейросетки как не усрись не могут использоваться для создания фильмов и сериалов. Потому что как не усрись ты не можешь повторить тот результат который у тебя был ранее. Ты нагенерил персонажа и локацию, а при новой генерации с другого ракурса что-то в этой локации или персонаже обязательно поменяется, помимо ракурса. И это никак не исправить, такова как бы структура нейросетей. Поэтому те же операторы, актёры, гафферы(световики) будут востребованы всегда.
В чём я не прав? Может я не прав, но вы всё равно считаете, что нейросети не заменят киношников, но по другим причинам? Или вы убеждены, что обязательно заменят? Поделитесь почему вы так считаете.
Да на те же 10%-12%, что и по паспорту.
Но тут главное охлад, расположение чипов памяти, насколько я знаю.
Так что 60 против 68 — как раз за прирост и спокойствие условное переплата и выходит.
Но дело твое, это реально каждый сам себе решает, что брать.
>Ты нагенерил персонажа и локацию, а при новой генерации с другого ракурса что-то в этой локации или персонаже обязательно поменяется, помимо ракурса
И да и нет. Внешность персонажа сохраняется ЛОРами, обученными на артах-видео с этим персонажем. С локациями сложнее, даже крупные нейросети вроде соры пока не могут, во всех подробностях, сгенерить одну и ту же локацию в разных видео с разного ракурса.
Имхо, это частично можно пофиксить различными худ. приёмами, например выбирать во время тех же диалогов/действий ракурсы с минимумом деталей, а общие планы локаций показывать один раз в одном отрезке.
По мне так для какого-нибудь артхауса/короткометражек вполне уже можно использовать только нейронки. Но этим пока никто особо не занимается, т.к. ебатни не на много меньше, чем с реальными съёмками/рисованием.
Но постепенно модели становятся всё лучше, думаю момент когда "Сгенери мне сериал Ведьмак, только чтоб бабы были не страшные и Лютик не пидарас" будет вполне себе осуществим уже не за горами. И вот примерно тогда киностудии могут ощутить конкуренцию от нейроэнтузиастов. Но не больше, чем её сейчас ощущают художники.
Нейросети никогда НЕ заменят всех кого они грозятся "заменить", потому что нейросеть это инструмент, в умелых руках умножающий производительность в N раз, а не отдельный блядь работник, который будет за тебя ебаться с твоими задачами.
> Я студент-киношник
> нейросетки как не усрись не могут использоваться
Надеюсь, не на режиссерском? А то все знакомые режиссеры на удивление ебанаты. =D
Не прав, конечно.
Это инструмент, который ты можешь применять умело, или как говно.
Ошибки могут быть, но ты неправильно рассматриваешь. С твоей точки зрения, в кино нельзя использовать операторов, актеров, режиссеров и костюмеров, потому что — они совершают ошибки.
Так же нельзя писать книги людям и так далее — тот же Гарри Поттер — говно говна по логике и продуманности. Люди всерьез обсуждают продуманные миры — потому что там ошибок меньше, чем в непродуманных.
Так что, ты должен хвалить нейронку за то, что она всего 3 объекта в кадре поменяла, а не 10. =)
Надо быть последовательным и оценивать одинаково что людей, что нейронки, если уж хочется судить с этой точки зрения.
НО! Сейчас нейронки и правда допускают ошибки, порою неприятные. И сделать 20 попыток из которых черрипикнуть корректную может быть дольше, чем снять сцену.
Однако, дольше ≠ дороже. Это не в защиту нейронок, но стоит признать, что Голливуд делает хуевые спецэффекты, потому что экономит, значит и нейронки пойдут в ход, потому что экономия, а не потому что качество сопоставимое. =)
А в будущем, вероятно, ты сможешь целиком закидывать в контекст изображения (флюкс и нанобанана картиночные уже работают с 10~15 входящими изображениями), и нейронки почти не будут допускать ошибок, а все сгенеренное хранить в контексте и помнить, что они нарисовали с нуля.
И еще раз призову к равному отношению — мелкие детали в кино в принципе не соблюдаются, те же пятна грязи на актерах из кадра в кадр разные, и это считается нормой, хотя по факту это та же хуйня, на которую ты сейчас жалуешься на нейронки.
Так что, подобными мелочами нейронки могут даже обойти людей, и снимать лучше, к этому надо быть готовым.
Просто на это нужно время, но это не невозможно.
Как минимум, уже сейчас ты можешь применять нейронки в малобюджетных картинах частично, в будущем малобюджетки целиком можно будет снимать нейронками, а крупнобюджетки уже с применением нейронок как инструментов где допустимо по качеству.
Вопрос времени.
> Поэтому те же операторы, актёры, гафферы(световики) будут востребованы всегда.
Это от авторов «авторы статей и копирайтеры никуда не денутся» и «программисты никуда не денутся».
Особенно смешно, когда эти люди продолжают повторять, но жалуются, что найти работу стало тяжелее. ХМММ… ПОЧЕМУ БЫ… Наверное на рынке внезапно появилось много хороших специалистов-людей, просто пришли из параллельного мира. =D
Заметь, те же актеры озвучания вполне себе натурально в США бастовали. И Нетфликс подписывал контракты «передаете внешность и голос, и права на использования в художественных произведениях безгранично». Есть мнение, что там сидят не дураки (а кто дурак — тот голодный).
Ты прав лишь в том, что структура нейросетей такова, что шанс допустить ошибку будет всегда. Просто в какой-то момент он станет пренебрежительно малым. А до этого сравнятся с человеческим (у человека шанс ошибки так-то дохуя, цветущий жанр киноляпов на ютубе не даст соврать).
Так что лучше — знакомься хотя бы мельком. =) Чтобы потом не оказаться в отстающих. Ну мало ли что!
>Я студент-киношник. Поясните за нейросети для видео пожалуйста, какие у них перспективы?
Спецэффекты и сокращение рутины в анимации - ближайшие векторы применения. Сетки хорошо достраивают по образцу, и умеют в интерполяцию между состояниями. Т.е. - такая штука как анимация по ключевым кадрам - это им родное дело. Заменить одну рожу другой, или собаку инопланетной кракозяброй - тоже.
>Потому что как не усрись ты не можешь повторить тот результат который у тебя был ранее.
А с живыми актерами ты 2 раза ровно одно и то же снимешь? Вот прямо - 1 в 1?
>Может я не прав, но вы всё равно считаете, что нейросети не заменят киношников, но по другим причинам? Или вы убеждены, что обязательно заменят?
Не надо делать из еды культа!(с)
Сетки - инструмент. Применение обязательно найдут (и уже находят), но не "вместо", а "вместе".
>Спецэффекты и сокращение рутины в анимации - ближайшие векторы применения. Сетки хорошо достраивают по образцу, и умеют в интерполяцию между состояниями. Т.е. - такая штука как анимация по ключевым кадрам - это им родное дело. Заменить одну рожу другой, или собаку инопланетной кракозяброй - тоже.
А что скажешь насчёт операторской и актёрской работы? Может как то сильно автоматизировать всё?
>А с живыми актерами ты 2 раза ровно одно и то же снимешь? Вот прямо - 1 в 1?
Не совсем. Когда я говорил что не сможет повторить результат, я имел ввиду, что локация будет другой, одежда на персонаже тоже, лицо поменяется и т.д. Но я уже понял, что в принципе можно ей дать другое видео чтобы она постаралась повторить, вопрос в том насколько она будет способна все детали учитывать и т.д., чтобы в глаза не бросалось то что в сцене на фоне раньше был например диван, а теперь на него месте кресло. Или что на персонаже были одни носки, а потом другие.
>Сетки - инструмент. Применение обязательно найдут (и уже находят), но не "вместо", а "вместе".
Ну не буквально заменят. Но многих оставят без работы, потому что чем выше производительность труда - тем меньше потребности в множестве специалистов.
>Надеюсь, не на режиссерском? А то все знакомые режиссеры на удивление ебанаты. =D
Не, оператор. Но есть знакомые которые учатся на режиссёров, и они нормальные. Но режиссеры это часто люди обязательно с амбициями и желанием своё видение всем показать, это правда. И ебанашек значит больше.
>Ошибки могут быть, но ты неправильно рассматриваешь. С твоей точки зрения, в кино нельзя использовать операторов, актеров, режиссеров и костюмеров, потому что — они совершают ошибки.
Ну ошибки нейронок куда больше в глаза бросаются. Если косяки по сценарию или по не совсем выразительной игре актёров можно просто списать на тупость персонажей и нехаризматичности героев(это ведь то, что ты можешь и так встретить в жизни: тупых или нехаризматичных людей), то в случае с несоответствием и нелогичности визуала или аудио, то всё погружение сразу сломается. Аудиоряд не соответствует видеоряду(например, персонаж бежит, а звука как ноги касаются земли нету) - всё, пизда погружению. Тоже самое с видео. Если ты снял одну сцену, где на фоне тот же диван, а через секунду снимаешь с другого ракурса и там уже кресло да ещё и другого цвета, то человек сразу ахуевает, потому что в реальности такого никогда не бывает. Погружение идёт по полной пизде.
И вот щас у нейронки проблемы с этим вроде присутствуют. Но вопрос в том, обусловлены ли эти проблемы их архитектурой, лежат ли эти проблемы в её основании, или это просто временная проблема потому что тупо мощностей или оптимизации не хватает. Вот этого я не понимаю. Пройдет ли с годами эта проблема или нет. Потому что если пройдет, то в целом моя работа относительно бесполезной станет.
>Это от авторов «авторы статей и копирайтеры никуда не денутся» и «программисты никуда не денутся».
Ну вот кстати про программеров неправда. Никуда они не делись и пока не денутся, нейросети относительно хуево кодят. Но про копирайтеров, переводчиков и актёров озвучки ты абсолютно верно сказал, им уже пизда, а дальше только хуже.
>И да и нет. Внешность персонажа сохраняется ЛОРами, обученными на артах-видео с этим персонажем. С локациями сложнее, даже крупные нейросети вроде соры пока не могут, во всех подробностях, сгенерить одну и ту же локацию в разных видео с разного ракурса.
Ну вот да. Но я не понимаю это их фундаментальная проблема, просто нейросетей как технологии или это вопрос оптимизации и отсутствия мощного железа. В целом как оценить шансы будут ли они иметь такие же проблемы через 5 лет или нет.
>Нейросети никогда НЕ заменят всех кого они грозятся "заменить", потому что нейросеть это инструмент, в умелых руках умножающий производительность в N раз, а не отдельный блядь работник, который будет за тебя ебаться с твоими задачами.
Да похуй, суть одна. Вот умножится производительность, и конкуренция в сфере увеличится, зарплата упадёт, многие останутся без работы. Не потому что нейросеть их заменила, а потому что теперь один чел с нейросетью выполняет работу за 5ых.
>Вот умножится производительность, и конкуренция в сфере увеличится, зарплата упадёт, многие останутся без работы.
Чтобы понять что произойдёт, вернись назад лет на 200, к началу НТР и появления станков. Остались ли тогда без работы ремесленники? Да - остались. Исчезли ли в результате НТР рабочие профессии? - Нет, не исчезли, напротив, появилось много новых. Плюсом по итогу увеличилось количество дешёвых товаров, от чего в итоге выиграли даже уволенные ремесленники, т.к. им больше не надо было за новые штаны отдавать половину коровы.
Так будет и сейчас, с той лишь разницей что всё происходит слишком быстро и это порождает больший хаос и панику.
>Но я не понимаю это их фундаментальная проблема, просто нейросетей как технологии или это вопрос оптимизации и отсутствия мощного железа.
Это проблема подхода. Технически уже сейчас можно было бы сделать ЛОРы на локации, но этим никто не занимается, т.к. модели целенаправленно тренируют на персонажей. Появится необходимость - сделают.
>будут ли они иметь такие же проблемы через 5 лет или нет
Думаю да, лет через 5, если такие проблемы и останутся, то будут не настолько критичны.
>Чтобы понять что произойдёт, вернись назад лет на 200, к началу НТР и появления станков. Остались ли тогда без работы ремесленники? Да - остались. Исчезли ли в результате НТР рабочие профессии? - Нет, не исчезли, напротив, появилось много новых. Плюсом по итогу увеличилось количество дешёвых товаров, от чего в итоге выиграли даже уволенные ремесленники, т.к. им больше не надо было за новые штаны отдавать половину коровы.
Ну это и так очевидно, что если например операторскую работу оптимизируют нейросети, то оператор не помрет от голода и просто пойдёт на завод. Но только он мог бы сразу пойти на завод, строить там карьеру, а в итоге тратит время на операторство, а потом придёт на завод без опыта все с нуля начинать.
>Технически уже сейчас можно было бы сделать ЛОРы на локации
Откуда такая уверенность? Даже человек вряд ли в своей памяти всю локацию может уместить и представить как она с разных ракурсов будет выглядеть, как это сделает нейросеть?
Блядь, я писал ответ, но двач решил его стереть.
Буду краток, сорян.
1. Временно. Сравни какие были картинки в 2020-2021 и сейчас. Сравни тексты в 2023 и сейчас. Дай время. Видео-нейронкам годик всего.
> Ну вот кстати про программеров неправда.
2. Я программист, это правда. Много знакомых жалуются, что найти работу сложнее. Джуны все менее востребованы. Один сеньор легко закрывает 2-3 старых рабочих места, это выгоднее, чем брать кривых джунов. Просто это малораспространено еще.
>>1446667
Да, раскупили. Видимо, надо было вчера брать, когда находил объявы.
>Откуда такая уверенность? Даже человек вряд ли в своей памяти всю локацию может уместить и представить как она с разных ракурсов будет выглядеть, как это сделает нейросеть?
А как нейросеть может в подробностях со всех ракурсакх изобразить конкретного персонажа? Это просто сам принцип её действия. Грубо говоря, обучаешь лору на 100500 фотках конкретной комнаты, к каждой из которых прикрепляешь конкретные теги иии внезапно потом с этой лорой, при появлении конкретных тегов в промпте, модель будет ориентироваться на те самые фотки, а недостающие детали рисовать самостоятельно. Притом чем больше материалов будет при обучении лоры, тем точнее будет результат.
Разница лишь в том, что нынешние модели в основном обучены на фотках лидей / картинках персонажей, а не на просто на локациях. Так что всё-таки могут быть проблемки.
Но это не точно, лоры на локации так то вполне существуют.
Айти само по себе уже просто перестало быть такой востребованной сферой, где легко найти работу без опыта и вышки. Это необязательно из-за нейросетей, скорее потому что в айти пытается вкатиться каждый дурачок.
>>1446771
Ну получается проще чем фоткать комнату просто в ней отснять актёра, а нейронкой можно допустим просто ебальничек и мимику подправить. Другое дело если нейронка сможет сгенерировать комнату с нуля, на основе фоток 100500 разных комнат и потом она будет придерживаться схемы и внешнего вида именно той комнаты что она уже сгенерировала. Тогда половина киношников станет не нужна, а кино само по себе дешевле станет.
>>1446742
Мне понять свои перспективы жизненные нужно, и правильно ли я выбрал направление обучения. Учиться а потом понять что тебя видеонейронка выебала и ты не востребован не хочется, но и направление менять не будучи уверенным в том что это произойдёт тоже.
> Айти само по себе уже просто перестало быть такой востребованной сферой
Одно другому не мешает, все это накладывается. =)
> Ну получается проще чем фоткать комнату просто в ней отснять актёра
Отсюда и далее — да, все верно. Пока что проще так, а потом подучится, сможет более-менее консистентно поддерживать.
> Мне понять свои перспективы жизненные нужно
Я не спец в этом, но могу предположить, что операторы как таковые никуда не исчезнут — иногда снять проще, подготовить датасет проще, отснять чисто бэк проще, так что МНЕ лично видится оператор как одна из самых сейвовых профессий в области. Но, это мой нубских взгляд в данном случае. =)
Ну свадьбы будешь фоткать, с голода не помрешь. =D
Две половины 14б вана похоже в мою сборку (12vram+24ram) не влезают, процесс виснет на этапе начала работы сэмплера хая, даже не сыплет ошибкой, тупо виснет. Разрешение 256х480, 33кадра.
Что делать, тариться gguf-ами и будь что будет? Эхехе...
Отбой тревоги, перезапуск системы и комфи вроде помогает. Генерит херню, правда, но мб дело в промте. Код синий
>Две половины 14б вана похоже в мою сборку (12vram+24ram) не влезают
Это невозможно. Они работают последовательно, по очереди. Когда начинает работать вторая - первая выгружается. Если простой памяти хватает - только в память. Если не хватает - в своп, или вообще полностью (потом будет грузится с диска заново). То же самое со второй, и с энкодером.
У меня видимо с прошлых воркфлоу и сторонних процессов все забито было. Короче перезагрузка помогла.
братан, никто в кино нейронками всю сцену целиком, с актерами и прочим одним прогоном не делает. ну кроме россиянских кабанчиков, которые проплатили подписку на veo 3 и клепают сериалы для онлайн кинотеатров качеством хуже говна с лопаты.
нейронки используются для каких-то отдельных вещей и фиксов, которые потом на vfx постпродакшене собираются в кучу, как и при обычном пайплайне.
"не влезают" это то и значит что в оперу не влезают. потому что грузить каждый раз с диска это пиздец
> сериалы для онлайн кинотеатров
Заметь, качество ничуть не упало! 😁
Я знаю что щас никто не снимает. Я про перспективы на будущее спрашиваю, ты чо.
Вот это была магия.
А сейчас сколько прогресса не жди такого чувства уже не будет, ну сосет и сосет
первые сгенеренные ролики были t2v на хуньяне
то есть то чувство лично у меня во многом было из-за того что текстом все делал, а сейчас просто готовую картинку заставляешь двигаться
Попробовал данный вф, по сравнению с тем говном что я собрал цветокор лучше, засветы по краям конечно все еще есть а до этого на их месте вообще были темно фиолетовые артефакты но вспышки с перехода от ласт к ферст фрейму перестали появляться, заслуга колор мочи наверное, там бтв половину нод что есть я не юзал и не ебу че они делают, еще есть ощущение что аутпут получается более замыленный чем на дефолтном луп вф в котором нихуя нету, примеры пока принести не могу а то нагенерил себе видосов по интересу для теста, а на ментаче за такое можно и пизды получить.
другой мимио крок
>там бтв половину нод что есть я не юзал и не ебу че они делают
>есть ощущение что аутпут получается более замыленный чем на дефолтном луп вф
Выключи энхансер, он там не нужен а мыла наваливает только в путь, еще наг можешь вырубить если негатив промпты не нужны, он вроде как тоже подсирать может. Еще за псевдо качеством можешь попробовать cfr до 15 скрутить, битрейта накинет, должно выглядеть лучше, может плацебо хз.
По производительности не сильно выше, но чипы памяти с одной стороны находятся и лучше охлаждаются, сама плата с запасом прочности и использовалась потом для 4090. С придушенным поверлимитом TI примерно равна раздушеной не-TI, а греется меньше.
>Временно. Сравни какие были картинки в 2020-2021 и сейчас. Сравни тексты в 2023 и сейчас. Дай время. Видео-нейронкам годик всего.
Только картинки что тогда что сейчас можно крутить на локальной машине. Видео развиваются сейчас только закрытые нейронки за бабло, из доступных есть ван, который хоть и хорош, но все равно мало, и уже тоже стагнирует, и есть все остальные, которые даже не близки к вану.
С лорами ускорения качество не улучшить количеством шагов, оно как бы уже подразумевается что генеришь с максимальным количеством шагов. Без лор например, чтобы получить аналогичное качество надо количество шагов сильно больше стандартных 20.
Читал такую телегу что в стандартной версии Asus ROG Strix запили настолько годный охлад, что вышло не хуже TI и поэтому они больше ценятся на 10 к дороже остальных ревизий Потому и искал конкретно их. Но этот аргумент конечно звучит забавно на фоне 83 градусов в тесте. Чёт наверное всё-таки рискну её взять. Не может быть, чтобы после обслуживания охлад не улучшился
То есть вообще нет возможности улучшить качество кроме как использовать fp8/16 модели без лор?
А что тебя не устраивает по качеству? Качество можно сильно ухудшить если использовать неподходящие настройки, или если используется несколько разных лор которые между собой плохо сочетаются. Или например бывает если модель текст энкодера юзать киджаевский без киджаевских нод, это тоже поганит качество. Если все правильно используется качество довольно приличное.
Опять же, нифига нельзя было крутить на локальной машине. Долгое время была SD1.5, которая сравнимо с ваном — гораздо хуже, и мидджорни, которая вполне себе сора/вео от мира картинок на тот момент.
И только когда вышел Flux1, картинки стали хорошими, а с выходом квена и второго флюкса уже норм редакт появился.
Ван это скорее уже sdxl, который тоже не сразу появился, так что никакой стагнации нет, сравнение некорректное. Тогда мы тоже с SDXL сидели и ждали… и дождались. Так что рано опускать руки.
да как бы нет, с лорой на 4 шага можно ставить 6 или 8 шагов, получается лучше
зайди в треды картиночников, там одни генерили на слхл до выхода зетки, а другие (анимешники) до сих пор на сдхл сидят
Ну как сказать. Возможность делать ролики в логичном окружении стоит нескольких лор на локации.
И почему сразу для одной, ты лоры по одному разу всегда используешь?
Пхпхпх, ну когда появились лоры, даже 1.5 стала генерить фотореалистично. =) Я и сам долгое время на 1.5 и сдхл сидел.
Другое дело, что когда мне надо было что-то по работе, а не по фану — то пересаживался на флюкс и квен-имейдж.
Важная фича — следование промпту.
Если мы хотим сравнить Wan2.2 можно сравнить в таком случае с StableVideoDiffusion или AnimateDiff — скачок огромный, по тому же следованию промпту, да и по качеству.
Все развивается, просто стартанули позже.
лора один и тот же ебальник не может стабильно повторять похожим на самого себя, а ты целую локацию предлагаешь генерить.
ты приводишь пример с 100500 фотками команты, то есть локация уже по факту есть блять и все что тебе нужно это записать видео в комнате ирл или сделать комнату в 3д из тех же фоток и потом уже в этот видос вставлять сгенеренных челов, это не вдаваясь в подробности реализации и постобработки
если у тебя не 32+ врам то наврядли у тебя модель в врам сидит
ага. Но суть такова - при установке лоры на 0.4-0.5 Gb процесс валится с OOM, а при удалении - работает.
Сборка 12vram+24ram, ну явно все забиться не должно.
>лора один и тот же ебальник не может стабильно повторять похожим на самого себя
Я сейчас рассуждаю о гипотетической технологии. Лоры для картинок вполне себе ебальник уже повторяют со всех ракурсов. Так что это вопрос оптимизации.
>то есть локация уже по факту есть блять и все что тебе нужно это записать видео в комнате ирл
Ога блядь, то-то у меня есть доступ к любой гипотетической комнате и желание туда переться, чтобы снять её ИРЛ.
>или сделать комнату в 3д из тех же фоток и потом уже в этот видос вставлять сгенеренных челов
А что мешает и челов сделать в 3D и анимировать вручную?
Мы же тут занимаемся генерацией чтоб вручную всё снимать, рисовать и анимировать, ничего не перепутал?
Пойми, что лора это не когда лично ты для одного единственного видоса идёшь и делаешь дохуя фоток, потом ебёшься с тегами, свистя-пердя кое-как обучаешь и такой "Нахуй надо, лучшем вручную снял!".
Лора это когда у тебя завалялось какое-то количество материала, и ты на его основе обучаешь лору хотя бы даже из любопытства, а потом выкладываешь её на цивитаи, потому что не жалко, а там ещё 100500 таких пользуйся - не хочу. И по итогу получается легче чем 3D модельки анимировать лол.
> Лоры для картинок вполне себе ебальник уже повторяют со всех ракурсов
вот именно что нет. нету стабильности. на одно сиде похоже, на другом видно что не похоже. кстати, на видеомоделях у меня результат был получше как будто
> Ога блядь, то-то у меня есть доступ к любой гипотетической комнате и желание туда переться, чтобы снять её ИРЛ.
так а нахуя ты сам пример приводишь со 100500 фоток комнаты, дурилка
> Грубо говоря, обучаешь лору на 100500 фотках конкретной комнаты, к каждой из которых прикрепляешь конкретные теги иии внезапно потом с этой лорой, при появлении конкретных тегов в промпте, модель будет ориентироваться на те самые фотки, а недостающие детали рисовать самостоятельно
обсуждаем использование использование нейронок для кино, причем тут тут "Лора это когда у тебя завалялось какое-то количество материала, и ты на его основе обучаешь лору хотя бы даже из любопытства"
кароче ты нубик и несешь хуйню рандомную
Там говенный гайд как пилить через тензор, а где мне взять гайд для Smooth локального?
>обсуждаем использование использование нейронок для кино
Принцип тот-же. Тебе не приходило в голву что лоры могут делать одни люди, а кино генерировать другие?
Ты бы ещё предложил свой ван запилить для съёмок конкретного фильма лол.
>так а нахуя ты сам пример приводишь со 100500 фоток комнаты, дурилка
Потому что они понадобятся для обучения лоры, дурилка.
да, так и вижу киношника, который делает фильм на рандомных лорах с цивита
ты блять реально шизоид конченный)
>так и вижу киношника, который делает фильм на рандомных лорах
А на НЕ рандомных, ты прям видишь?
По твоей ебанутой версии, все почему-то обязаны делать все только самым ебанутым и неудобным образом и этот же "факт" одновременно ты используешь как аргумент того, что использования лор в кино невозможно.
И кто тут шизойд конченный?
Для начала, мы говорим про использование лор. А раз мы используем лоры, то очевидно мы используем свободные, некоммерческие модели. А, если мы используем не коммерческие модели с цивитаи, и нам по какой-то причине норм, то схуя ли в это всё не вписываются рандомные лоры от туда же, блядь?
Опять, же напомню, что я говорю не про текущий момент, а про развитие, когда свободные модели смогут выдавать приемлемое для кино качество. И как-бы логично предположить что рандомные лоры для этих моделей тоже должны быть приемлемы.
Или же ты сейчас в авторское право будешь уворачиваться? В таком случае добро пожаловать в коммерческую хуйню вроде Соры.
Но фишка в том, что ни в первом, ни во втором случае съёмочная группа НЕ ОБЯЗАНА делать лоры самостоятельно. Она либо возьмет бесплатные варианты с цивита, либо заплатит за эту задачу коммерсам.
Но даже во втором случае это должно выйти дешевле, чем арендовать место для съёмок, камеру, оператора, актёров и оплатить логистику всей этой хуйни. Для этого блядь генеративные модели и делаются.
я даже отвечать на эту шизофазию не буду, ты либо школьник у которого знания о нейронках заканчиваются на том что на цивите есть лоры, а про видеопродакшн вообще не в курсах, либо просто душевнобольной. судя по настойчивому желанию ДОКАЗАТЬ свои бредни, попутно путаясь в показаниях, и то и другое.
Чел ты реально шизоид. Ничего такого пока даже в планах особо нет, максимум консистентность персонажа поддерживать на должном уровне. Ибо как говорили даже с охеренно натренированной лорой при разных параметрах генерации лицо меняется, это нельзя отрицать. Где то больше где то меньше, но это факт. Про консистентность пространства и говорить не приходится, оно будет от генерации к генерации скакать как ебанутое, ты не сможешь зафиксировать конкретный угол или окружение, когда ты будешь делать второй дубль то все в сцене поменяется.
И тут мы подходим к самому главному - игра нейро-актеров, она полнейший кал, они путаются в эмоциях выражениях лица, да что уже говорить - ты голос даже не воспроизведешь такой же на разных сценах, не говоря уже о интонациях.
Нейрофильм на данный момент крайне противоречивая тема, максимум местное использование как сейчас и работает.
>на данный момент
Если бы я тебе 5 лет назад описал то чем ты занимаешься сейчас, ты бы мне вероятно выдал такую же триаду о том насколько это невозможно.
Это да, но не стоит это интерполировать на ближайшие 5 лет, уже видно что индустрия замедляется. В перспективе пока нет никаких революционных наработок только улучшение имеющегося функционала. А он в свою очередь очень далек от совершенства. Даже платные супер-пупер модели, вроде вео3 или соры2, не могут выдать чего то достойного. И уже заметно "упирание в железо", по тому что обучение этих моделей растет экспоненциально. Казалось бы - что мешает гига корпорациям с закрытым кодом сделать возможность генерации роликов хотя бы 30 секунд на этом этапе, но нет - довольствуйтесь 15 секундами в HD, даже за деньги.
>уже видно что индустрия замедляется
Это уже совершенно новая тема для дискуссий.
Даже если представить что вся ИИ индустрия резко сторнируется. Всё равно можно ожидать для видео выход фришного аналога платных моделей вроде Соры, также как для пикчей вышел Флюкс - аналог Миджорней да да аналог хуёвый, но тем не менее качество бустанул + Если начнётся стагнация, это может привести к лопанью ИИ-пузыря, и выкидывании на рынок тысяч никому не нужных серверных карт закупаем всем нейрачем А100 по 15к деревянных
А это уже само по себе откроет не малые перспективы. Не удивлюсь, если через год-два ИТТ будут блевать с роликов что сейчас здесь выкладывают.
В общем с тем что таких качественных скачков как с 20 по 23 год не будет, пожалуй соглашусь. Но что-то точно произойдёт.
Как думаешь, хорошая идея P102-100 в пару к 3060/12?
Вот вышел флюкс 2. Отличия надо под лупой искать, а потребляет в 2-3 раза больше памяти, при времени генерации в 4+ раза дольше. Что это как не стагнация, в конечном итоге все упрется в потребительское железо. Чтобы получить уровень условной соры2 или вео3 просто напросто не хватит мощностей на потребительском железе. Как не крути, пока не выйдут специализированные для ии карточки никакого прогресса дальше не будет.
Кожа зачастую покрывается такими сотами, волосы.
Как конкретно это фиксить, очень нейрокалово это выглядит.
> пока не выйдут специализированные для ии карточки никакого прогресса дальше не будет.
Так и тогда не будет, где твоя рам сейчас?
Закупайся, кушай прогресс вплоть до 1тр мое дома.
Главы ии просто спиздят весь рынок и от начального ценника на одну такую карту, который уже будет далек от потребительского, прибавится еще х10
>Так и тогда не будет
Будет, только не локально, а в условной соре3
то что там с десяток референсов можно прикрепить это мы опустим, ну чисто хуйня
>стагнация
>потребляет в 2-3 раза больше памяти, при времени генерации в 4+ раза
>Отличия надо под лупой искать
Велкам ту SD1.5!
Ты там куматрон крутить собрался что-ли?
Комфи не позволяет генерить сразу на нескольких картах или я что-то пропустил?
Да? Прискорбно. Казалось бы, что такого... Хотелось модель с лорами разместить и чтобы контексту место осталось.
>Как думаешь, хорошая идея P102-100 в пару к 3060/12?
Плохая.
Но для текста - можно P104-100. За копейки +8GB быстрой vram - там это все еще ценно.
Здесь - бессмысленно, cuda 6.1 в картинках уже не поддерживается.
>>1450967
Даже если бы позволял - cuda 7.5 сейчас минимум, без нее не работает вообще. А там 6.1.
Ну ахренеть успех, 10 референсов, в 3.3 раза больше чем в квен эдит, при том каждый доп референс во флюксе увеличивает время генерации в отличии от квена.
Принципиально ничего нового, да текст чуть получше стал выводить, чуть получше промпт стал понимать - минорные улучшения ценой четырехкратного повышения требований.
Что нас ждет во флюкс 3? 20 референсных изображений и требования в 200 гигов памяти с генерацией 1 картинки по часу?
>>1450898
При чем тут SD1.5, когда сравинимваю f1 и f2
>При чем тут SD1.5
Как причём? Памяти жрёт меньше? - Меньше. Картинки делает? - Делает! Да и разницы не видно, если под лупой не рассматривать, стагнация же кругом!
>при том каждый доп референс во флюксе увеличивает время генерации в отличии от квена
Да? Странно. У меня и в квене как раз - чем больше референсов, тем медленнее.
И вообще-то, это как бы логично - чем больше данных тем больше считать...
Если показать картинки sd vs f1 то отличия заметны - прогрессия.
Если показать картинки f1 vs f2 то ты не поймешь какая из них сделана на f1, а какая на f2 - стагнация.
Пиздишь, ты явно Ф2 не использовал. По качеству и знаниям разница между Ф1 и Ф2 такая же, как и между XL и Ф1. По пониманию промпта даже закрытые сетки соснут у Ф2.
Я седня весь день ебался с этими моделями, и чекай разницу:
он говорит о том, что ты не увидишь разницу, если тебе ПОКАЖУТ КАРТИНКИ.
Так-то F1-Qwen-F2 визуально и правда отличаются слабо (ну там синтетики где-то навалили, кожа пластиковая, но лоры и промпты фиксят). Не отличишь.
А в работе, да, я ебал, F1 очень тупая, F2 сильно тащит, Qwen местами тоже хорош, выручил пару раз.
блять а схуяли кто-то должен понимать что на чем сделано. аргумент пизда просто, так и на сдхл можно сидеть вангерлов генерить десятилетиями
мне надо чтобы модель сделала пикчу какую я сам хочу, флукс 2 с этим справляется лучше и имеет боле широкий функционал и область применения
Поэтапно-то почему бы и нет?
Есть же мультик
https://www.reddit.com/r/comfyui/comments/1hl0c1p/comfyuimultigpu_experimental_nodes_for_using/?tl=ru
Ищи cmp90hx, для нейронок сейчас топ. Это майнинговая RTX3080 с 11 Гб памяти. Соответственно все свежие пакеты её поддерживают, с LLM, SD и Wan проблем никаких. Просят за них 15к, можно и дешевле найти.
Поиграть нормально не получится на такой, имей в виду.
Короче с использованием выгруза/загруза латента ван кое-как работает на 16гб/8 врам, и даже не особо эпически срет в своп. Еще заметил что нода wanimagetovideo сначала конвертирует оригинальную пикчу в латент, а потом уже этот латент дожимает через nearest neighbor до требуемого разрешения, с соответствующим результатом для хайнойза. Потом это все наверное все равно затирается, но теперь ресайзю картинку заранее.
Можешь еще подробнее объяснить? Открыл твой воркфлоу и ничего не понял.
Во всех воркфлоу в лоунойз идет латент после хайнойза. Как ты туда подмешиваешь исходное изображение?
Для какой архитектуры моделей вообще выходили хорошие nsfw тюны за полгода? Для полторахи и XL (если считать поней хорошими)?
Чел я сам нихуя не понимаю в своем воркфлоу если честно. Тупо сохраняю пачку латентов после хая на диск, а потом открываю другой воркфлоу, загружаю лоу и прогоняю их батчем через него, а потом последний батч идет декодинг через вае. Шыснацать гигов памяти потому что, а срать по 30 гб в ссд за раз на рендер неохота. Наверное есть всякая сажа, питонкомпайл и т.п. что поможет снизить объем потребляемой памяти так что туда сразу оба эксперта одновременно влезут, но это для умных, а мне и так норм.
Теперь тоже любопытно. Сижу ковыряюсь. Но у тебя какой-то стремный результат на первом варианте. У меня без танцев с бубном как во втором. Может у тебя модель подосланная?
Да нет это я тупо затупил подвести гайданс к сэмплеру и охуевал часами почему у меня оригинальная картинка проебывается.
И вдогонку, как быстро по мнению анона происходит износ ССДшки при таких данных(а он будет же да?)?
>Локальной генерации ИИ-видео
>Где анон генерирует онлайн?
Очевидно, что нигде. Спроси в /nf/ в вымирающем тензор-треде.
>1
Тоже сначала подумал по превью, что она в чёрных колготках? (Эх, как жаль, что из-за блядской цензуры такого на самом деле нельзя сделать.)
Кстати, а что там по Cocoon Дурова?
Купить 24гб карточку нет возможности, а сервисы душат цензурой, яростно триггерясь на всё мало-мальски сексуальные.
Звучит круто!
Кто-нибудь тестил насколько это реально ускоряет генерацию?
Или тут смысл только в том чтобы раскидать модели по разной видеопамяти и выпольнять разные ноды на разных картах? Тогда получается, если у тебя быстро загружает/выгружает модели, то это ничего особо не даст?
по идее это не ускоряет генерацию, это позволяет использовать больше одной карты для выгрузки и решать, что куда должно выгружаться (как я понял). Работа в ComfyUI все равно последовательная, не обольщаемся, параллельности не завезли.
Жаль, мой проц староват (хоть и производителен) и полная выгрузка лоу-модели вана на оперативку была плохой идеей.
Когда тестил подобный трюк на llm там была скорость 1т/с.
На gpu та же llm выдавала ~30т/с. Нувыпонели.
Нифига. Чет все печально с ними. Ллмки могут, но не комфетку.
https://habr.com/ru/articles/948396/
Не, ну видишь, тут чувак говорит, что все охуенно, а я, как владелец, который потестил видяхи еще до выхода этой статьи, могу лишь подтвердить — хуита.
>>1452675
Ты вообще умудрился напиздеть везде, по-ходу.
1. Нахуй CMP 90HX, когда есть CMP 50HX вдвое дешевле с той же производительностью.
2. Кстати, CMP 90HX стоит не 15к, а 7,5к, если что.
3. Нифига они не умеют в SD и Wan, банальная P104-100 кратно быстрее их.
Если я не прав — я буду дико рад, что ее смогли ускорить в 10-20 раз от производительности месяц назад.
Но все еще не очень понимаю, зачем советовать заведомо более дорогой вариант.
А вот CMP 50HX действительно неплохи для LLM. Да, 90 будет чутка быстрее, процентов на 10%, но будто того не стоит. А 50 выдает очень бодрый перф как в маленьких модельках, так и ригом.
Докину совет для тех, кто решится купить CMP 50HX (или переплатить за 90) — nvidia-pstated решает проблему с постоянным разгоном памяти и нагревом. Автоматически переключает power-mode.
>3. Нифига они не умеют в SD и Wan, банальная P104-100 кратно быстрее их.
P104-100 уже совсем нифига не умеет - не поддерживается в том же свежем comfy и прочей обвязке. У нее cuda compute 6.1, а текущий минимум - 7.5
У cmp90 и 50 - cuda тоже 8.6, как у первых RTX-ов. И пошустрее они - (P104-100 - это ближе к 10хх - pascal, cmp - ampere)
P104-100 сейчас годится только в кобольде тексты гонять, причем желательно - второй картой, чисто ради VRAM. Или ждет тебя долгий пердолинг с пересборкой всего и вся под cuda 6.1 - кое что из старого еще заведется тогда.
> P104-100 уже совсем нифига не умеет - не поддерживается в том же свежем comfy и прочей обвязке.
Не вижу проблемы поставить куду чуть старше и обновлять все остальное. Все работает.
> И пошустрее они - (P104-100 - это ближе к 10хх - pascal, cmp - ampere)
Она в несколько раз быстрее, чем CMP'ихи в генерации картинок и видео. Выше я об этом и говорю, что у CMP огромная проблема с генерацией из-за (не)поддержек технологий.
Если кто-то это решил — все еще жду ссылочку, ибо нигде об этом не написано.
> P104-100 сейчас годится только в кобольде тексты гонять
Теперь имаджинируй Втрое-вчетверо дольше генерацию картинок — на что способна такая видеокарта? :) Вот тебе и ответ про
> SD и Wan проблем никаких
Ну или поделить тайным знанием, наконец, как бустануть х10 эти карты в генерации картиночек и видео. А то только с LLM и работают. 4b модели летают, безусловно. =)
> Питона, торча, куду не менял
> Сдох сам после самообновы
еще бы они перфоманс замеряли и репортили о достижениях, цены бы не было.
Иногда я думаю, что проще вторую 3060/12 на лохито докупить, чем мечтать о волшебстве.
Ну я повторюсь, что для картинок проще взять P104-100, она и то втрое быстрее.
Я сегодня могу еще поиграться в линуксе, поставить комфи (или что надо — скажи), попробовать запустить диффузии разные (правда в том компе 16 оперативы тока — без флюкса и квена, сорян), замерить. Вдруг и правда чудо на линухи случится.
Но сейчас 5060 ти 40к стоит 16-гиговая, ну и 3060 18к — варианты быстрее из изкоробочные, конечно, да еще и видео вывести можно с них. И памяти больше.
Уже давно вместо того чтобы делать "обнову", скачиваю вторую портебл версию и если с ней всё ок, удаляю предыдущую. Научен горьким опытом модели держу отдельно