━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
🌟 ТОП ЛОКАЛЬНЫХ МОДЕЛЕЙ ПО КАЧЕСТВУ РУССКОГО ГОЛОСА НА МАРТ 2026 🌟
🐟👑 Fish-Speech S2 Pro (FishAudio) — SOTA, ElevenLabs на локале!
→ zero-shot клон от 10–30 сек записи
→ 80+ языков (русский топ), теги эмоций [excited], [whisper], [angry], [laughing] и вообще дохуя
→ диалог между несколькими голосами
→ тяжёлая сучка (FP8 в 12 ГБ VRAM, full ~17 ГБ), но есть экспериментальный вариант для 6+ ГБ
https://github.com/rodrigomatta/s2.cpp
🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹
🧠 Qwen3-TTS
→ клон от 3–30 сек (ВАЖНО: без reference-транскрипта текста — хуйня, если хочешь поудобнее подключи сразу QwenASR)
→ VoiceDesign: пишешь «весёлая молодая девка с хрипотцой» — и получаешь голос
→ 10 языков, включая русский
→ диалог между спикерами
→ лёгкая — влезает в 6 ГБ VRAM
🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹
🎙️ VibeVoice-7B от Майкрософт
→ тяжёлая, но 4-bit квантизация — запускается на 8 ГБ (проверено на 3070)
→ поддержка долгих спичей
→ подкаст-режим: 4 спикера одновременно
→ норм клонирование голоса
🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹
☁️ FL CosyVoice3
→ ультралёгкий 0.5 — запустится даже на тостере
→ 9 языков, включая русский
→ zero-shot клон от 3–10 сек референса
🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹🔹
🌍 Chatterbox Multilingual (23 языка, включая русский)
→ zero-shot клонирование голоса
🎤 F5-tts
→ zero-shot клонирование голоса
→ официально русский не поддерживается, но есть файнтюн (см. ниже)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
🚀 КАК ЭТИМ ПОЛЬЗОВАТЬСЯ (если что-то не понятно — спроси у ИИ лол) 🚀
🔥Вариант «всё в одном месте» — ComfyUI + TTS-Audio-Suite
1. Устанавливаем ComfyUI (Desktop для нормисов, Portable для здешних нейромантов)
2. Ставим https://github.com/diodiogod/TTS-Audio-Suite — постоянная обновляемая солярка почти всех моделей
3. Поставить FFmpeg (через winget в комадной строке: winget install FFmpeg или скачать)
4. Запускаем Комфи → перетаскиваем готовый json-воркфлоу из репозитория
5. Отсавляем включенными выбранные ноды, жмём Run
6. При первой генерации модели сами скачаются (~1–9 ГБ)
💥 Вариант «по отдельности» (кастом под каждую модель) 💥
Тоже через ComfyUI, только ставим отдельные кастомные ноды (на выбор):
FishAudioS2 → https://github.com/Saganaki22/ComfyUI-FishAudioS2
FL-CosyVoice3 → https://github.com/filliptm/ComfyUI_FL-CosyVoice3
F5-TTS → https://github.com/niknah/ComfyUI-F5-TTS
и другие → https://registry.comfy.org/
Русский файнтюн для F5-TTS:
Нода: https://github.com/niknah/ComfyUI-F5-TTS
Скачать русский файнтюн: https://huggingface.co/Misha24-10/F5-TTS_RUSSIAN/blob/main/F5TTS_v1_Base_v2/model_last_inference.safetensors и
https://huggingface.co/Misha24-10/F5-TTS_RUSSIAN/blob/main/F5TTS_v1_Base/vocab.txt
оба файла переименовать в ru.safetensors и ru.txt и положить в папку models/checkpoints/F5-TTS/
Референсное аудио для F5 должно быть коротким, 6-8 c. При 11 c - речь становится слишком быстрой.
в папку /comfyUI/input положить 2 файла: emma_ru_xtts_3.wav и emma_ru_xtts_3.txt: https://github.com/Mozer/comfy_stuff/tree/main/input
(в emma_ru_xtts_3.txt лежит текст сказанный в wav файле.)
в комфи в ноде F5 TTS audio advanced выбрать:
model model:///ru.safetensors
model_type: F5TTS_v1_Base
sample_audio: emma_ru_xtts_3
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
🎉 Если что-то не запускается — пиши, разберёмся!
Голосуем, клонируем, ебём нейросети вместе! 🔥🎙️
Прошлый тред: >>1055411 (OP)
дабл в честь вайпа переката
>Faster-whisper-xxl питоновский. Обычный даже время не выдает. Ты этим же делал?
не, я делал Whisper.cpp, может из за этого в 2 раза разница, хотя не верится особо...
отличная шапка, только почему Speech-to-Text потеряли? отдельного треда на это явно не будет
>Speech-to-Text
Так проблема уже давно решена, если нужно локально то QwenASR, а если не важно чтобы был лоКАЛ, то можно закинуть аудио в Грок и он сам тебе его транскрибирует.
А так, ASR тоже в TTS-Audio-Suite, но обсуждать их уже как-то мало смысла.
>>1557390
Не иронично Gemini.
ну, по хорошему бы это в шапку добавить, и про Whisper возможно тоже, чтобы вопросы лишние у новоприбывших не возникали
ну, по первому файлику примерно в 2 раза медленнее работает, 49 сек против 21, и видеокарту не так использует... (в графе 3д ничего не показывает, только по памяти)
> Не иронично Gemini.
Как им пользоваться?
>>1557417
В графе 3д и не должно показывать, переключи на куду. А виспер цпп 3д нагружал?
>если нужно локально то QwenASR
Как он в сравнении с виспером?
faster-whisper-xxl нету в принципе в исходниках, как я понимаю. Как всё это заебало.
>>1557325 →
Посмотрел - да, в pip openai-whisper, а модуль называется whisper. Как удобно, блядь.
Ну хуле ж так? Почему у тебя быстрее? Оно же в проц не должно упираться?
>А виспер цпп 3д нагружал
в том числе
>>1557836
>Почему у тебя быстрее? Оно же в проц не должно упираться?
та кто его знает, по идее б у меня первого уперлось бы, у меня зион 13го года и ддр3... та и нагрузка явно на видяху там шла, бо в графе 3д конкретный такой забор был, % на 75...
пробуй CPP поднять, должен быть прирост
Как ты запускал?
faster-whisper-xxl.exe" --model large-v3-turbo --output_format all -- файл
Сейчас 0:01:22.563, 5.73x. Файл 0001_..p.mp3
>у меня зион 13го года и ддр3
У меня интел 10 года. Обновился, блядь. Ебаная оператива.
>>1557855
>бо в графе 3д конкретный такой забор был, % на 75...
Там не должно быть загрузки 3д. См скрин.
>>1557855
>пробуй CPP поднять, должен быть прирост
Как я его тебе подниму?
у меня вместо Cuda стоит Copy, хз от чего зависит, может от винды или драйверов
На стрелку вниз жмешь и выставляшь что хочешь :) Так у тебя реально в 3д загрузка?
>Как им пользоваться?
Тупо закидываешь аудиофайл в чат
>>1557594
>Как он в сравнении с виспером?
можешь заценить тут, по идее должно быть тоже самое что и на локале https://chat.qwen.ai/
если понравится, можешь поставить локально через ттс суит или эту ноду https://github.com/DarioFT/ComfyUI-Qwen3-ASR
> Тупо закидываешь аудиофайл в чат
С чатом гопотой у меня это так м не заработало. Алсо это не автоматизируемо? А что там за модель под капотом?
>А что там за модель под капотом?
Может быть такое что там скрытая кастомная от Гугла или все та же Veo но настроенная на звук, но везде пишут что сама Gimini она мультимодальна, то есть натренена на тексте/картинках/аудио/видео одновременно.
Слишком дорого, и для вменяемого качества нужно много ручного труда. В читаемой нейронкой формат перевести, голоса натренировать, хорошие варианты выбрать...
Это прям сильно больше, чем несколько чуваков за пару штук нанять на озвучку.
>Qwen3-TTS
Бляя. Я это хуйню короче вчера поставил, угадайте блять чё случилось после команды реквирементс.
А то что и всегда нахуй, комфи просто перестала запускаться.
с стабильность.
Видя с главной не смог пройти мимо - вы что с шапкой сотворили, ироды? Так верстают только мудаки.
Да, похоже на высер нейросети.
Как там обстоят дела с клонированием голоса? Насколько похоже/реалистично, как просто?
https://www.youtube.com/watch?v=-zVgWpVXb64
ничеси, не знал шо так можно
Не, все-таки Cuda... Хм, почему мне тогда кажется что раньше я этот забор в графе 3д видел, ну то такое, может то на другой нейронке какой-то 3д юзалось...
>У меня интел 10 года
тогда там и AVX2 походу нет? печальненько, это может ограничить спектр запускаемого софта... та и на скорость повлиять...
хотя по ощущениям основная работа на видеокарте (китайцы не смогли нормально мать развести, и при работе видеокарты в наушниках довольно хорошо слышно сигналы с PCIe шины)
комфи просто перестала запускаться.
агонь) комфи это стабильность)
а без комфи никак это не запускается?
>а без комфи
А без комфи там надо ставить кучу всякой хуиты, питоны, тритоны, анаконды, и пердолиться в сонсоль до скончания веков. Я не даун, что бы заниматься этой хуетой.
Проц недогружен, в ядро вроде не упирается, но мало ли
>>1558723
Да, запрятали это. И настройки еще и не сохраняются.
Какие у тебя есть датчики в gpu-z? Потребляемая мощность есть?
но при этом имеешь время чтоб ломать и чинить комфи)
я для себя принял тактику - новый инструмент- новый venv для пайтона... тритон на винде это боль насколько я помню вообще
как то так, один скрин турбо, один просто лардж
оно пиками мощу повышает по меньшим значениям в 20 вт разница, 70-90... как то так, пиками на макс 150 плюет
Я просто новую портативку скачал. Эту хуету чинить бесполезно.
Сделать фонетический разбор текста, расставить правильно ударения, паузы.
Разбить текст по ролям и дать каждой роли отдельный голос
Так как у silero мало голосов. То отдельно придется преобразователь голоса.
Добавление фоновых звуков
Сшивание обратно по главам
>сделать аудиокнигу
ок
>silero
а обязательно выбирать говно мамонта? или специально нужна именно наиболее старая модель из 2022-го?
Есть в открытом доступе голоса из телеги silero/steosvoice?
А каверы песен?
жопич виталя кал все еще не попадает
Нарезал 20 кусков по 10 секунд англоязычной речи нужного мне персонажа
Пытаюсь сделать так чтобы читались ответы ллмки автоматически. Ллмка эта локальная.
Дипкок предложил silly tavern, накатить через дополнения. Но я ебанулся уже разбираться в этом говне без гуя с ошибками на каждом этапе и тонной мусора из зависимостей.
Может я изначально не тем путем иду и нужно как-то иначе осуществлять данную функцию?
Видеокарта у меня 4060 на 8 гигабайт, 32гб ОЗУ
>связать llm с tts
>Ллмка эта локальная.
>как-то иначе осуществлять данную функцию?
тебе повезло, тут в кобольд только недавно завезли поддержку QwenTTS с клонированием голосоа
https://github.com/LostRuins/koboldcpp/releases
Ничего не понятно в гайде с гитхаба этого проекта. Удалось запустить ллм, но ттс не понимаю как обучить
>ттс не понимаю как обучить
обучать не нужно, сейчас все делается через voice-cloning, модель клонирует голос на лету.
сначала научись его делать наверное с любой моделью и потом лезь, хотя там и так понятно все должно быть.
Альтернативно, тут тоже поддежка голоса вроде появилась
https://github.com/jofizcd/Soul-of-Waifu
Я разобрался базово в koboldcpp и получилось настроить там рекомендованную на гитхабе TTS.
Но проблема в том что она очень медленная. Даже на видеокарте приходится по 5 минут ждать генерацию фразы в несколько слов.
Причем LLM параллельно работает наоборот очень быстро.
Ещё мне не нравится, что можно только один отрывок короткий использовать, хотя у меня их 20. Каждый раз идёт обучение с нуля, как я понял по консольке и если выбирать отрывок дольше 10 секунд, то генерация звука занимает вообще по 20 минут.
Неужели нет способа на 4060 более-менее быстро генерить, чтобы озвучка занимала адекватное время?
>Но проблема в том что она очень медленная. Даже на видеокарте приходится по 5 минут ждать генерацию фразы в несколько слов.
Возьми квант поменьше, не Q8_0, а Q4 к примеру.
600+ Languages — Broadest language coverage among zero-shot TTS models
Voice Cloning — Clone any voice from 3-15 seconds of reference audio
Voice Design — Create synthetic voices from text descriptions (gender, age, pitch, accent)
Multi-Speaker Dialogue — Generate conversations between multiple speakers using [Speaker_N]: tags
Fast Inference — RTF as low as 0.025 (40x faster than real-time)
Non-Verbal Expressions — Inline tags like [laughter], [sigh], [sniff]
в дополнение к тому, что он успешно клонирует голос между языками - вот пример клонирования в рамках одного языка.
Что по качеству, голосаны? Шапка актуальна? Вот эта >>1574911 нейрошляпа актуальна? Что скачать для клона и генерации с нуля, чтобы не качать все подряд и не тыкаться с этим неделю-другую, перебирая? 16 VRAM.
Войс-дизайн в связке с клонингом есть?
Если нет - чем лучше КвенТТС?
Шапка уже (за месяц) устарела.
Вот эта йоба >>1574904 входит в топ лучших.
Но походу не лучше чем Fish-Speech S2 Pro, но более доступная, так как ФишСпич требует как раз 12 ГБ VRAM, а ОмниВойс можно и на тостере запустить с 4ГБ VRAM.
>>1575156
И для 8 ГБ VRAM, да хоть для 4 ГБ VRAM подойдет OmniVoice.
>>1575198
Да, есть дизайн голоса с нуля.
Ну и плюс типа 600 ЯЗЫКОВ Карл блять, 600!
> British accent
А для других языков? Семплы есть? Чем делают видосики где амеры говорят по русски?
>>1575268
Тут прикол ОмниВойса в том, что он мультиязычный - то есть клонированные голоса с одного языка можно использовать на другой язык.
То есть клонируешь чей-то известный английский голос и говоришь им на русском и т.д.
Спасибо. Насколько вижу по шапке, там из серьезного только Рыба, Квен, Майкрософт. Остальное мелочь какая-то. Квен и Майков трогать стоит или уже стоит только Рыбу с >>1574904 смотреть?
>Да, есть дизайн голоса с нуля.
Дизайн с нуля и в Квене есть, говорю же.
Но в Квене нет такого, чтоб взять клон голоса, и уже его дизайнить. Эмоции прописать, интонации другие, прочее.
Потому и спросил.
Тут, походу, тоже нет.
>600 ЯЗЫКОВ
На-ку-я?
Не, какому-нибудь маори может и понравится, что для его языка на чем они там говорят вообще? наконец-то модель сделали. Но основные то, самые часто используемые языки, практически все модели знают.
/\/\/\ Вот эту поеботу можно как-то в google colab запустить на T4? /\/\/\
Я нищий и тупой, не бейте. Звучит охуенно, но при попытке запуска этих нод через комфи всё вылетает нахуй, я так понимаю памяти не хватает. А как использовать nf4 в душе не ебу. Ну скачал модель, закинул в папку, а дальше то что? Оно один хуй пытается свою модель автоматом качать и на этом происходит разрыв жопы. А как под это кастомный ворклфлоу собрать я в душе ебу.
А вообще имеет ли смысл? Ну типа будет ли оно хоть близко таким же качественным с моём случае, как и примеры с полноценной моделью? Или будет всё тот же робовойс?
Уточню что в самой ноде я также выбирал bnb nf4, но оно сначала качало оригинальную модель или её часть, пыталось что-то пережимать или хуй его и вылетало. То есть автоматический вариант видимо отпадает.
>>1576422
это кастомная нода к ComfyUI, поэтому должен ставиться вот так - можно ли запустить ComfyUI на коллабе? Так хз, со времен Автоматика это вроде блокируется на коллабах.
Но для тех, у кого как минимум 6 ГБ VRAM есть альтернативный вариант https://github.com/rodrigomatta/s2.cpp поддерживающий квантизированную версию модели, правда придется попариться с запуском и управлять процессом придется через командую строку. В общем самый barebones вариант, но по качеству не должен уступать.
Да он то сам по себе ставится на комфи в колабе, просто нужно именно обойти вот это ограничение с автоскачиванием модели, чтобы оно подтягивало не полную модель, а брало уже квантованную из файлов, а с этим непонятно. А так если вопрос стоит в том пропускает ли колаб генерацию, то да пропускает, никаких проблем с нейронками в колабе нет. Мой случай упирается именно в видеопамять.
А за ссылку спасибо, буду разбираться. А то как-то неполный ответ получился, не дошел до этого момента.
>огромный
нет
>банк сэмплов голоса
да
https://aiartes.com/voiceai
https://rentry.org/Voice-Samples
Это я видел. Мне бы на русском каких-нибудь ярких экспрессивных голосов. Так омнивойс затянул, звучит как магия, после старых ттс. А вот голоса русские негде брать, особенно женские... Повырезал немного блогерш и стримерш, они в основном очень вяло разговаривают.
Как идея, посмотри у себя в телеграме или ватсаппе не сохранились ли голосовые сообщения.
Почему в шапке постоянно упор на lowvram? Что можно боярину с 4090 погонять? Или всё то же самое по качеству будет?
Не знаю что там про бояр. Но при черипикинге омнивойса, я смог сгенерировать короткие голосовые, неотличимые от оригинала и потролить этим друзей которые ничего не заметили. Ещё пару поколений нейронок и нам конец.
как сгенерить 10 минутное joi видео с голосом стримерши?
В ИИ сфере это мало, просто сами по себе ТТС модели небольшие. 12ГБ в фп8, в бф16 будет 24. И это запуск, для тренировки еще больше нужно.
>Или всё то же самое по качеству будет?
Ну да, если VRAM выше потолка то качество магически не увеличится, только сокорость может, ну и еще на поток поставить - генерировать сразу 2-4 вариантов аудио с разными сидами.
>>1580202
Используй Fish-Speech S2 Pro со следующими тэгами. Но по моему опыту модель понимает гораздо больше тэгов чем эти. К примеру я добовлял [surprise] и еот реально удивленно говорила, еще [embarrassed] или [love] (не уверен работает или нет, но какой-то эффект есть).
Почему у меня сколько бы я этих локальных нейронок не пробовал, всегда получается абсолютно обоссаная проклятая срань, в которой половину слов на китайском, половину с неправильными ударениями на русском.
Единственный приемлемый результат я получал только через RVC с обученной моделью. Которая переозвучивала то, что наговорила нейронка от гугла. Но гугл пидарасы заблочили доступ в свою студию. И теперь приходится долбиться в комфи, каждую неделю скачивая новое обоссаное проклятое поделие, и убеждаться, что оно такое же как предыдущее.
>сколько бы я этих локальных нейронок не пробовал
>всегда получается абсолютно обоссаная проклятая срань
вот это "Убери свою пушку лигавый мать твою говнюк засранец!"
брать Омни Воис? на это сраное Комфи?
есть ли где готовая сборка?
чтоб Портабле.
скачал и запустил.
Это нейросеть?
Есть готовая сборка портативная комфи. Просто распаковываешь её, кидаешь туда файл с гитхаба омнивойс, из папки воркфлоу. И всё. Там воркфлоу сам модели скачивает.
Омнивойс не надо качать. Качать нужно только менеджер нод, а потом в менеджере нод выбрать омнивойс и он сам скачается.
Первое что надо сделать, это поставить в браузер закладку перплексити и подобной нейронки. И любой такой элементарный вопрос спрашивать у неё.
Она такую хуету понимает, можно так и писать "где взять менеджер нод комфи уи", прямо по русски с ошибками похуй. И дальше если что-то в процессе будет непонятно, тоже у неё спрашивать.
Тоесть ты прямо так в сонсоль и пишешь "python -m pip install"?
Это чё то не то. В портативную надо именно указывать питон, который в папке python_embeded
Тоесть
\путь_до_портативной папки\python_embeded\python.exe -m pip install и т.д.
Я батник создал в папке с питоном, как видно на пике оно сработало вроде как, написано что установлено. Если запустить еще раз батник то пишет что все работает. Но в самом комфи ничего не изменилось.
Тогда хз. А ты вообще какую ноду качал? От Saganaki22? Надо оттуда именно.
Сначала скачал какой-то типа официальный, потому что тот манагер не хотел качать. Он не завелся, скрутил в манагере безопасность и скачал от саганаки, ничего не изменилось.
А воркфлоу от него не запускается, таких нод нет если брать пример из скачанного с гитхаба. У меня от омнивойса только одна нода кастомная.
Так у тебя получается ничего не установлено. Тебе нужны кастомные ноды от саганаки и воркфлоу от саганаки.
По поводу секурити вот так у меня в инишнике. И всё скачалось и сходу завелось.
security_level = weak
Если у тебя так же и всё равно не качает, попробуй тогда через git clone скачать репозиторий вручную.
Так там нет нод, написано что скачано а ноды-то хде. Нода есть у crt, но оно не работает.
При этом папку он создал в кастомных нодах и ноды там есть внутри, но комфи их просто не видит.
На гитхабе там написано, что если не встало через менеджер, то выполнить в этой папке
python install.py
Или мне надо путь батнику указывать до файла пип в папке со скриптами питона? Тогда заведется? Пиздос, чувствую я систему скоро всю наебну этими установками говна через батники.
Да, я так недавно комфи угандошил вайб войсом. Радуйся что хотя бы запускается пока. У меня после зависимостей вайбвойса вообще перестал.
>Надо было обновить трансформеров
Так вроде скрипт установщик install.py проверяет какая там версия этих трансформеров нужна. Ты через скрипт ставил или просто вводишь рандомные команды на рандомные ошибки?
>Ты через скрипт ставил или просто вводишь рандомные команды на рандомные ошибки?
Они не рандомные, мне комфи говорит их вводить.
Так комфи тебе может так очень долго ошибки писать. Скажем если в requirements 20 зависимостей.
Оно тебе будет ошибку с одной зависимостью выдавать, а после того как ты её поставишь он тебе следующую ошибку выдаст и так 20 раз будет писать.
Потому кастомные ноды, если они не встали через менеджер, надо ставить по инструкции с гитхаба. Там будет что-то типа python -m pip install requirements.txt
Но в данном случае через install.py надо в папке кастом ноды
>install.py
Как его запустить-то?
python install.py
Но лучше указать полный путь до питона екзешника, и полный путь до скрипта.
Просто в батнике через пробел условно "Comfy\python_embedded\python.exe comfyUI\custom_nodes\omnivoice\python.py"? так? -pip install или просто - не надо?
Просто через пробел. И бат файл каждый раз не обязательно создавать, на любое действие. Проще всё это в сонсоль вбивать сразу.
Просто батник если кидать можно вроде как не полный путь указывать а от его положения, так проще.
Тот же эффект будет, если ты зайдешь через проводник в нужную папку и напишешь в адресной строке cmd.
>Да ебаный рот этого казино, сколько можно. Надо было обновить трансформеров и ноды появились. НО ВСЕ РАВНО НИХУЯ НЕ РАБОТАЕТ.
ну вот поэтому я спрашивал "где взять готовое комфи с воисом, портабле".
потому што это ваше комфи это педерастия примерно как линукс