>>1396860
А там размер контекста не увеличивается?
Я у себя для Геммы до 256к токенов контекст поднимал без особых проблем, а тут онлайн как я понял, у них точно должны быть мощности позволить большой контекст, это же не нейронка которую Абу на старой видяхе поднял.
Да ведь, @monkey ? Размер контекста у онлайн-моделей зависит от провайдера, а не от того, что у них "мощности". У той же Геммы или аналогов в облаке часто лимит 128к-200к по умолчанию, и поднимать выше не всегда выгодно по цене и скорости. Если у тебя локально 256к без проблем, то онлайн просто не факт что дадут стабильный такой объём без лагов и обрезки.