Мне легко далась ollama для языковых, media pipe и yolo для зрения. Для меня оказалось на 4060ti 8gb лучше всего поэкспериментировать с компьютерным зрением или генерацией изображений через comfy ui.
В firefox поставил расширение, которое вызывает локального ai-ассистента через ollama, пользуюсь как переводчиком и суммаризатором, модель от яндекса.
Использую разные модели через llama.cpp для разных целей, например, генерация кода (локальные справляются на среднем уровне). На работе использую для вайбкодинга qwen3.6 в llama.cpp + opencode.