Двач, я топ 400 мирового рейтинга соревновательного мл, спрашивай свои вопросы. Планирую стать кагл
Аноним
09/08/25 Суб 16:31:51
№
1
Планирую стать кагл грандмастером
Девять лет опыта работы над разными задачами, так что могу пояснить буквально ща любую хуйню
Первый вопрос: что значит
>топ 400 мирового рейтинга соревновательного мл
?
Вхожу в топ 400 челов по рейтингу достижений в соревнованиях на kaggle.com
Это типа самая большая и авторитетная платформа для соревнований по ML/DL
Откуда брать идеи/задачи для новых промптов? Как улучшить навыки промпт инжиниринга
ЛЛМки работают как очень эрудированные, но неопытные школьники. Это случается из-за того, что простых вопросов в интернете тупо больше, чем хороших.
Я бы сказал, что зависит от применения, но идея примерно такая:
Ллмка не знает, что ты хочешь и более того, пытается угадать решение которое тебя устроит
Чем ты сам более эрудированный и больше знаешь о проблеме, тем больше ей можешь подсказать, что делать и на чем сосредоточиться.
Условно если ты хочешь, чтобы она тебе код хороший писала- надо ей как очень упорному школьнику объяснять, мол возьму вот такую фигню, потом сделай вот это и используй вот такой алгоритм. В итоге да, надо думать, но мы пока что лучше нейронок справляемся и это наша ценность
Как пришел к этому? Обычно в команде или один решрл? Если в команде, то с кем? Какой процент твоих побед реально можно было бы катнуть в прод - а какой - стекинг 100500 алгоритмов, который никто в здравом уме не будет катить? Как кагл поменялся за сии 9 лет? Чем тебе эта ачивка и скиллы с ее помощью помогли в карьере дальше?
Эмигрировал и стало нефиг делать. А на кагге собираются мотивированные/умные люди
Собраться в команду- это стратегическое решение. Обычно смотришь на лб и там люди готовые к мерджу сами ручкой машут. Вот идешь с самого первого (самого высокого по лб) к самому низкому. Ты же хочешь медаль. Потом вместе решения/идеи объединяете
В прод наверно ничего не пустил, но решения научных соревнований- почему бы и нет. Ресерчеры еще более плохой код напишут и медленный, чем мы, так что вполне себе полезно получается. Я даже на NeuralPS выступал с командой
Раньше было больше дыр. Сейчас стало много CS студентов, они сильно повышают конкуренцию и 'легких' соревнований сильно меньше стало. Сейчас вышло пару курпных апдейтов и я рад, что индусских мастеров обсуждений все попустили.
Ачивка напрямую в деньги конвертируется:
У тебя лучше нетворк
У тебя лучше хардскиллы и навык решения проблем
У тебя есть мощное ключевое слово в резюме, которое много за себя говорит
Я б сказал, что надо смотреть на задачу. Но вообще могу на мастера сослаться:https://alexanderdyakonov.wordpress.com/2021/05/27/imbalance/
Нетленочка
Во скольки соревах ты всего поучаствовал для этих 1 золотой, 4 серебряных и 4 бронзовых медалей? И какими они были по счету в общем числе твоих сорев? Сколько времени тратил на каггл и на каждую сореву?
ДО ХУ Я СОРЕВ
Ну я нафармил все медали кроме одной- за последние три года. Только одну нафармил до 2020
Думаю часов 10 в неделю на каждую сореву, пока участвую
Получаться начало, когда не просто стал заходить в соревы и страдать фигней, а прям решать и пытаться всю инфу о каждой сореве поглотить
>спрашивай свои вопросы
1.Каков порог вхождения? Если проводить аналогию с онлайн игрой, например, КС и Дотой, которые уже переполнены закаленными игроками или новинкой, в которой еще возможно занять пласт средних-хороших игроков, то что насчет Кагла?
2. Что делает тебя членом списка топ-400? Большая теоретическая база или большой непосредственный опыт решения задач на этой платформе?
3. Кто ты по специальности? Какой у тебя стаж работы, в целом, в сфере технологий?
4. В каких именно знаниях должен преуспевать хороший участник подобных соревнований?
1. На каггле сложнее соревноваться, чем в доте и проще одновременно.
Сложнее- потому что в топе консультанты от nvidia, которым платят бабки за то, что они решают кагл. Буквально киберспортсмены, которые далют бренд компании
С другой- есть соревнования, где можно головой подумать, а не гпу загрузить по полной и взять золото. Но надо ULTRATHINK
2. Сложно сказать. Я бы сказал, что я оч насмотренный и теоретически подкованный, но в базированных вещах, а не мимолетном ультрахайпе. В том, как с данными работать
3. 9 лет и есть. Правда из них я 10 лет учился в универе (не пхд)
4. Тут или доменная экспертиза должна совпасть, или надо знать/придумать трюки, которые работают
Потому что они учатся неконтролируемо. Авторегрессионные модели тупо продолжают по промту. В диффузионки это сложнее внести
Но ваще я не эксперт по тексту в диффузии, только для картинок разбирался
Ты кодфорсес решать умеешь? Сравни ну-ка с кагглом, пожалуйста. По количеству необходимых знаний и количеству необходимых практических усилий.
Ваще не умею, абсолютно
По знаниям- там более специальная олимпиада, которая меня как-то не завлекла. Ощущение, что олимпиадная прога- скорее для школьников лютых, хотя вдохновляет читать мысли киберкотлет оттуда
Мой максимум- два литкод медиума решить за 45 минут на хинглише
Назови самый базовый инстинкт, присущий любому живому существу.
Есть ли в этом что-то эзотерическое, слышал от некоторых разрабов что иногда ты не учишь, а будто вспоминаешь что уже знал
Да так и есть
Специально постоянно читаю что-нибудь связанное с соревнованиями и скорее вспоминаю похожие решения и прикручиваю их к текущим. Реально придумываешь только мелочи, фундаментальные вещи почти никогда не делаешь сам
Апнул top-350 на прошлой неделе и вернулся общаться с двачерами
На этом вашем каггле есть серьёзное, или только олимпиадные задачки уровня "распознай одежду в Fashion MNIST с помощью свёртки и фидфорвард"?
Смотря что подразумевать под реальными задачами. Олимпиадные задачи по МЛ так особо и не придумали. Обычно собирают датасет и к нему таргеты и из них соображаешь. В реальности тебе надо еще и датасет себе собирать.
В общем и целом- довольно замкнуто на именно мл, а не работу с данными. Надо решить что-нибудь закрытое:
Например было такое соревнование Lyft 3D Recognition:
Надо было по панорамным снимкам с роботакси в штатх определять высоту-ширирну-ориентацию объектов. Типа 3D-Box машины с обозначением того, где у нее условный 'перед'. Или там человек какого роста и в какую сторону двигается.
Поздравляю, анон.
Что насчет базы? Что посоветуешь изучить?
Как относишься к ai инженерам и всему подобному, кто работает с ии как уже с готовыми продуктами, внедряя их и создавая пайплайны. Сможет ли ml-щик как ты на изи выполнить его задачи или все-таки это реально другая новая профессия?
Считаю что они обезьяны ебучие. Как знаешь, автомобильный инженер на заправщика смотрит. Или вот на этих вакхабитов из дагестанской автослерсарки
Типа я с ними конкурировать не буду, а они не будут со мной. И мы никогда не встретимся (надеюсь)
Спасибо за поздравления. Для вката посоветовал бы DLSchool/ODS курсы. Первый глубокий, но про сетки, второй более поверхностный, но про более реальные заадчи
Круто, поздравляю!
Можешь в двух словах рассказать, как решаешь реальные соревнования? Я только 3 playground решил.
Ты датасет скачиваешь и всё локально делаешь или прямо на Kaggle создаешь ноут и подгружаешь датасеты?
И модели там же тренируешь или своё железо используешь?
Есть ли у тебя что-то типа списка всех моделей, какая для какой задачи или как ты решаешь какую лучше модель использовать в каких случаях?
Буквально интересно как выглядит workflow у профи.
Да нет особо никакого списка моделей. Я в голове держу, что вот есть 3-4 основных бустинга и бустинги хорошо работают на 'неровных' данных, не гладких
Есть ДЛ, который работает хорошо на гладких данных (условно все, что сгенерировано природой)
И есть линейные модели на случай, если я очень хорошо понимаю задачу и мне надо чисто коэфы подобрать
Тренировать что-то в ноутбуках мертвяк, я на vast.ai снимаю тачку и на ней кручу все. Кагловские ноутбуки с каждым днем все больше и больше закручивают, так что арендное железо- топ.
Ну и я сначала прототип на своем рабочем маке пишу, а потом уже раскручиваю на облачной тачке
Как прикрутить inference engine к LLM?
То есть, допустим, есть спецификация ЯП, много документации по нему и всяческой литературы, есть конпелятор этого языка, ещё есть стандартная библиотека и сотни нестандартного, но точно работающего кода. Как LLM прикрутить к этому всему, чтобы получилась экспертная система, понимающая язык натуралов и пишушая не data-driven код, а воспринимающая ЯП как факты-правила, а конпелятор как чёрный ящик, в который надо шмалять кодом?
Хз, тут весь JetBrains над этим уже 4 года голову ломает, а ты сам хочешь запилить
>спрашивай свои вопросы.
как можно снизить требования к колчеству входных данных и искусственно увеличить количество входных данных? Задача детекции объектов.
Я пока придумал следующее:
1 сделать изображения сначала ЧБ или ЧБ с высоким контрастом, чтобы нейронка "смотрела" не на цвет, а на форму, выучила форму, а уже потом использовать начала цвет
2 вырезать искомые объекты на прозрачный фон и случайно пнгшки лепить на нужный фон, чтоб создать много предвариительно размеченных данных ничего не размечая.
3 обучать постепенно от простых признаков (округлая/прямоугольная форма, например) к сложным (куст Х, куст Y, лужа.../дерево,гуманоид, машина, например).
4 давать метаданный об изображении, например о том, где находится персонаж глобально, если детекция производится на внутриигровых снимках.
Что ещё можно попробовать?
Бтв, вопрос по соревнованиям, разрешено ли там такое фокусничество с данными? Я никогда не участвовал ни в чем таком.
В соревах так можно делать и нужно. То что ты придумал называется агументацией, там много всего придумано, но правильный набор аугов зависит от задачи.
Посмотри albumentations либу
1. Это не так работает, особенно для сверточных сеток. Если трансформером- может быть не худшей идеей.
2. Классика
3. Фигню придумал, это похерит качество
4. Это норм, это ты себе задачу упрощаешь. Вот это очень правильное направление развития модели
Чтобы советов дать- расскажи больше про саму задачу предметно
>Чтобы советов дать- расскажи больше про саму задачу предметно
Делаю систему детекции для игр с более менее универсальной архитектурой, чтобы она давала на вход инфу агенту, который будет в игру играть на основе разметки.
В этом есть как и коммерческий интерес: продавать заработанное ботом, чтобы купить еду ирл, так и познавательный: в реальной задаче имплементировать сложные и практичные средства производства, чтобы потом можно было это делать с другими, более перспективными задачами, например брак с конвейера удалять или управлять микроклиматом.
>>1390962
>Это не так работает, особенно для сверточных сеток. Если трансформером- может быть не худшей идеей.
>>1390962
>Фигню придумал, это похерит качество
Странно. Сразу целиком обучают, получается? А зачем тогда базовые модели нужны? Почему с ними предобучение общее работает, а если самому что-то такое делать, то не сработает?
Поясни за работу с временными рядами (прогнозирование продаж). Использую random forest, lstm, cronos семейство, autogluon (ансамблем). Достиг достойной (как я думаю) точности, но в случае спроса с многими нулями (интермиттирующего) имею полную лажу. Спецмодели не помогают, куда двигаться?
Работаю ml-лидом в компании связанной с 18+/VR. Задачи CV в основном. Остро не хватает опытных мл-щиков. О
Денег дохуя (для удаленки) >100K$/год но вообще обсуждаемо и больше. Если надо то релоцируем . Но блять компетентных людей нет. Из того что в рф вроде норм пайплайн где люди хоть как-то думать могут и в прод выводить идки - вышка/физтех+шад - яндекс/тинькоф/бигтех. Но почему-то чуваков которые могут реально продовые задачи решать очень мало. Ищем топа который прям может сам сложные задачи решать, не вывожу уже без помощи.
С kaggle это супер плюс - сам давно когда-то тренировался там, несколько медалек брал, но в индустрии важно реальные инжинерные задачи решать, не только тренировка но CICD, инференс, масштабирование, оптимизация, сбор данных, общение с разметчиками...
Ну и вопрос - где посоветуешь искать хороших ML щикоа если зп можем выше рынка могу предложить
Ты небось моделируешь с помощью MSE лосса
У тебя спрос это не нормально-распределнная величина, это логнормальная. Ровно потому, что не может спрос быть ниже нуля.
Преобразуй таргет как log(sales + 1) и потом к предикту применяй обратное преобразование. Работать будет лучше с вероятностью 95%
Ты это для ретейла делаешь?
>>1393428
Так люди в итоге не за бабки работают. Ну а ваще-
зумеры узнали что мл крута и массово пошли в уник на специальность. Но оказалось, что экономике столько мл гениев не надо и вот они программировать совсем не научились.
Ваще внезапно можно скаутить кагл. Я много общаюсь с другими кагглерами и это хороший фильтр мотивированности и желания развиваться. Если сильно хочется- могу к тебе поотправлять
Давай, хули. Но надо как-то организовать - я слабо представляю как это делать в специфичных местах типа кагла вот если интересно описание кого примерно надо. Коротко - сильного CV с опытом деплоя. Задач по обучению тоже много. Сpp и запуск на edge devices это плюс. Задачки примерно ниже описаны, всякий rnd тоже хотелось бы - всякие сплаттинги/world models/видеогенераторы - но тут понятно файнтюн/деплой опенсорса - на обучение своего людей нет и это меньше горит
Join Our Vision: Establishing Spatial Interactive Media and Leading Global VR Video Streaming
JOB SUMMARY:
We are looking for a seasoned ML CV expert to join our team. If you're passionate about computer science and VR video streaming we'd love to hear from you.
KEY RESPONSIBILITIES:
Deployment of ML pipelines in production
Improving and researching algorithms for Video2Haptic generation
Creating algorithms for video metadata extraction and action recognition
Improvement of the algorithms for high-resolution video matting
Improvement of the algorithms of content censuring
Research and development of algorithms for spatiotemporal ROI extraction in videos for short clips and trailer creation
Research and development into the field of volumetric video generation and streaming
TECH STACK:
Stack (ML): Python, C++, Unity, PyTorch, MLflow, DVC, OpenCV, AirFlow, Qdrant, Redis, MongoDB, RabbitMQ, MMLib, Feast
Stack (Company): PHP, C#, Unity, Go, Unity, WebGL, K8s
YOUR PROFILE:
3+ years of experience in Machine Learning role
Strong programming skills in Python and knowledge of CS: Data Structures and Algorithms
Ability to build extendable, reproducible, and clear ML pipelines with focus on Computer Vision
BSc in CS, Math or related
BONUS POINTS:
Nice to have experience in anything mentioned in the Technical Stack section: C++ and etc.
Experience deploying in edge (mobile, VR headset) devices
Experience in shader creation (glsl, hlsl, etc.)
MSc in CS, Math or related
HIRING PROCESS:
HR screening (30 min)
Team Interview (1 hour)
CEO Interview (30 min)
💼 Explore our hiring process.
WHAT WE OFFER:
Please note, that this is a fully remote contract role. B2B cooperation only – you will work with us as an independent contractor operating through your own legal business entity (e.g., sole proprietorship, limited company, or equivalent).
The chance to be part of a pioneering team in a rapidly evolving industry
Direct impact on the future of media and technology
Flexible working hours to accommodate your lifestyle
Work remotely from almost anywhere
A culture that values innovation, accountability, and collaboration
Access to the tech you need from day one
A dynamic and innovative work environment in a cutting-edge industry
Насколько шаришь за ллм? Есть ли сейчас в индустрии идеи, как бороться со слопом? Тот же оверфит весов из-за семплеров при rl трене. Как думаешь, есть ли вообще будущее у текстовых нейронок или они уперлись в стенку и корпы так и будут бенчмаксить без видимого перформанса?