Немного почитал пикрил. Университетские методички оказывается куда проще, чем шутки-прибаутки для нормисов в перемешку с градиентными деревьями.
Но волне повсеместной истерии о выдавливании ИТ специалистов с рынка труда искусственным интеллектом как-то пропустил новости о передовых достижениях ИИ в области медицины. Есть прорыв или хотя бы рывки? Спрашиваю, если что, без доли иронии и сарказма. Действительно интересно, как сфера здравоохранения изменилась под влиянием развития ИИ.
>Но волне повсеместной истерии о выдавливании
Ну это не истерия, нейронки уже кое-что умеют. О чём можно говорить если claude 3.5 может по картинке наверстать сайт/создать игру по описанию
>Есть прорыв или хотя бы рывки?
Конечно! Прорыв в том, что они доступны простому быдлу. Чтобы обработать объём текста как три твоих комментария - это стоит $0.0003. И они очень быстро развиваются. Огромное количество энтузиастов вовлечено во всё это дело и продолжает расти. Уже появились первые вакансии для промпт-инженеров https://hh.ru/vacancy/103819091 Есть такой концепт в англоязычном интернете как "гиперавтоматизация" (hyperautomation), там будет комбинация из нескольких шагов, допустим вначале нейронка смотрит снимки, потом личные данные пациента - возраст, гемоглобин, привычки, и так далее. Взвешивает все и против и даёт рекомендации например. Может там ещё какая-нибудь биг дата будет. В любом случае, проекты пилятся подо всё, в ближайшие лет 10 мы увидим что-то грандиозное.
>в машобе не шарю нихуя, математику уже всю забыл после универа
Бля чё вы заладили своей математикой. Каждый первый пишет, что не шарит. Иииии? Готовых нейронок - сотни тысяч. Бери любую, скачивай. Или тебе прям так принципиально сделать именно свою нейронку и именно с нуля? Типа пусть будет сто тысяча первая нейронка.
>На чём потренироваться?
Да просто блять зайди на хаггинг фейс https://huggingface.co/ посмотри что уже есть на рынке, зачем выдумывать что-то, изобретать велосипеды, если всё уже есть.
>Кегл есть смысл делать?
А причём здесь кегл? Кегл больше про статистику.
А курсеоа разве работает?
Я пробовал брать курс даже с впн нахуй шлёт, тип в вашей стране недоступно
> Университетские методички оказывается куда проще
..для тех кто учится в университете.
Однако, если ты таксист, то тебе нужно изложение в другом понятийном аппарате. Причем, это все равно эффективно.
Я на Степике проходил курс Computer Vision от Samsung:
Состоит по классике из ТЕОРИИ и ПРАКТИКЕ и эта теория ПОЛНАЯ ХУЙНЯ. Просто жирный задрот, чтобы остаться в аспирантуре пошел читать студентам курс, въебал туда тонну бесполезных математических упражненийи записал его на видео.
Однако, курс вывозит тощий задрот. Там охуенно подана практика. Всем рекомендую.
>Ну в моей локации работает.
В какой ты локации? Я имел в виду РФ
похуй, что их уже тысяча написали, хочу шарить за весь процесс и мб потом перекатиться полноценным разрабом-наносеком в эту сферу из своего ссаного бекегда
Есть такая хуйня:
> rearrange(x, "b c (h s1) (w s2) -> b (h w) (c s1 s2)", s1=4, s2=4)
Как мне вернуть пиксели на место? Лучше что слог придумать - отзеркалить справа множитель и h/w:
> "b (h w) (c s1 s2) -> b c (s1 h) (s2 w)"
Но тогда я получаю грид 4х4 из 16 пикч со сдвигом.
Все остальные варианты дают кашу из пикселей.
Просто вариант в лоб с перестановкой:
> "b (h w) (c s1 s2) -> b c (h s1) (w s2)"
Дает мелкие кубы с перемешанными каналами.
Причём это похоже настолько нетривиальная задача, что даже в коде sd3/flux они обосрались с unpack и тренили как есть с перемешанными пикселями.
Можете, пожалуйста, дать ссылочку или что-то подобное на готовую нейронку
Biteclipse
02/09/24 Пнд 20:57:47
№
16
Я ищу готовую разговорную нейронку (что-то по типу chatGPT)
Но по слабее, чем chatGPT, так как хочу запускать на своем ПК с RTX 3060. Желательно чтоб она воспринимала русский и английский язык, но нужно как минимум русский
P.s. Я впервые на 2ch и подобных сайтах пишу так что мб не в ту ветку вопрос задал.
>подобных сайтах
Это каких таких "подобных"? Двач обычная социальная сеть для смехуечков и разлечений.
"подобных", с такой структурой, хз как объяснить.
Просто кроме тг для общения ничего не использовал, так что интерфейс кажется немного запутанным xd
Коллеги, подскажите плз вопрос по камере HikVision iDS-TCM203-A. Не могу разобраться, как с неё вытянуть номер автомобиля
https://stackoverflow.com/questions/79141957/how-to-capture-car-license-plate-by-using-hikvision-isapi-ids-tcm203-a-camera
заходишь на hugging face или r/LocalLLaMA и смотришь там, что подходит под твое количество видеопамяти.
Вообще, с такой гпу и без опыта не рекомендую.
>>3261941
DLS (aka deep learning school), лучший бесплатный курс на русском имхо
>>3311829
Твой небольшой опыт в другой сфере вряд ли поможет с нахождением работы в ML на грейд больше чем 0.9 стажер + 0.1 джун. Либо ищи что-то смежное, типа аналитика в ML команде, либо забей хуй и делай что нравится.
Про "поднять свою в облачке" я знаю, но я не хочу платить за компьют в облачке и гасить его на ночь - я хочу платить за токены когда пользуюсь через continue.dev .
Qwen2.5 7b q4 у меня работает и локально, но чот слабовата
Она бесплатная и без регистрации?
Какие там ограничения есть?
Как её проверять что она мне не пиздит по техническим вопросам? Или такое не бывает?
Она реально помогает готовиться к собесам, писать пет проекты и разбираться в технологиях? Или потом всё равно гуглить и читать талмуты на 100500 страниц?
из гитхаба квен:
https://modelscope.cn/studios/qwen/Qwen-72B-Chat-Demo
Вообще есть сервисы которые за подписку дают немного токенов на платные модели мб они селф-хостят что-то... не уверен.
Почему именно она кстати?
>>3319986
съебись из треда обратно в лес
>из гитхаба квен:
>https://modelscope.cn/studios/qwen/Qwen-72B-Chat-Demo
К сожалению contunue.dev не умеет работать с modelscope (ну или я не разобрался как). Зато нашел такое: https://deepinfra.com/Qwen/Qwen2.5-72B-Instruct
>Почему именно она кстати?
7B пока лучше остальных справлялась на моих задачах (сисярп-кодинг), вот думаю чо посильнее попробовать.
Так-то задача не сложная, но возникает пара вопросов.
Итак, я хочу парсить объявления (допустим по десять штук в секунду или типа того).
мне нужно затем отсеять объявления типа:
"Лучшие БлЯдИ сегодня", "Free money 1000$" и оставить "продам гараж".
Оставшиеся объявления нужно распределить по темам.
Мне кажется, спам можно легко отсеять по ключевым словам и длинне. Однако все ключевые слова определять заебешься. Наверно нужно писать простой классификатор и как следствие размечать данные.
Итак. Есть ли какая-нибудь программа, которая облегчает этот процесс, в смысле ручную разметку текстового датасета? Или все можно давно сделать автоматически?
>обучать нейронку с нуля
Зачем? Что такого сможет делать твоя нейронка что не умеет Яндекс жпт? https://ya.ru/ai/gpt-3 это абсолютно тупая идея. Прокрути страницу, там есть примеры внизу. Яндекс стоит 20 копеек за тысячу символов вывода. Тысячу символов это как страница печатного текста. Нуууу блять какой смысл обучать с нуля, если можно просто проанализировать 1000 страниц заплатив 200 Рублев. Или у тебя там че, 2 миллиарда объявлений и ради этого стоит переизобретать велосипед? Короче, заплати Яндексу - не развалишься.
Моя нейронка это классификатор. А yaGPT это генератор текста.
Но за идею спасибо, может gpt можно будет использовать для разметки датасета.
>пишем собственные архитектуры после трёх классов церковно-приходской.
госпади, какая же жиза.
Как вкатиться в нейросети после семестрового курса анализа данных в ВУЗике? Просто у нас препод тупо построил свою программу на основе Джоэля Граса, а это буквально фундамент, то есть даже близко не то, что из себя представляют нейронки. Можно ли вкатиться в нейронки, если ты тупой и не понимаешь как происходит лексический анализ для формирования токенов?
Кто-нибудь здесь работает на работе с ИИ? Ну например делает системы, которые обращаются к нейронке за какими-то бизнес-вещами. Или может быть кто-то делает сами нейронки?
Просто интересно, что это может быть, какие сферы, какие задачи.
> лексический анализ для формирования токенов
это не ии, любой конпелятор это делает, в ии осообо ничего сложного, читай правильные книжки, вуз не нужен
>Кто-нибудь здесь работает на работе с ИИ
где то бывает полезно, на примитвных задачах как тесты
На первом пике 1050 ноутбучная, на втором 3060ти.
Сеть мелкая мнист.
Я простой русский бекенд стек дотнет, есть пара историй успеха паста миска риса
Наш продакт ушел с нашего проекта и занялся новым - отраслевой специализированный софт, уже есть на рыночке от нескольких вендоров, и наша контора в этот рыночек хочет залезть. На стадии product discovery собрал каких-то продуктовых фич, для MVP хватит, а киллер-фич нету, и вот он расстроился, что хуй пойми что там клиенты/юзеры от него хотят, тк в отраслевых журналах/блогах какая-то маркетинговая хуита как обычно, самое интересное в комментах у статей и в срачах на нескольких форумах/тасктрекерах, в т.ч. внутренних у вендоров, в т.ч. на разных языках (англ, нем, фр, рус, итал, испан, португ, кит, яп).
Я у него выпросил куда надо доступы (да, у нас есть туда учётки лол), с помощью chatgpt нахуярил парсеров под сисярп, которые более или менее вытаскивали нужный текст, сложил всё в датасет. Потом перевёл всё на английский с помощью локальной aya-expanse-8b-Q4_K_M, потом разными промптами запихивал целые треды в контекст, просил саммари, слепил какую-то классификацию продуктовых фич, которую продакт поправил ручками, и потом типа "собрал фидбек" - положительно/отрицательно оценивают наличие/отсутствие этой фичи в этом треде. Всё говно сложил в эксельник вместе со ссылками на оригинальные сообщения в форумах и отдал продакту, который из этого слепил какое-то красивое говно в паверпойнте и продал нашим бигбоссам.
У меня это заняло часов 20 чистого времени, в основном когда проёбывался в рабочее время, ну и пару вечеров в выходные. Как итог - я съебал с нашего унылого старого проекта в этот радостный новый проект (на самом деле такая же залупа) с лидовым грейдом на синьорскую позицию и считаюсь тут дохуя экспертом в предметке лол. Сейчас сижу пилю эти киллер-фичи
Потом лид команды л1 саппорта из вообще далёкого филиала на другом континенте услышал эту историю от продакта и рассказал свою грусть - есть древний софт, у него есть древний встроенный тасктрекер на древней php+mysql без фреймворков и аяксов, в него юзеры древнего софта пишут что у них ничего не работает (пишут тоже на разных языках). Юзеры пишут "у меня нихуя не работает", саппорт отвечает "сообщите версию софта, сообщение об ошибке, то сё и вот это", юзер сообщает, саппорт советует "сделайте то то и то", и в 95% это помогает, остальное - отправляется на 2-3 линию. Проблемы в том что: 1. тасктрекер не заменить (сильно интегрирован со старой системой, с биллингом, со всем говном, разрабов в команде саппорта нет, местные ПХПшники из других департаментов/филиалов зарядили конские сроки за доработку и 2. часть старых сотрудников саппорта съебали, унеся с собой кучу знаний. И теперь у л1 плывут их саппортовые метрики, новые сотрудники нихуя не успевают уложиться в SLA и всем пиздец.
Я сунул html страницы в chatgpt, она мне написала парсер, я вытащил все тикеты в датасет, перевёл на английский, классифицировал большинство проблем по способам их решений (около пары сотен вариантов), лид саппорта это причесал ручками. Потом я слепил сервис, который раз в 5 мин ходит в этот тасктрекер, смотрит что появилось нового, отправляет запрос юзера в llm с просьбой сообщить, указаны ли версия софта, сообщение об ошибке, то и сё, и если нет - просит на языке тикета всё это указать. Если указали - предлагает один из вариантов решения (тут ебанейший switch-case с кучей эвристик), и если оно не помогло - назначает тикету живого исполнителя из саппорта.
В общем метрики саппорта пошли вверх, я на эту шляпу потратил часов 10 свободного времени, мой сервис развернули где-то в облачке, а вместо локальной llm взяли что-то оче дешевое на openrouter. Самым сложным оказалось оформить мои труды как овертаймы (финансы между филиалами оче изолированы) и получить почти месячную ЗП за эти 10 часов лол
Собственно вопрос, а почем результат такой охуенный? В том плане, что мне объясняли, что текстовая модель представляет из охуеть какой огромной взвешенный ориентированный граф, где генерируется выходной текст, но почему текст получается связным? Я не про согласованность падежей/склонений, это можно алгоритмически даже решить, а именно про то, что текст не похож на рандомные слова, как условный Т9, где просто можно в итоге околесицу на выходе получить, если на слова жать, нотка осмысленность в этом есть, хоть и не без примеса шизы. Собственно, а как так получилось? Результат для меня волшебный буквально
Обучение жи. Модель строит кучу схожих паттернов.
Есть даже какое-то простенькое уравнение, вроде бы муравьиный алгоритм называется.
Базовый курс методов анализа данных, Джоэль Грас подойдёт. Потом вкат в машинное обучение, а тут уже не знаю, сам пытаюсь вкатиться...
Ответ в вопросе, сеть мелкая ботлнека на 1050 не возникает
>если ты таксист
продолжай им быть. какие нахуй нейронки вообще?
>читай правильные книжки, вуз не нужен
подскажи правильные книги
Есть ли сейчас смысл изучать машинное обучение, или лучше сразу заниматься глубоким обучением? У меня на галере можно сменить проект на МЛ/ДЛ, но сначала предстоит внутреннее собеседование (типа «поболтать по душам»). Хотелось бы в разумные сроки попасть в подобный проект.
У нас там не любой вкус есть. Мне ближе CV, даже год опыта был, но сейчас как-то выглядит не перспективно. Раньше думал, что AI для решения задач нужна "пространственная фантазия" и СV, но вроде теперь выглядит что мимо.
>Есть ли сейчас смысл изучать машинное обучение, или лучше сразу заниматься глубоким обучением?
Глубокое обучение - это подобласть машинного обучения. Иерархия такая: ИИ --> Машинное обучение --> Глубокое обучение --> Генеративные модели --> LLM. А генеративные модели - это подобласть глубокого обучения, поэтому вопрос не имеет смысла. Просто есть разные подходы к машинному обучению и разные модели, вот и всё.
Классификация тут спорная
С одной стороны, с точки зрения математики, это все машинное обучение, и в нем есть классические методы, а есть глубинное обучение
С другой, глубинное обучение это новый подход машинного обучения, более комплексный и можно сказать что классический машоб и как новая ступень идёт глубинное обучение
Так а ты сам чем занимаешься в принципе на своей галере?
Если тебе интересно, всегда можно просто заниматься этим параллельно и в будущем использовать как хард скилл и залететь куда надо
Сейчас лоу левел нитворкинг, там прям HTTP/DNS пакеты соваю. Паралельно не вариант, так как времени думаю не так много осталось (если отсалось вообще), а робота все ж забирает немало времени и сил.
Все верно с иерархией. Но мне больше интересно: с практической точки зрения, если вы идете на реальную работу по этой специальности, нужно ли знать машинное обучение для собеседовании и в повседневной работе?
Сейчас дочитую Math for ML и вот думаю, брать Bishop'а или сразу Understanding Deep learning
Тебе Бишоп вообще никак не поможет с DLем. DL -- это инженерная область, там нет математической теории нормальной. Бишоп -- это если тебе нужно понять, как и почему эти фитпредикты работаютс с т.з. статистики.
Окей, кул. А Understanding Deep learning или Deep learning Гудфелова? Или лучше кагл?
Какой, блять, кагл, ты че поехавший? Ты скажи, что тебе нужно? В банке сотые доли процента возврата набивать готовыми моделями? Писать шлюхо-чатботов? Делать зрение для дронов? Белки секвинировать?
Как бы работа ML инженера как будто это сократить время на достижение оптимально обученной сети, потому что время обучения дорого стоит. А само обучение, да и анализ, и так далее, выглядят до боли просто. Пока никакого матана не увидел, вся сложность скрыта за API библиотек, которые кто-то написал вместо меня.
Есть ли какие-нибудь хитрожопые способы, например обучить нейронку на 1000 фото, применить её к ещё 1000 фото, вручную проверить граничные кейсы когда нейронка выдает ответ в области 0.4-0.6 и обучить её уже на 2000 фото. Повторять пока не обучиться на 7 000 000 фото. Таким образом можно сократить затраты на ручных разметчиков в тысячу раз.
В чем я не прав?
Почему первая сразу отвечает а вторая посимвольно?
Обычно нейросети в продакшене не обучают на структурированных данных - в большинстве случаев бустинг дешевле и качественнее. Самая большая проблема - это сформулировать реально работающую гипотезу, ну и все изыскания в прод встроить. И с бизнесом общаться. Математика в большинстве случаев не нужна в индустриальном машинном обучении.
Есть тут ML-ресечеры?
Отзовитесь, пожалуйста.
Нахуя? ты что думаешь они мечтают дать тебе личную консультацию которую, никто не увидит? Даже если они и не против, публичное бахвальство для них полезнее чем ты.
Спрашивай нормально тут.
>Нахуя?
Есть вопросы.
>Спрашивай нормально тут.
Зачем? Это постронних не касается.
У тебя столько денег нет.
Но если спросишь что-нибудь интересное, кто-нибудь ответит чисто от скуки.
>У тебя столько денег нет.
Денег на что?
Тут у нас добровольный форум, а не бордель с ответами. Торговать своими компетенциями и знаниями будете на своих курсах или на собеседованиях.
>кто-нибудь ответит чисто от скуки.
Но не ты? К чему тогда эти посты? Если ты ML-ресечер - ответь на пару вопросов, пожалуйста. Если нет - не трать ничьё время пустой болтовнёй.
Ну а что же ты не поступишь как поступали до тебя примерно лет 40 люди на добровольных форумах? То есть не напишешь сам вопрос?
Я то знаю почему - потому что ты неуверенный в себе зумерок с третьего курса и хочешь чтобы тебе какие-то звезды из Яндекса или X5 придали уверенности учиться.
>придали уверенности учиться
Пиздец зумерье пошло
Им еще блять мотивации учиться не хватает
Как насчёт мотивации не остаться в будущем с голой жопой на улице, среди таких же неудачников?
Бля причем чаще всего слышу это от каких нибудь долбоебов из ВШЭ, которые на платке учатся
У ребят явно дохуя свободного времени думать о хуйне
Помогите пожалуйста найти вебм
Там если не ошибаюсь автор книги Глубокое обучение Сергей Игоревич Николенко выступает на какой-то конференции его там спросили за реальность AGI и он там пояснил что это всего-лишь матрицы и короче дал объяснение что является хайпом и что реально адекватно ждать от нейронок в текущем виде где-то на дваче кидали а я сохранял и файл потерял((
Ну добавь чего-нибудь нормального
Или ты сам сюда пришел такие вопросы задавать?
Это называется "без цензуры".
Цензура это блокирование подобного контента.
И не знаю насчет подобного контента, но за порно, допустим, вполне помогут набутылить, хотя случаев я не знаю.
Унаследовал от деда почтовые марки. Два ебаных мешка.
Среди них попадаются и ценные, но я ебал тратить на все это туеву хучу времени.
Но заинтересовался идеей.
Не смог найти инструмент, который бы распознал марку по фотографии. Подумываю заняться этим сам.
Хотел бы создать инструмент, который позволяет по фотографиям страниц из альбомов определить, какие наборы у тебя есть и сколько они могут стоить.
В принципе понятны первые шаги:
1.Перевести картинку в ЧБ.
2. Вырезать все, что напоминает марку.
3. Нормализовать, повернуть как надо картинку.
-2. Зарание спарсить какой-нибудь каталог(и), с картинками и сведениями о марке.
-1. Обучить простенький классификатор для определения года и диапазона марки на фотках из каталога, всратых и не очень.
ВОПРОС:
Какой инструмент осилит сверку рандомных картинок с зубчиками и без зубчиков, чтобы однозначно идентифицировать одну относительно других?
Или мне делать как с той распознавалкой чисел с первых страниц учебников про перцептрон, чтобы пиксели самому обрабатывать?
>Не смог найти инструмент, который бы распознал марку по фотографии.
Парсер выдачи яндекса не знаешь как написать? Ну это к chatgpt
>Обучить простенький классификатор для определения года и диапазона марки на фотках из каталога, всратых и не очень.
Это довольно ебанутая идея.
С точки зрения классического датасаенса тебе нужно поговорить с носителем Domain Knowledge.
Дед-то жив?
Ценность марки зависит от событий связанных с ее выпуском и лишь немного от кода и тиража.
Остальное, конечно, ты рано или поздно осилишь. Но это если ты хочешь поупражняться в бесполезный программизме.
Предлагаешь делать запрос в интернет по сто раз за лист несколько сотен раз?
Не проще ли дома посчитать?
Я имею в виду, если вот я не хочу платить яндексу конский ценник за апи?
>Ценность марки зависит от событий связанных с ее выпуском и лишь немного от кода и тиража.
Да похуй, я имел в виду данные о марке, цену и ее известные модификаторы (опечатки, ошибки и так далее)
>Это довольно ебанутая идея.
А что по-твоему правильно делать сейчас? Спрашивать все у дипсека?
>Дед-то жив?
Мертв уже 20 лет, а бабка едет в один конец в альцгеймер, храни ее господь
>поупражняться в бесполезный программизме.
А я и не против, если по-быстрому
>Я имею в виду, если вот я не хочу платить яндексу конский ценник за апи?
Какой апи, ты ебанутый? весь интернет держится на наебе!
>Какой апи, ты ебанутый? весь интернет держится на наебе!
Я работал в конторе по парсингу, я ебал все это
Нахуя это делать, если можно просто завести свою модель? Этих маркок всего-то тысяч сто
>А я и не против, если по-быстрому
С точки зрения мотивации для регулярных упражнений в computer vision, пожалуй, задача хорошая.
С точки зрения получения быстрой выгоды - это вряд ли.
>Нахуя это делать, если можно просто завести свою модель?
Ну и сколько там платили датасаентистам разгадывающим капчу?
Их не было? так это потому что дорого.
Тут еще, скорее всего, придется 10% датасета вручную распознать.
Может, на чистой синтетике обучать?
Я уверен, что тот парень, который сделал что-то похожее с лего нихуя не фотографировал, а просто побаловался с 3d-редактором
Да, хорошая идея.
А мы уже занялись проектированием вместо пришел-увидел-победил? Все еще предлагаю сдаться и выкинуть марки.
Даже поверхностный гуглеж подсказывает, что с одного-единственного главного альбома можно получить не меньше сотки по каталогу.
Дед любезно написал каталожные номера и особенности некоторых марок в нем лет сорок назад.
Вчера я по-быстрому запросил у нейронки решение для сверки картинки с образцами из папки и парсер каталога, который, к счастью, не обновлялся с девяностых. Охуенно. Не понимаю, как я раньше жил без р1, сам бы я день колупался.
Однако, похоже легко очистить фон и найти марки на листе не получится, так что придется делать нормальную модель машинного зрения для детекта марок на фото.
А мой комп для этого слишком гнилой. Придется, видимо, подождать.
Алсо не вижу ничего плохого в том, чтобы заспидранить полезный пет-проект в нашем хакатоне на троих с дипсек и gpt.
Раз уж я приблизительно понимаю, как это должно работать.
Либо все получится, либо зубы обломаю. Зачем сдаваться, не потратив даже пару дней?
Или по-твоему это просто хуйня без задач?
Это ж натурально поиск клада, вдруг там будет что-то редкое?
А еще там целый альбом, сплошь забитый польскими марками. Или чешскими, хз. И это уж точно я ебал гуглить на коленке
>Раз уж я приблизительно понимаю, как это должно работать.
проебешься на какой-нибудь банальной ошибке, которую каждый математик или программист обошел бы интуитивно, поэтому про нее нет текста доступного для LLM.
Ну пробуй.
Так уж вышло, что я и сам математик и программист.
Таки да, на нейронке можно делать что-то только в двух случаях:
1. Если ты нихуя не понимаешь в предмете и хочешь узнать основы
2. Если ты понимаешь в предмете абсолютно все и знаешь, что должно получиться на каждом этапе, а также можешь тестировать все за секунды.
>Никак не могу найти работу по специальности
А в чем работа математика заключается?
С тобой можно связаться?
Если да, куда можно написать? предпочтительно на фейкопочту
1) В какой области у тебя ресеч? Чисто математика-информатика? Или применение моделей и архитектур в какой-нибудь медицине?
2) Ты в СНГ или за бугром? В СНГ, вообще, есть что-то с ресечами помимо яндеса, сбера и хуявея?
3) В частной конторе или в условном нии?
4) Ресечишь с самого начала или перекатился туда откуда-то?
5) Каковы перспективы в твоей области? Ну, то есть, если ты будешь менять работу, насколько ты востребован в той местности, где ты есть? Ресечеры всё же не всем нужны - это более узкая специальность, чем обычный ML-щик или дата сатанист, а переезды не всем под силу.
6) Тот же вопрос, но касаетельно финансовых перспектив. Насколько они радужны?
7) Насколько сильно ебут ресёрчами? Есть kpi, обязательные публикации N раз в год, патентование и прочие конференции? Или делаете постепенно по мере необходимости?
8) По твоему опыту - ресеч того стоит? Не жалеешь? Или проще прикручивать лангчейны к моделям на галерах?
Да че ты доебался-то?
Я бакалавр по ИВТ, специальность - платы проектировать, стало быть. Решил вместо этого колупаться в менее старперской индустрии.
Развлекаюсь мл, потому что была сильная математика
Это ты прицепился к математике.
Я сказал что я математик и информатик - отвечая на твою формулировку.
Я проходил три семестра линала, два или три матана, вычмата, булеву.
Авось что-нибудь пойму в работе нейросетей.
Займись делом
Ты ведешь непоследовательный диалог, похожий на троллинг, а я, видимо, ведусь. Вот и злой.
Например ChatGPT не сам же генерирует код (?), а просто берет и собирает нейровысер из огромной кучи информации
вообщем может кто в двух словах объяснить базовый принцип работы иИ
>правильно ли я понимаю, что нейронка это по сути супер мощная поисковая система?
нет
>Например ChatGPT не сам же генерирует код
сам
>а просто берет и собирает нейровысер из огромной кучи информации
да
Смотри: в интернете очень много информации, но в основном это говностатьи по программированию и ноготочкам.
При обучении нейронки она их все прочитала, так что лучше всего умеет писать именно их.
Однако, хотя она и умеет писать похоже на человека, понимания понятий, стоящих за буквами, у них нет.
Лучшее, на что она годна, это под твоим присмотром писать о чем-то, в чем ты разбираешься.
Gpt - концентрированная банальность. Спроси его о чем-нибудь, что он видел редко и он может начать путаться.
Но для продающего текста или фрагмента программы сойдет
Добавлю к этому, что нейронки способны более-менее охватывать сложные понятия и удивлять нас, так что нельзя сказать, что он ничего не генерирует сам.
Из 10 шуток он может сказать одну очень годную
А что-то я не понял, с какой стати они используют стилистику (и название и оформление) оригинального Адитьи Бхаргавы и с какой стати их там этих авторов как грязи?
> они
Издатели? Ну так все права на книгу у издателя.
Например, в 4 издании книги High performance mysql ВЫПИЗДИЛИ ВСЕХ авторов. Текст в основном оставлен старым, но птичку в другую развернули
Какой смысл чуваку выше писать ту простыню если он уже ресечер? ты далбаеб или просто каждой бочке затычка?
мимопроходил
Смысл в том, что у того чувака вопросы уровня "Привет, ты CEO дипмайнда? Можешь, ответить на пару вопросов, я просто тоже собираюсь в СЕО перекатиться из мерчиндайзинга. Насколько у тебя доод большой? Ты раньше СЕО работал, или тоже с улицы залетел? Не думал перейти в розничную торговолю, там KPI более прозрачные, как по мне?"
тожемимопроходил
>Смысл в том,
Смысл в том, что ты, судя по всему, слишком много пиздишь не по существу.
Если это ты >>3372265 , то вообще умора - то плачешься, что итт вопросы оставлять не хотят, то плачешься, что вопросы оставили, но по твоему разумению, они не те.
>что у того чувака вопросы уровня "Привет, ты CEO дипмайнда?
Вот тут >>3381095 нет ни одного вопроса про CEO-шность или что-то такое.
Вопросы конкретные про конкретное ML направление, оставленные в соотвествующем треде.
А если у тебя какие-то не такие отсосиации возникают - держи их при себе.
ML-ресечером можно стать разными путями - можно из академии или нии перекатиться; можно из ML-слесарства или погромирования; можно из химии, физики, биологии, надрочившись в моделировании. У всех разные пути, и компании тоже разные, с разными подходами, разными направлениями деятельности, разными, блять, иссследованиям и перспективами. Одни вроде Нвидии и прочих интелов, больше угорают по компьютерному зрению и хардварному ML, другие вроде OpenAI и Google по архитектурам и математике, третьи вроде Insilico в биотех-ML полезли. Везде разные условия. Если в одном месте тебе дают публиковаться, то в другом ты не имеешь прав на свою собственную интеллектуальную собственность, а третьем, тебе надо kpi по статьям выполнятЬ, чтобы бабки выделили.
Про что, сука, и вопрос - чтобы реальный ML-ресёсчер пришёл и рассказал, что и как, а не какой-то петух который решил самотувердиться за счёт воображаемых студентов с улицы.
И да, ебанько, если в снг 1,5 конторы, которые занимаются ML-ресёчем - это отдельный важный вопрос. Потому что в случае, если ты останешься без работы, ты ничего подобного с вероятнстью в 0.95 не найдёшь. И встаёт вопрос, а нахуй надо рвать жопу ради узкого направления, если можно просто продолжать гонять свои модели и датасаенс за понятные деньги и понятные перспективы.
Так что сделай большое одолжение - если тебе нечего по существу сказать про ML ресёч - завали своё ебало.
Спасибо.
ЗЫ этот тред и годы назад был средоточием чванства и долбоебизма без помощи или полезной информации, а сейчас и подавно.
Я первый раз в треде отписался и по совместительству работал рисерчером
>Вот тут >>3381095 нет ни одного вопроса про CEO-шность или что-то такое.
Есть. Ладно, если ты вообще не понимаешь, в чем проблема, я тебе поясню.
Чтобы тебя взяли на позицию рисерчера, тебе нужно:
1) Иметь профильное образование. Под профильным, я имею ввиду не то, что у тебя линал в унике был, а что у тебя кафедра и диплом были по машиному обучению (опционально биоинформатике) ИЛИ у тебя ПОМИМО базововго математического/физического/CS образования (из нескольких вузов в РФ) был диплом ШАДа.
С этим тебя могут взять в аспу в несколько мест в РФ, где у тебя будет позиция рисерчера. Раньше (>5 лет назад) могли взять в Яндекс.
После этого можно идти либо в академию дальше, либо пункт 2.
2) Чтобы тебя взяли на позицию рисерчера в серьезную фирму (а только в них есть отдельные позции рисерчера), тебе нужно иметь не просто образование, а научную степень по конкретной тематике в машинном обучении, а так же (крайне желательно) опыт работы на позии ML-инженера.
3) Альтернатива -- с большим (>6 лет) опытом на позиции ML инженера, ты можешь начать писать статьи по теме своей работы. Например, это могут быть патенты.
Это я все к чему. Для того, чтобы хоть немного приблизиться к тому, чтобы задумываться о том, пойти ли тебе заниматься рисерчем в ML, тебе нужно от 5 до 10 лет уже заниматься машинным обучением на учебе, или работе и пройти кучу ступеней. После этого у тебя никогда бы таких вопросов не возникло, потому что тебе все рассказал либо твой научник, либо твой тимлид, либо твои однокурсники.
Спасибо.
Но ты сказал много, не сказав особо ничего.
>Под профильным, я имею ввиду не то, что у тебя линал в унике был, а что у тебя кафедра и диплом были по машиному обучению
Твои кафедры по машинному обучению в лучшем случае несколько лет назад стали повсеместно появляться, что как бы намекает, что твоя фильтрация - говно и отсекает всех, кто старше 25.
>был диплом ШАДа.
Который кроме Яндеса особо нахер никому не нужен. Ни Хуявею, ни Нвидии, ни, вообще, за бугром. Да и тот же Сбер со своими лабораториями что-то не особо в вакансиях котирует ШАД.
>С этим тебя могут взять в аспу в несколько мест в РФ, где у тебя будет позиция рисерчера.
Всю жизнь мечтал променять 300к в наносек на 0.1 ставку м.н.с.-а и нищенскую стипендию, чтобы питаться максимум 1 дошиком в день.
>2) Чтобы тебя взяли на позицию рисерчера в серьезную фирму (а только в них есть отдельные позции рисерчера
Спасибо, капитан. А теперь список серьезных фирм в студию. И пожалуйста, снг-шных, если таковые имеются.
>потому что тебе все рассказал либо твой научник, либо твой тимлид, либо твои однокурсники.
Ты сам себе противоречишь. Если кто-то работает в ML-индустрии 5-10 лет, как ты писал выше, но в этих фирмах нет исследовательского отдела, откуда, по-твоему, этот кто-то или его тимлид должны знать про исследования, исследовательские лаборатории и прочее?
И да, рисечер, твоя зарплата была нормальной? На уровне обычного ML-инженера в индустрии?
Или ты довольствовался стипендией в аспиратуре?
>Твои кафедры по машинному обучению в лучшем случае несколько лет назад стали повсеместно появляться, что как бы намекает, что твоя фильтрация - говно и отсекает всех, кто старше 25.
Нет. Кафедры по машинному обучению были и 15 и 20 лет назад. Просто ты не в курсе, потому что хайпа не было. И учили они (классический мл, баес и так далее) по той же самой программе, что и сейчас. Просто за последние 10 лет добавилось много новых разделов. Разделы тоже не изменились, поменялись методы, которые считаются популярными. Например, если раньше OpenCV был на матлабе и плюсах, а на хайпе был SIFT-вектора, то сейчас это питон и нейронки. А то, что отсекает людей старше 25, то не понимаю, чему ты удивляешься. Да, представь себе, "вкатиться" с улицы в исследования нельзя. Тебя же не удивляет, что тебя не возьмут в биологическую лабу без образования (и пхд).
>Который кроме Яндеса особо нахер никому не нужен.
Лол, с чего ты взял* ШАД -- это по сути магистратура, причем очень хорошая, которая как раз и нужна для того, чтобы человек с математическим/физическим/etc образованием мог получить профильное доп.образование по машинному обучению (или просто CS). Другой вариант -- ты можешь просто закончить бакалавриат на ФКН/ММП/базовой кафедре ФУПМа, тогда тебе ШАД не нужен, потому что тебе и так все расскажут.
>Да и тот же Сбер со своими лабораториями что-то не особо в вакансиях котирует ШАД.
С чего ты взял? Котирует прекрасно.
>Всю жизнь мечтал променять 300к в наносек на 0.1 ставку м.н.с.-а и нищенскую стипендию, чтобы питаться максимум 1 дошиком в день.
1. Тебе не предлагают, лол. Знал бы , какой туда конкурс.
2. Ты понятия не имеешь, сколько, как и из каких средств спонсирует ML-лабы.
>Спасибо, капитан. А теперь список серьезных фирм в студию. И пожалуйста, снг-шных, если таковые имеются.
Ну погугли. Из самых известных -- яндекc, сбер, каспер, криптонит, вк, airi, сколтех, visionlabs, тысячи их. Ты просто вообще не в контексте. Можешь хоть на хх ру искать.
>Ты сам себе противоречишь. Если кто-то работает в ML-индустрии 5-10 лет, как ты писал выше, но в этих фирмах нет исследовательского отдела, откуда, по-твоему, этот кто-то или его тимлид должны знать про исследования, исследовательские лаборатории и прочее?
Как ты себе это представляешь? Типа вы с тимлидом 10 лет в закрытой комнате просидели? За 10 лет, ты всех вокруг узнаешь десять раз, людей-то мало в этой области.
>И да, рисечер, твоя зарплата была нормальной На уровне обычного ML-инженера в индустрии?
Зависит от чего уровень считать, конечно. Но +- на уровне.
Ты лучше расскажи про себя. Ты из праздного любопытства, или у тебя планы какие-то конкретные?
> пиздишь не по существу.
>завали своё ебало.
> помощи
Нет.
До тех пор пока ты не осознаешь, что люди в интернет заходят не лично для тебя.
Я желаю читать публичные дискуссии мл-рисерчеров и буду гнобить всяких додиков.
В пылу обсуждения, подскажите простому дата-инженеру, как перекатиться в ML?
>Нет. Кафедры по машинному обучению были и 15 и 20 лет назад.
В полутора вузах вроде мфти, про которые никто не знал?
>Просто ты не в курсе, потому что хайпа не было.
Разумеется. Интернет нулевых не был таким заселённым, не было кучи курсов, лекций, статей, журналов, которые сейчас. Без знакомых или родных в той сфере узнать про направления было маловероятно.
Да даже если бы и узнал - толку-то? Новые лекарства и молекулы, например, не линейной регрессией или деревьями моделируются. Точно также как чатботы не на нейронках с 1 скрытым слоем делаются.
> Например, если раньше OpenCV был на матлабе и плюсах, а на хайпе был SIFT-вектора, то сейчас это питон и нейронки.
OCR забыл.
>Да, представь себе, "вкатиться" с улицы в исследования нельзя. Тебя же не удивляет, что тебя не возьмут в биологическую лабу без образования (и пхд).
Твои примеры тут не подходят. Попробуй ещё раз.
>С чего ты взял? Котирует прекрасно.
По вакансиям это не скажешь.
>1. Тебе не предлагают, лол. Знал бы , какой туда конкурс.
"Туда" это куда?
>2. Ты понятия не имеешь, сколько, как и из каких средств спонсирует ML-лабы.
У меня есть общее представление.
Что есть лабы в МФТИ, МИФИ,ИТМО, Иннополисе, Сколково. Что-то государством спонсируется. Что-то крупными компаниями, заинтересованными в машобе. А ещё есть военка и около того, что билет в один конец.
>яндекc, сбер, airi
Про них известно. airi так вообще дочка сбера.
>сколтех
Академия без удалёнки. Сейчас бы перекатываться в подмосковье и снимать жильё за много денег.
>каспер, криптонит, вк
Ну и где результаты их исследований? Или у них лабы для вида? Можно ещё МТС с Ростелекомом вспомнить.
>visionlabs
Это те самые, которые цифровой гулаг строят? Помню, долго висели их вакансии, никто связываться не хотел.
>Ты просто вообще не в контексте. Можешь хоть на хх ру искать.
На хх полторы вакансии. Хотя, как по мне, нормальные места не через хх ищутся.
>Как ты себе это представляешь? Типа вы с тимлидом 10 лет в закрытой комнате просидели? За 10 лет, ты всех вокруг узнаешь десять раз, людей-то мало в этой области.
Легко. Тот же сбер - огромная структура с кучей команд и направлений. Сберлаб, Сбердевайс и Аири лишь небольшая часть из них.
Ты вполне можешь заниматься в Сбере чисто инженерной работой с кредитным скорингом, потом в X5 рекомендательными системами, потом в безымянной конторе языковыми моделями и за 10 лет не касаться ML-ресёча. Равно как и твой тимлид. Или ты счиатешь надо каждый месяц мотаться на коференции и читать запоем все статьи, до которых дотянешься?
>Зависит от чего уровень считать, конечно. Но +- на уровне.
А с перспективами как? Во-первых, есть ли куда расти,в том числе по деньгам? Во-вторых, если останешься без работы, есть ли шансы найти что-то такое же? Или надо заводить трактор?
>Ты из праздного любопытства, или у тебя планы какие-то конкретные?
Планы есть, поэтому и спрашиваю.
>>3383440
>До тех пор пока ты не осознаешь, что люди в интернет заходят не лично для тебя.
Люди не заходят ради тебя
@
при этом сам отвечает на посты и плачется, когда получает струю за оффтоп
>>3383532
Найти работу, где дата инженеры работают рядом с датасаентистами или ml-инженерами и перекатиться. Смотреть, что и как они делают, повторять, попутно прокачивая ML-теорию книгами, учебниками, лекциями и статьями. Есть есть время и желание, можешь вон как советуют выше в магистратуру или прочий ШАД поступить.
>вообщем может кто в двух словах объяснить базовый принцип работы иИ
СТАТИСТИКА И КОРРЕЛЯЦИЯ. В двух словах, это если ты два раза пришёл в магазин и купил жвачку, то скорее всего в третий раз ты тоже купишь жвачку.
>>3385705
>ЖПТху можно дообучить /зафайнтюнить?
Можно. У неё есть параметр температуры например - это насколько строгим должен быть ответ или наоборот кретивным.
>што такое ии
>это какая-то поисковая система?
>как работает нейронка помогите, как она ПОНИМАЕТ
И это всё, что смогла высрать борда, полная задротов-омежек? В общем, где нормальные чаты искать?
А чего ты ожидал от хайповой темы? Хайп вокруг ИИ может быть интересен только тем, кто ИРЛ с этим никогда не соприкасался.
Математические знания есть, программирование подтяну. А дальше?
Как должно выглядеть резюме?
>Как должно выглядеть резюме?
Если ты задаёшь такие вопросы, значит machine learning - не твоё. Там гигантская конкуренция и место получат умные люди, не задающие тупорылых вопросов ПОМОГИТЕ!!!! ПОДСКАЖИТЕ Я НИЧЁ НЕ ЗНАЮ ЧЁ МНЕ ДЕЛАТЬ!!!! ДАЙТЕ ГАЙД Я ЗАПУТАЛСЯ!!! В ml сфере сейчас по 50-100 человек на место, можешь не рыпаться, за тебя всё сделают.
>Математические знания есть, программирование подтяну. А дальше?
Просто блять не изобретай велосипед. На hugging face 1,4 миллиона готовых моделей. Что ты можешь такого сделать, чего не будет на hugging face? Разве что заменить один датасет на другой.
https://www.acm.org/media-center/2025/march/turing-award-2024
Не нобелевку, а айтишный аналог
За другую работу
Не выиграл, а проиграл
>Как должно выглядеть резюме?
вмк, сколтех или что то такое в образовании, работа в бигтехе, лабе или квантом в разделе про опыт
>Математические знания есть, программирование подтяну. А дальше?
А чё может быть ДАЛЬШЕ? Дальше ты делаешь реальные проекты, которые облегчат жизнь людям. Всё. А как может резюме выглядеть... Ты можешь нанять дизайнера. Сделать охуенный сайт-визитку. Сайт блог. Там рассказать о себе, показать какие проекты ты делал.
sentdex - охуеннейший Ютуб канал про ИИ
Из книг - ебейшая книга Франсуа Шолле "Глубокое обучение на Python"
Если сумеешь запустить ROCm на своей оси с этой картой - то квантованные модели до 4b - llama 3.2, qwen-2.5, gemma-3, phi-3.1-mini и тд в Q4 например
Но лучше не еби себе мозги и заплати копеечку openrouter/bothub и поиграйся с чем-то стоящим. Да даже бесплатные модели на этих агрегаторах лучше чем то что ты сможешь запустить на своем железе
Сейчас пол года подрабатываю на питоне но не связано с ML, думаю когда год отработаю и сдам Deep Learning 1/2, Machine Learning 1/2 буду искать стажером в области ML и в резюме добавить проекты из учебы и несколько kaggle playground competitions. Как думаете норм трамплин для вката?
Если не в рисерч вкатываешься, то на оценки вообще пофиг, максимум что интересует в некоторые компании - наличие диплома.
>буду искать стажером
Лол удачи. Проще стать главой правления газпрома чем получить стажировку. Отпишись как найдёшь. Мне пиздец как интересно, кто же там стажирует. Может тиньков какой-нибудь, но в тинькове конкуренция примерно такая - из 5000 заявок получили стажировку 130 человек. А на постоянке остались и того меньше, человек 80 наверно...
>>Deep Learning 1/2, Machine Learning 1/2
Где это ты сдаешь?
TU Berlin.
Темы:
ML1 Topics:
- Bayes Decision Theory, Parameter Estimation, Component/Discriminant Analysis
– Model Selection, Learning Theory
– SVMs, Regression, Neural Nets, Boosting, Decision Trees
– Clustering, Explainability
ML2 Topics:
- Low-Dimensional Embedding 1 (LLE)
- Low-Dimensional Embedding 2 (t-SNE)
- Component Analysis 1 (CCA)
- Component Analysis 2 (ICA) - 16 Mai
- Component Analysis 3 (Representation Learning) - 23 Mai
- Hidden Markov Models - 30 Mai
- Kernel Machines 1 (Structured Input) - 6 June
- Kernel Machines 2 (Structured Output Bioinformatics) - 13 June
- Kernel Machines 3 (Anomaly Detection) - 20 June
- Kernel Machines 4 (KPCA, RDE) - 27 June
- Deep Learning 1 (Structured Networks) - 4 July
- Deep Learning 2 (Structured Prediction) - 11 July
- Deep Learning 3 (Anomaly Detection) - 18 July
DL1 Topics:
- Backpropagation
- Optimization I, II
- Regularization I, II
- Loss Function
- Convolutional Networks
- Recurrent Neural Networks
- Autoencoders
- Structured Output
- Explainable AI
DL2 Topics:
- Representation Learning
- Attention
- Graph Neural Networks
- Equivariant Neural Networks
- Advanced XAI
- Neural Ordinary Differential Equations
- Density Estimation
- Generative Models
- Deep Reinforcement Learning
Я тут мимо, если что тг LegendaryBoss777, мой фокус, вкат в ML и саморазвитие.
в нормальных местах не смотрят на оценки
на оценки смотрят во всяких дрочильнях низкоуровневых, челов без опыта, на стажки итд итп
если ты такой - то готовься что да, нужно будет потрясти дипломчиком что ты не баран и учился
кажется в берлине да и в европе будет особая проблема, что хороших вакух для машинлернеров мало, и все они в топовые места типо трейдинга, фаангов или стартапов с снг корнями - во всех остальных местах ты будешь хуйней маяться на копеечной инфре без каких либо перспектив применить свои знания
Я бы хотел на Юнити и C# сделать простую 2д тетрамино игру. В программировании имел опыт на уровне джуна, но это было в 2010-2012, поэтому сейчас помню очень мало и тем опытом можно пренебречь.
Хочу использовать ИИ для того, чтоб он за меня все сделал - склоняюсь к Claude, но может кто-то местный посоветует какая нейронка сейчас наиболее эффективно работает с Юнити + C#?
>Я бы хотел на Юнити и C# сделать простую 2д тетрамино игру
>какая нейронка сейчас наиболее эффективно работает с Юнити + C#
С таким подходом, голубчик, лучше найди готовую игорю на гитхабе и форкни
Бро, кажется это тред не про применение нейронок, + это в любом кайфе будет сложно какую бы ты нейросеть не взял, лучше сам по тихой изучай, авось что да получится
А че ты хотел? Это Росссия! Тут никогда никому не нужны умные люди, а за сложные задачи будут платить меньше, потому что это для тебя привилегия заниматься интересными вещами, да и куда ты денешься, узкий специалист. Мировая практика, к сожалению чем дальше, тем больше.
Дата сцаенс пользуется необъяснимой популярностью. Я не знаю почему все пруться в этот самый обосранный дата сцаенс. Там уже конкуренция человек по 30 на место. Я не могу объяснить с чем это связано - зп средняя, область тяжелейшая, конкуренция огромнейшая. Инфа 99% что заниматься придётся какой-нибудь системой рекомендаций а-ля "вы купили трусы и носки, не хотите докупить ещё майку?" Мл из той же серии.
>>3496258
Есть ли смысл учить это длясибя, будучи простой макакой? Ну вот работаешь ты, гоняешь жсоны, и тут прилетает задача сгруппировать эти жсоны по каким-то признакам. И тут ты такой с умным ебалом: "это же классический случай применения метода k ближайших соседей, ща пабыраму накидаю на сцикит-лёрн". Слава, почёт, уважение, тёлки. Было у кого, нет?
Есть, язык R творит чудеса. Можно одной строчкой загрузить че угодно, убрать столбцы, прогнать линейную регрессию, построить любой график. Минуса у языка только два: 1) он жутко тормозит, медленнее чем пхп. 2) у языка ебанутая система классов, у них штуки три разных реализации ООП, и все сделаны через жопу.
Про статистику можно сказать что это ну прям сильное колдунство. Это не то чтобы математика. Её приятно изучать. Для себя пригодится в контексте финансов например, маст хев для тех кто разрабатывает торговых ботов.
При нейросети тут более обширная тема, там надо следить за этим постоянно, каждые две ебанные недели выходит новая модель, книга или фреймворк. Надо следить за всем этим со скоростью света.
R для этого не используется. R нужен, если тебе какой-то еба статкритерий посчитать надо.
>он жутко тормозит
Ты что-то делаешь не так. Вложенные циклы небось пишешь.
>кодомакаки, нахуя вы прете на позиции DS/ML при этом даже не зная элементарных вещей типо линейной алгебры или матана?
Так я учу по ходу дела эти элементарные вещи. Но ты же, подсвинок, будешь все равно гейткипить, мол, если я не дрочил задачник Демидовича, готовясь сдавать экзамен старому совковому маразматику, то знания мои хуйня и сам я хуйня. А если я даже пошёл в вуз, то и это хуйня, надо было в 18 лет идти.
>Ну не получили вы норм образование, не дрочили математику со школы, ну и пишите свои фронтенды и круды пока пишется.
Тебя забыл спросить, чем мне заняться.
>Чтобы обосраться на собесе на элементарных вопросах?
Ну обосрусь, и чо? Тебе плохо сильно с этого? Было бы лучше, если бы я с лёгкостью прошёл собес и у тебя пукан слетел с креплений? Так подожди, всё впереди.
> если бы я с лёгкостью прошёл собес
Собес закончится после 1-2 вопросов по линейной алгебре или матану. Ты будешь оправдываться что "учил но забыл", я отправлю тебя учить дальше и попрошу хрюшку лучше фильровать кандидатов чтобы такое говно больше не приходило отнимать моё время.
>если я не дрочил задачник Демидовича, готовясь сдавать экзамен старому совковому маразматику, то знания мои хуйня и сам я хуйня
Ну... да. Это неиронично так.
Так ML-инженеры и дата-инженеры - это такие же макаки, которые просто крутят параметры в уже готовых модельках, не изобретая ничего нового. Разве нет?
>ML-инженеры и дата-инженеры
Так про них никто и не писал вроде...
>Так я учу по ходу дела эти элементарные вещи. Но ты же, подсвинок, будешь все равно гейткипить, мол, если я не дрочил задачник Демидовича, готовясь сдавать экзамен старому совковому маразматику, то знания мои хуйня и сам я хуйня. А если я даже пошёл в вуз, то и это хуйня, надо было в 18 лет идти.
К сожалению, это так работает. Это как не научиться в 6 лет читать. Ты можешь, конечно, и в 20 попытаться научиться, но читать будешь по слогам, диктора из тебя не выйдет.
>И что работа в ML - это просто перекладывание таблиц в экселе, а зарплаты там ниже, чем у обыкновенного крудошлёпа.
Как было выяснено выше, это всё ещё так. В существующем бигтехе ничего умнее "если пользователь купил резиновый хуй, ему нужна смазка" не придумано, и навыки там нужны соответствующие.
Ну типа ты сам пытался и не осилил в силу возраста? Много видел людей, у которых, хоть убей, ничего не получалось? Может, какие-то исследования видел, которые ставят крест на таких людях? Или, как обычно бывает на сосаче, просто пиздишь хуйню для деморализации в лучших традициях инцелов?
Крайне сильно хочу вкатиться в обучение.
Что думаете на счет этой роадмапы
https://medium.com/data-science-collective закидывайте в тг, оттуда заходите, открывает без подписки
с закреплением - этим https://eng.mipt.ru/programs/ai/
???
>n8n
Ему уже много лет, какую-то долю он занял, больше вряд ли займёт.
>Или типа вы эту всю хуету ботаете с заделом на будущее?
Это. Те, с кем я разговаривал, рассчитывают на то, что через 2-3 года эта профессия станет такой же повсеместной как веб-макакинг. В принципе, обвязки вроде MLops и ML engineer уже появились, поэтому есть ожидание, что сфера будет расти дальше.
>типа вы эту всю хуету ботаете с заделом на будущее?
У меня лично исследовательский и научный интерес ботать всю эту хуйню. Тяжело объяснить, короче внутренний "созидательный" порыв появился, хочу всю эту ML-ную тему перекопать и раскопать, сделать какой-нибудь значимый (хотя бы на песчинку) вклад в развитие человечества. Хотя бы в рамках оптимизации затрат какой-нибудь крупной компании, либо выявления новых инструментов оптимизировать ту же LLMку, либо допереть до исследования AGI. в межнаре. Короче, долгая история, вот как меня завернет по интересам - вот такую пользу и сделать.
Главное - прочувствовать, что в этом мире я не бесполезный кусок ебаного потребительского дерьма.
Уже.
>>3502252
Это круто.
На самом деле я накатал свой истеричный шизовысер лишь из-за зависти и обиды, что я занимался полной хуйнёй на 1 и 2 курсе, вместо того, чтобы наворачивать базу. И из-за этого, хоть я периодически засматриваюсь на мл с интересом, боюсь что я это всё просто не осилю со своим покатым лбом и навыками матеши на уровне бегло пройтись за 2-3 дня перед контрольной по матпрофи или методичке и нарешать на удос. С таким даже скорее всего не получится поступить в более менее нормальную магу после моего васянского универа. Да даже если и осилю, то что дальше? Везде пишут, что работу не найти, а среди твоих конкурентов кандидаты наук. Ну и в таком случае просто говорю себе, мол это вообще не моё, я дурачок, просто поддался хайпу и всё такое.
Хотя с другой стороны, если попробовать, то как будто ничего и не потеряю. Так говорю, что вот, проебу время только, как будто вместо всего этого я буду полезным чем-то заниматься. Всё равно это лучше, чем смотреть аниме и тиктоки и пить пиво.
Да не еби себе мозги. Если интересен ML, попробуй почитать этот учебник https://education.yandex.ru/handbook/ml
Лично мне эта дрисня никогда не была интересна. Что сейчас, что 10 лет назад. Из интересного сейчас разве что интеграция с LLM, потому что это весьма полезный инструмент для работы с текстом. Но сидеть и вдаваться в подробности как оно работает мне никогда не хотелось.
В моем случае, это такой порыв в 25 лет, после получения маги в тех. сфере, но не в it
Потому что питон здесь выступает в роли скриптового языка. Это по сути терминал для макаки, куда ты вводишь последовательность команд, только не руками каждый раз. Здесь нахуй не усрался твой солид, фп или что ты там любишь. Написал, запустил, получил результат, забыл.
>В полутора вузах вроде мфти, про которые никто не знал?
Ебать ты дебил. Даже в нашем провинциальном вузе уже лет 5 есть мага по ИИ и МО, которую Сбер финансирует из своего кармана
Зачем? Как мне кажется там выше конкуренция и больше работы. Зарплаты +- те же
мимо тоже DE
>Вот сейчас работы нет, всё забрали румяные зумеры с физтеха и вышки, но зато потом каждый ИП Залупин захочет себе собственную ллмку и везде будет нужен мльщик?
Индустрии не нужны инженеры для разработки автомобилей, индустрии нужны шофёры. То есть, люди, которые будут выполнять работу, используя ИИ в качестве инструмента. Для этого нужно всего-лишь уметь печатать на клавиатуре и читать текст с монитора.
Если ты не в катился уже несколько лет как в ML и не имеешь каких-то результатов, то тебе в нём нехуй делать, ты будешь запрыгивать в уходящий поезд. А он уходящий, потому что уже есть работы по вопросу потолка нейросетей:
https://arxiv.org/abs/2412.02975 - Theoretical limitations of multi-layer Transformer
https://www.quantamagazine.org/chatbot-software-begins-to-face-fundamental-limitations-20250131/ - Chatbot Software Begins to Face Fundamental Limitations
Индустрия сейчас выжимает последние капли. Уже реально весь интернет целиком в датасеты запихнут. Всё, для дальнейшего логарифмического масштабирования вам нужно увеличивать размер нейросети в 3 раза и размер датасетов в 5 раз. А где взять столько датасетов?
https://arxiv.org/abs/2203.15556 — Training Compute-Optimal Large Language Models
>Останутся только 200 iq деды, которые действительно способны не только штаны в лабе просиживать, а ещё и придумать что-то новое. Но такие, я думаю, здесь не сидят.
Кстати, где сидят спецы по маш обучу? Я уже заметил, что на дваче уровень "специалистов" очень низкий. Даже на linux.org.ru он довольно слабоват, хотя там есть несколько кадров, которые профессионально работают в этой области.
> Тяжело объяснить, короче внутренний "созидательный" порыв появился, хочу всю эту ML-ную тему перекопать и раскопать, сделать какой-нибудь значимый (хотя бы на песчинку) вклад в развитие человечества. Хотя бы в рамках оптимизации затрат какой-нибудь крупной компании, либо выявления новых инструментов оптимизировать ту же LLMку, либо допереть до исследования AGI. в межнаре. Короче, долгая история, вот как меня завернет по интересам - вот такую пользу и сделать.
Ты долбоёб, вся эта отрасль только занимается попилом грантов и доением гигантов, вроде гугла и фейсбука. Твои нововедения никому в хуй не упёрлись, с любой необычной идеей ты просто не сможешь пройти ревью в журналы, потому что всё завалено ебучими трансформерами — триста видов трансформеров, из них ревьюверы выбирают статьи для публикацию.
Весь этот маразм скатился до того, что в ML возникло поверье, что Адам — это магический оптимизатор, который решает все проблемы. По этой теме есть блогпост:
https://parameterfree.com/2020/12/06/neural-network-maybe-evolved-to-make-adam-the-best-optimizer/
Вот в какой-то такой форме ты и сможешь публиковаться. То есть, создавать свой бложек и писать в нём хуйню, которую ни в один журнал не примут, потому что в журналах сидит секта свидетелей Адама.
> Главное - прочувствовать, что в этом мире я не бесполезный кусок ебаного потребительского дерьма.
Зачем бежать от себя?
> Одна из неприятных вещей в ML - это весьма убогость тулинга. И очень плохо написанный код. Питон это пиздец, я никогда не понимал, кому нравится писать код на этой динамикодрисне. Особенно большой и сложный код. Но вся ML индустрия это питон. И сами мльщики код как правило писать попросту не умеют, им на него строго похуй
У меня была большая беседа с ChatGPT по этому поводу. Там не всё просто, но подытожить можно как-то так:
1. Питон изначально был слеплен на коленке из говна;
2. Довольно рандомно этот ЯП был подхвачен академиками для научных вычислений — потому что "выглядит чисто ,как матеша";
3. Когда развились нейронки, то академота, вроде того же MIT и Berkley, по дефолту взяли тот же самый питон. Нельзя сказать, что гугл привёл питон к популярности, но он точно сильно поддерживал этот ЯП.
Это была история. Теперь практика. Академики, и особенно математики — это абсолютно оторванные от реальности аутисты, которые нагнутся завязать шнурки, проведут согнувшись пять часов, а потом поднимутся и побегут записывать теорему запутанности шнурков. Дай им готовый продукт — они будут работать над ним пять лет, вы итоге поломают всё, что можно было поломать, и побегут радостно ломать следующий продукт.
В айтихе я неоднократно сталкивался с должностями "разгребатель говна за математиками", где нужно брать хуету, высранную академиками, и превращать её в работоспособный софт.
Если у вас есть знакомый матмематик, который не такой, то не спешите делать выводы — вы наблюдаете исключение, 5% "не таких". Но 95% пишут софт именно так, как я описал.
Никто старые либы не исправляет, не реоргиназует, просто докидывают говна в кучу каждый раз, когда нужно сделать что-то новое.
Деплой? Ахаха, сейчас NixOS стал мегапопулярный из-за этих ебаных "академиков" потому что они пишут софт, который ни на одной машине больше нельзя запустить. Потому нужен NixOS, который байт-в-байт повторит окружение, которое вы потом уже под конкретную задачу будете модифицировать и расширять.
Какая нахуй работа в ML? Сейчас больше всего бабок рубят конторы, которые предлагают девопсовые-облачные решения для запуска этого самого ML. У меня самого последняя работы была по хранилищу датасетов для ML. Сам ЧатGPT — это 2000 строчек на питоне. А вот инфраструктура вокруг него — это пиздец какая сложная хуйня, и большая часть неё вообще не про нейросетки.
Этот чел прав. В современном "МЛ" нечего делать человеку, который хочет заниматься наукой. Особенно после 2019 года. Весь прорыв случился в 2014-2017 годах.
Добавлю, что это грустно потому что до хайпа нейросеток МЛ была по-настоящему интересной и сложной областью, где была огромная куча методов и подходов.
Я мехмат закончил, а потом перподавал МЛ вот таким вот вкатывальщикам, которые в магу приходили со всяких экономических факультетов.
Но ты не расстраивайся, для МЛ тебе не особо матеша нужна.
>Этот чел прав. В современном "МЛ" нечего делать человеку, который хочет заниматься наукой. Особенно после 2019 года. Весь прорыв случился в 2014-2017 годах.
Никакого прорыва. Индустрия скатывается в стагнацию. По сути весь прогерсс последних лет строился на:
1. Оптимизации алгоритмов под имеющиеся вычислители (GPGPU). Это заняло дохуя лет, хотя, казалось бы, вычислители существуют с нулевых годов.
2. Рост объема инфы в интернетах из-за наплыва школоты. Как хуёвой. так и годной инфы. Больше хуёвой, конечно.
До 2010 года если бы ты сказал "а давайте сделаем ИИ, которому нужно будет терабайт тренировочных сетов и стоимость обучения будет измеряться в миллионах долларов", то тебе бы просто покрутили пальцем у виска: "ты ебобо? Где ты столько текcтовых данных найдёшь? А если и найдёшь — какой смысл их гонять взад вперёд по видеокартам, будто это биткоин?".
Но прошло время, текстовые данные сами собой собрались, вычисления на видеокартах стали дешевле — вот тебе и весь "прогресс".
Ещё раз: по-хорошему в ML непаханное поле, но никто на распашку этого поля денег не даст. А не даст потому, что кризис западной экономики с 2008 года не останавливался, и нынче он подходит к терминальной фазе. Если бы не было короновируса, то людей поувольняли с работы и так. Если бы не было ChatGPT, то айтишников после короны отправили бы обратно мести улицы в любом случае. CNN и трансформеры — это неверноятно примитивная ебень, для разраблтки которой нужны не инженеры, а макаки с датасетами. Оптимизация расходов, так сказать.
>Добавлю, что это грустно потому что до хайпа нейросеток МЛ была по-настоящему интересной и сложной областью, где была огромная куча методов и подходов.
Она не особо сильно изменилась так-то, только выросла хайповая её часть.
Привет. Подскажите, для трудоустройства как ML инженер обязателен диплом? Тащемта, ситуация такая, работаю с ML, LLM, интегрирую Дата сайнс код в прод (бек, микросервисы), то есть опыт у меня сугубо практический, так же есть незаконченное высшее по информатике, 3 курса, так что база есть. Но диплома то нету. В общем-то вопрос, так ли он необходим для трудоустройства? Что лучше делать в моей ситуации?
Прорыв был, потому что как только нейронки выстрелили, появилось несколько оргигинальных архетектур -- VAE, GAN, Attention. И тогда казалось, что байесовские методы, объединенные с нейронками -- это реально будущее, причем будущее осмысленное, а не современный инженерный макакинг. Но получилось, как получилось.
>Она не особо сильно изменилась так-то, только выросла хайповая её часть.
Изименилась. Сейчас ты хуй что опубликуешь, если это не нейросетевое говно. Вернее даже не так. Если сугубо инженерное поделие. Ну "наукой" заниматься в академии стало полностью бессмысленно. Я так и не защитился из-за этого
А ты вылетел, или еще учишься? По факту, опыт важнее диплома, но всякие Сберы и прочие спрашивают просто потому что.
Я в Европке учился, отказали в визе, русским мол вход закрыт, ну чтож. Я потом работу нашел, просто думаю как бустануться, бекенд давно уже понятен, ну у нас конечно нет хайлоада, но мне это и не вперлось. Хочется делать что-то интересное, а не то, что давно изучено. В РУ бигтех тоже не собираюсь, мог туда залететь как бекенщик, сейчас мне эти алгосы, в целом, подготовка к биг тех собесам, не уперлась. Хочется в будущем вообще на себя работать, Типа консалтить по внедрению ЛЛМ, или менеджерить инженерку...Что то такое. В универе получил базовую подготовку в DS и маш.обе. + математическая база, пейперы могу читать, в целом нет проблем подтянуть знания , есть маня-ощущение, что я гожусь на что-то больше, чем писать в бд и сериализовывать жсоны в топики...
>есть маня-ощущение, что я гожусь на что-то больше, чем писать в бд и сериализовывать жсоны в топики...
Большее -- это что? Вообще, ветки развитии 3 -- либо масштабирование, когда ты начинаешь проектировать большие системы, но для этого надо идти в большие компанию, либо менеджмент -- это туда же, либо рисерч. Еще можно пойти куда-то в специфическую область, где нужны какие-то конкретные навыки, вроде МЛя в нефтегазе.
Для рисерча нужно образование. В Европе на образование смотрят.
>Прорыв был, потому что как только нейронки выстрелили, появилось несколько оргигинальных архетектур -- VAE, GAN, Attention
Вариационному инференсу и обучению с нулевой суммой сто лет в обед. Всё, что придумали в 21-м веке — это прихуярить к этим старым методам очень тяжелые нейросетки и оптимизировать их end-to-end, что, как я уже писал:
1. Требуют пиздецовых объемов тренировочных данных;
2. Может обучаться только на аппаратах, чья производительность измеряется в "терафлопс".
То есть, оно даром не нужно было никому до 2010 года. Когда появились тренировочные данные и специфичные параллельные вычислители (оч специфичные, это мягко говоря не единственный способ считать числа), то появились и методы, которые разработаны под эти вычислители и эти объемы данных. А именно: сначала ReLU и Dropout, без которых добиться сходимости на глубоких сетях было невероятно ебливо; потом остаточные сети и масштабируемое внимание. Здесь внимание — это не про трансформеры, да и вообще, в тех же LSTM оно было вшито в саму ячейку ещё в прошлом веке. Но вот механизм масштабируемого внимания, которое можно расширять в высоту и в ширину, сделали только в 2015 — и именно под соусом "фиксированного вектора нам недосточно", вот дословная цитата:
https://arxiv.org/pdf/1409.0473
>we conjecture that the use of a fixed-length vector is a bottleneck in improving the performance of this basic encoder–decoder architecture, and propose to extend this by allowing a model to automatically (soft-)search for parts of a source sentence that are relevant to predicting a target word, without having to form these parts as a hard segment explicitly
То есть, ещё раз, весь прогрес заключался в том, чтобы простые, эффективные, но захардкоженные алгоритмы заменить примитивными обработчиками в 100 слоёв, и потом тупо подбирать параметры на терабайтах тренировочных данных.
Везде ебучий найм на копру. Мне хочется иметь хотя бы какую-то независимость, возможность работать на себя.
Я в РФ, в Европу не поеду. Это просто не выгодно, там оч дорого, а зп ниже чем в ДС
>Везде ебучий найм на копру. Мне хочется иметь хотя бы какую-то независимость, возможность работать на себя.
Даже работая "на себя" один хуй приходится в аутсорс разный играть. Даже если клиенты — это тоже айтишные конторы. Кодинг — это такая хуйня, которая требует много ресурсов, и сама по себе вещи не производит, ты в любом случае делаешь что-то для кого-то.
>Вариационному инференсу
Речь не о простом вариационном инференсе, а о его сочетании с нейросетями. Тогда была надежда, что, переведя нейронные сети на вероятностный язык, можно будет сделать их полностью интерпретируемыми, после чего, применяя к ним баесовские методы, проектировать сложные модели с заранее задаваемыми свойствами. Не сработало, байесовские заклинания не работают в глубоком обучении как и везде, сетка с напиханными слоями сама выучивает все, что нужно, и гораздо лучше.
>обучению с нулевой суммой
Конкретно фишка ГАНа в том, что минмаксную задачу вдалось решить, что обычно не получается. Это дало развитию интересным исследованиям поверхностей лосса, в частности, появлению WGANа.
>То есть, ещё раз, весь прогрес заключался в том, чтобы простые, эффективные, но захардкоженные алгоритмы заменить примитивными обработчиками в 100 слоёв, и потом тупо подбирать параметры на терабайтах тренировочных данных.
>То есть, ещё раз, весь прогрес заключался в том, чтобы простые, эффективные, но захардкоженные алгоритмы заменить примитивными обработчиками в 100 слоёв, и потом тупо подбирать параметры на терабайтах тренировочных данных.
Это понятно, после выхода гугловских статей про трансформеры, ловить стало уже совсем нечего. Я помню, мы когда на семинаре еще в 2019 статью разбирали, решили, что они тупо пиздят, потому что проверить никто все равно не сможет без гугловскихмощностей, настолько тогда это казалось невероятным
>Везде ебучий найм на копру. Мне хочется иметь хотя бы какую-то независимость, возможность работать на себя.
Анрил. Единственный варик -- на фрилансе клепать сайтики, которые дергают какие-нибудь готовые апишки с результатом работы нейромережей.
https://www.youtube.com/playlist?list=PLcsjsqLLSfNDgb5cau6OjutZo-jwd8Z1l
годное. там на канале ещё есть
меня возьмут на работу в ваше нейрохрючево? Обычные кодеры всё, почти заменены нейронками, выживут ли специалисты по ИИ?
>меня возьмут на работу в ваше нейрохрючево?
Откуда нам нахуй знать? Мы же не ванги, у нас нет гадальных карт чтобы предсказывать будущее. Это как спрашивать "подскажите, у меня пивной животик, но я знаю крутой фитнес-клуб поблизости. скажите, смогу ли я накачать 6 кубиков или не смогу, ходя в этот клуб?"
Полное дерьмище. За это платят копейки, да и лоу/ноукод это закрывает. Не интересно
>Речь не о простом вариационном инференсе, а о его сочетании с нейросетями. Тогда была надежда, что, переведя нейронные сети на вероятностный язык, можно будет сделать их полностью интерпретируемыми, после чего, применяя к ним баесовские методы, проектировать сложные модели с заранее задаваемыми свойствами.
Каким образом? Каким образом абсолютно ебанутая вероятностная математика, где для сложения двух чисел нужно быть минимум доктором наук, может сделать что-то там "полностью интерпретируемым"?
Насколько мне известно, VAE нужны для того, чтобы получать результат (картинку, звук) с заданными свойствами, а не "проектировать нейросеть с заданными свойствам".
>Конкретно фишка ГАНа в том, что минмаксную задачу вдалось решить, что обычно не получается. Это дало развитию интересным исследованиям поверхностей лосса, в частности, появлению WGANа.
С хуя ли? Берёшь любой алгоритмический необучаемый оценщик, даёшь ему на вход выхлоп со своего предсказателя/генератора, тренишь генератор на минимизацию ошибки — вуаля, всё получилось. Смысл GAN заключался в том, что некоторые свойства выхлопа тяжело оценить, вроде параметра "реалистичность картинки". Сама по себе идея GAN оставляет огромное поле для конкретизации деталей дискриминатора, генератора, и способа их обучения.
Для сравнения, современные LLM — это на 90% оригинальные трансформеры 2017 года. А GAN? Где оно начинается и заканчивается?
>Я помню, мы когда на семинаре еще в 2019 статью разбирали, решили, что они тупо пиздят, потому что проверить никто все равно не сможет без гугловскихмощностей, настолько тогда это казалось невероятным
"Гугловые мощности" — это всего-лишь одна V100, работающая несколько дней. Арендовать такое можно было за $200-300. Целиком такая карточка стоила около $10 000. А сегодня у меня 3060 имеет примерно те же характеристики, что у V100 тогда.
>Каким образом абсолютно ебанутая вероятностная математика, где для сложения двух чисел нужно быть минимум доктором наук, может сделать что-то там "полностью интерпретируемым"?
Таким образом, что ты заранее задаешь вероятностное распределение, которое потом с помощью нейросетки подбираешь.
>Насколько мне известно, VAE нужны для того, чтобы получать результат (картинку, звук) с заданными свойствами, а не "проектировать нейросеть с заданными свойствам".
VAE, в отличии от обычного автоэнкодера, как раз этим и занимается. Там основная идея в том, что у нам скрытый слой -- это случайная величина, которая сэмплируется каждый раз. И ты в явном виде учишь не какие-то "представления", а параметры этого распределения.
>С хуя ли? Берёшь любой алгоритмический необучаемый оценщик, даёшь ему на вход выхлоп со своего предсказателя/генератора, тренишь генератор на минимизацию ошибки — вуаля, всё получилось
У тебя гарантировано происходит коллизия, и побеждает либо генератор, либо дискриминатор. Там проблема именно в особенностях поверхности лос-функции, WGAN -- это по сути просто выбор другой метрики в этом пространстве.
>"Гугловые мощности" — это всего-лишь одна V100, работающая несколько дней. Арендовать такое можно было за $200-300. Целиком такая карточка стоила около $10 000. А сегодня у меня 3060 имеет примерно те же характеристики, что у V100 тогда.
Под мощностями имелось в виду размер датасета.
>Таким образом, что ты заранее задаешь вероятностное распределение, которое потом с помощью нейросетки подбираешь.
И что? Что это даёт? Задачу какую оно решает? Вероятностное распределение на хлеб не намажешь и в банк не положишь.
>скрытый слой -- это случайная величина, которая сэмплируется каждый раз. И ты в явном виде учишь не какие-то "представления", а параметры этого распределения.
И что это даёт? Какая логическая связь?
>У тебя гарантировано происходит коллизия, и побеждает либо генератор, либо дискриминатор. Там проблема именно в особенностях поверхности лос-функции, WGAN -- это по сути просто выбор другой метрики в этом пространстве.
Там бесконечный спектр проблем, потому говорить, что "проблема именно в особенностях функции потерь" — это, мягко говоря, некорректно. Ещё раз: можно вообще исключить дискриминатор из обучения генератора, но тогда нужно намного больше тренировочных данных для дискриминатора. Разрабы GAN хотели наебать судьбу, использовав для тренировки дискриминатора генератор большую часть времени, таким образом экономя на объеме тренировочного сета. И это далеко не единственный способ решения проблемы, и даже в GAN есть разные способы подхода к задаче.
>И что? Что это даёт? Задачу какую оно решает? Вероятностное распределение на хлеб не намажешь и в банк не положишь.
Много чего на самом деле. Во-первых, это решает проблему сетки-черного ящика, что как раз очень нужно в банках. Во-вторых, это позволяет делать всякие крутые фишки, типа хитрых регуляризацией за счет использования свойств распределений. Только это все равно не работает, так что какая разница. Гораздо лучше работает просто нахуярить побольше слоев, которые сами что-то выучат.
>И что это даёт?
Это дает, например, возможность генерировать новые изображения из шума. Именно поэтому VAE -- генеративная модель. Ты обычный автокодировщик не научишь генерировать новые картинки.
Так же, это позволяет понижать размерность с дополнительными требованиями к сжатым фичам. Например, можно убирать мультиколлинеарность за счет настройки штрафа при KL.
>Там бесконечный спектр проблем, потому говорить, что "проблема именно в особенностях функции потерь" — это, мягко говоря, некорректно. Ещё раз: можно вообще исключить дискриминатор из обучения генератора, но тогда нужно намного больше тренировочных данных для дискриминатора. Разрабы GAN хотели наебать судьбу, использовав для тренировки дискриминатора генератор большую часть времени, таким образом экономя на объеме тренировочного сета. И это далеко не единственный способ решения проблемы, и даже в GAN есть разные способы подхода к задаче.
>Там бесконечный спектр проблем, потому говорить, что "проблема именно в особенностях функции потерь" — это, мягко говоря, некорректно
Это основная проблема в минмаксных задачах. Речь вообще шла про то, что когда был бум нейросеток в 2014-2017, там возникло много интересных областей для исследований, это был просто пример.
А что ты хотел? Ты же датасаентист, тебе нужны данные, чтобы их анализировать. Какие ты данные будешь анализировать (кто тебе за это заплатит)? Либо банк, либо ритейл, либо нефтегаз, либо соцсети. Если ты имеешь ввиду шире "машинное обучение", то это вообще просто набор алгоритмов. Их не особо имеет смысл выделять в одну группу.
Есть еще вариант работать "консультантом по машинному обучению", но для этого надо быть либо профессором с именем (в РФ их штук 5), либо каким-то топом из бигкека. Да и то, чем дальше, тем меньше это будет востребовано, потому что ебучему датасосаенсу уже чуть ли не в школе учат. Золотые времена -- 2013-2016, когда скуфов, которые 20 лет пердели на кафедре ММП делали хеад оф дата и давали шестизначную зарплату, а людей у которых в дипломе было написано "нейронная сеть" брали в ОпенАИ сразу после 5 курса. Эти времена прошли.
Какой-то очень узкий навык в ит, который никому кроме корп особо и не нужен. Охуенно я потратил время)
>Это основная проблема в минмаксных задачах. Речь вообще шла про то, что когда был бум нейросеток в 2014-2017, там возникло много интересных областей для исследований, это был просто пример.
Машинное обучение в 2014-2017 искало задачи для имеющихся решений. Так понятно?
>>3508533
>Во-первых, это решает проблему сетки-черного ящика, что как раз очень нужно в банках
Это очень интересно, но нихуя не понятно.
>Во-вторых, это позволяет делать всякие крутые фишки, типа хитрых регуляризацией за счет использования свойств распределений.
И что дальше с "хитрыми регуляризациями" делать? Какую задачу они решают?
>Это дает, например, возможность генерировать новые изображения из шума. Именно поэтому VAE -- генеративная модель.Ты обычный автокодировщик не научишь генерировать новые картинки.
Stable Diffusion — это не просто вариационный автоэнкодер, VAE там выполняет вспомогательную функцию:
"Breakdown for Stable Diffusion 1.4:
• U-Net: 860 million parameters
• Text Encoder (CLIP Text Encoder): 123 million parameters
• VAE Encoder + Decoder: 63 million parameters"
В более поздних версиях там используется Multimodal Diffusion Transformer вместо U-Net. Сама по себе VAE — довольно тупая побрякушка, которая не так сильно отличается от простого автоэнкодера.
Ну типа просто за диплом не берут на работу в мышелёрнинге что ли? Я хочу перекатиться с умирающего кодинга и быть в безопасности от нейронок, вот и всё.
Делай свой бизнес, любой, и применяй в нем свои айтишные навыки
Диплом влияет максимум на 20% успешности найма. Не делай из диплома культа. Он не пофиксит всех твоих проблем. Такой же эффект можно получить за 1/10 той суммы что ты заплатишь ВШЭ (просто покупая свежие книги по теме). За 100к можно книгами с головы до ног обложиться. ВШЭ - это просто модный бренд и не более того.
>Машинное обучение в 2014-2017 искало задачи для имеющихся решений
Это вообще другая тема. Но с этим я полностью согласен.
>И что дальше с "хитрыми регуляризациями" делать? Какую задачу они решают?
Много чего решают, но там надо в тонкости вдаваться. Например, позволяют сильно улучшать поиск.
>Stable Diffusion — это не просто вариационный автоэнкодер, VAE там выполняет вспомогательную функцию:
Генерировать изображения с помощью VAE начали до Stable diffusiona.
>Сама по себе VAE — довольно тупая побрякушка, которая не так сильно отличается от простого
Сильно отличается.
Датасосанес -- это не IT, это скорее аналитика. Отдельно стоит CV, но это вообще не часть МЛя, если разобраться. Просто в CV стали сетки применять, а раньше это вообще другая область была. На ВМК, например, зрением занимались на АСВК, а машинным обучением на ММП.
А сам датасосанес существует миллион лет, просто он раньше назывался "эконометрика", и к МЛю он относился очень узко -- это просто был один раздел, назывался "статистическая теория обучения", кроме него было (и есть) очень много всякого разного и интересного.
>Много чего решают, но там надо в тонкости вдаваться. Например, позволяют сильно улучшать поиск.
"Я знаю, но вам не расскажу" — ладно, хуй с тобой. поверим на слово.
>Генерировать изображения с помощью VAE начали до Stable diffusiona.
Типичная генерация изображений при помощи VAE. Никто голую VAE не использует, потому что это хуйня из-под коня, ведь простое превращение скрытого слоя в нормальные распределения приводит к потере информации, что подкрепляется условиями обучения. Самой VAE это нельзя пофиксить, потому что VAE именно для этого и создана — чтобы бить модель по рукам за тонкую подстройку под вход.
>>Сама по себе VAE — довольно тупая побрякушка, которая не так сильно отличается от простого
>Сильно отличается.
Добавление шума ограниченной формы, близкой к стандартному распределению — это задача даже проще, чем исходный вариационный инференс, который, вообще-то, подстраивался под разнообразные формы распределений. Сама по себе такая структура прикладной ценности имеет мало и все практические модели содержат кучу других цепей, дополняющих VAE. То есть, корректнее говорить, что VAE — это вспомогательный метод, а не полезная модель сама по себе. Отсюда я и говорю "VAE — довольно тупая побрякушка".
>"Я знаю, но вам не расскажу" — ладно, хуй с тобой. поверим на слово.
Ну там реально надо конкретно объяснять. На пальцах про поиск -- использование вариационных автокодировщиков для понижения размерности позволяет получать декореллированные представления, что сильно улучшает процедуру кластеризации и ретривиала.
>Никто голую VAE не использует
Сейчас нет. Тогда это было на хайпе, потому что это были первые результаты, которые казались магией.
>ведь простое превращение скрытого слоя в нормальные распределения приводит к потере информации, что подкрепляется условиями обучения
Нет, не приводит. У тебя информация содержится в нейросетках, которые параметризует распределения.
>Добавление шума ограниченной формы, близкой к стандартному распределению
>это задача даже проще, чем исходный вариационный инференс, который, вообще-то, подстраивался под разнообразные формы распределений.
Во первых, там не только гауссовской распределение может быть. Уже это дает большой простор для для зопарка моделей. Во-вторых, в вае вариационный инференс работает как раз довольно стандартно -- приближает апостериорное распредление.
>Сама по себе такая структура прикладной ценности имеет мало и все практические модели содержат кучу других цепей, дополняющих VAE
Я про "прикладную ценность" вообще ничего не говорил. С моей точки зрения, это как раз наименее интересная часть вопроса, потому что наибольшую прикладную ценность имеют наиболее простые методы
>Ну там реально надо конкретно объяснять. На пальцах про поиск -- использование вариационных автокодировщиков для понижения размерности позволяет получать декореллированные представления, что сильно улучшает процедуру кластеризации и ретривиала.
Какой тип информации, хотя бы?
>>Никто голую VAE не использует
>Сейчас нет. Тогда это было на хайпе, потому что это были первые результаты, которые казались магией.
Не первые:
https://en.wikipedia.org/wiki/Deep_belief_network
>Нет, не приводит. У тебя информация содержится в нейросетках, которые параметризует распределения.
Я тебе пишу то, что по факту происходит. Основная причина, почему VAE никто давно в чистом виде не использует — это потому, что оно мажет говно по холсту. И это прямо проистекает из свойств скрытого слоя. Да, что-то в каких-то нейросетках содержится — только изволь пояснить, каким образом это поможет избежать дефицита информации из скрытого слоя?
>Во первых, там не только гауссовской распределение может быть. Уже это дает большой простор для для зопарка моделей.
Чтобы управлять распределением, тебе нужны дополнительные узлы — о чём я и пишу в который раз. А сама по себе VAE написать себе кастомные распределения не может.
>Во-вторых, в вае вариационный инференс работает как раз довольно стандартно -- приближает апостериорное распредление.
Меня так бесит, что его называют апостериорным. Оно очень даже априорное — известное заранее до любого обучения сети. Впрочем, весь ML пропитан столетним маразмом, так что чему я удивляюсь?
>С моей точки зрения, это как раз наименее интересная часть вопроса, потому что наибольшую прикладную ценность имеют наиболее простые методы
VAE уже стала священной коровой, которую носят на троне и не смеют притрагиваться к ней. Например, с какого-то хуя в качестве показателя потерь при оценке распределения (KL divergence) используют сумму логарифмов логарифмов, а не квадратов. KL divergence — это вообще энергетическая теория, ололо, какого хуя она делает в ML? Ещё бы электроотрицательность атома притащили. Так-то распределение Больцмана из термодинамики притащили уже.
Такой подход — это не "прикладная ценность", а вполне себе "регилиозный культ". VAE в своём фундаменте — предельно простая хуета, но старые пердуны превратили её описание цирк, как если бы я приходя в магазин говорил "дайтете мне бутылочку с водой, динатрийлауретсульфосукцинатом, кокамиопропилбетаином, пропиленгликолем, цетиловым спиртом, глицерином, маслом косточек аргании , масло ши, поликватерниумом 10, хлоридом бегентримония, хлоридом цетримония, феноксиэтанолом, этилгексилглицерином, лимонной кислотой, пантенолом, экстрактом цветков ромашки римской, токоферилацетатом, экстрактом алоэ вера, альфа-изометилиононом" вместо "дайте мне шампуль Dr Sea", а покупателями в этом магазине были бы только профессора по химии.
>Какой тип информации, хотя бы?
Например, поиск по картинкам через эмбеденги из сеток
>Не первые:
Ну одни из первых. Помню еще ту мемную картинку со стульями, от которой все писались кипятком, типа "вот ща будем текстуры генерить автоматически"
>Чтобы управлять распределением, тебе нужны дополнительные узлы — о чём я и пишу в который раз. А сама по себе VAE написать себе кастомные распределения не может.
Не, закон распредление ты сам задаешь изначально и через это определяешь поведение модели. В этом же вся суть "нейробаеса" хайповой когда-то хуиты
>Да, что-то в каких-то нейросетках содержится — только изволь пояснить, каким образом это поможет избежать дефицита информации из скрытого слоя?
Я не понимаю, почему его дефицит. Это от обычного автокодировщика отличается только добавлением шума, если уж совсем огрублять.
>Меня так бесит, что его называют апостериорным. Оно очень даже априорное — известное заранее до любого обучения сети.
Известен закон, а не конкретное распределение (т.е. параметры).
>Впрочем, весь ML пропитан столетним маразмом, так что чему я удивляюсь?
Ну с этим я согласен. Я вообще пришел в МЛ из чистой математики, и первые пару лет мне казалось, что я очень тупой и не знаю каких-то очевидных для всех вещей, а оказалось, что люди просто даже не задумываются, просто говорят как факт разные вещи.
>используют сумму логарифмов логарифмов, а не квадратов
Не очень понял. Там логарифм, потому что совместную вероятность логарифмируют, чтобы сумму считать.
>KL divergence — это вообще энергетическая теория, ололо, какого хуя она делает в ML?
Потому что весь тервер, извините, статистическая теория обучения, включая "новые" байесовские методы, графмодели и теорию информации придумали в начале 20 века в статфизе. Почему в МЛе оправдывают выбор лоссов "теорией информации"? Потому что почему бы и нет, это же машинное обучение -- говори что-то минимально осмысленное, маши руками и хуярь модели.
Это для меня тоже пиздец проблемой было по началу. Я-то привык, что если есть какие-то матмодели, они должны быть полностью обоснованы и строго выведены. Поэтому мне казалось, что я просто не понимаю переходов. Ну т.е. KL-дивергенция -- это же по факту производная Радона-Никодима для двух вероятностных мер, соответственно надо где-то эти меры определять, показывть, почему это меры и так далее. А по факту просто берется что-то отдоленн похожее на метрику, объявляется лоссом и все, torch.optim.Adam
>Такой подход — это не "прикладная ценность", а вполне себе "регилиозный культ". VAE в своём фундаменте — предельно простая хуета, но старые пердуны превратили её описание цирк, как если бы я приходя в магазин говорил "дайтете мне бутылочку с водой,
Это не религиозный культ, это оправдание собственной деятельности. Потому что в МЛ шли люди, занимающиеся наукой, в частности тервером, а оказалось, что в МЛе тервер не нужен. Все что можно сделать с тервером -- это постфактум придумать оправдание, почему это работает так, как работает.
>Например, поиск по картинкам через эмбеденги из сеток
VAE нахуй не нужнен для поиска по картинкам, она просто срёт шумом в модель и усложняет тренировку, снижая эффективность классификации. Для повышения качества эмбедингов с ними, действительно, нужно работать, и есть куча разных способов, но VAE здесь — это забивание гвоздей отвёрткой. Она просто не для этого и не затем была сделана, VAE прежде всего тренирует точный генератор, а не вероятностный дискриминатор.
>Не, закон распредление ты сам задаешь изначально и через это определяешь поведение модели. В этом же вся суть "нейробаеса" хайповой когда-то хуиты
Где-то сказано, что VAE ОБЯЗАНА следовать заранее заданному нормальному распределению — только так и не иначе? Насколько мне помнится, в описании значилось "в качестве одной из целей мы применили", но нет никакого "только априорное нормальное распределение".
>Я не понимаю, почему его дефицит. Это от обычного автокодировщика отличается только добавлением шума, если уж совсем огрублять.
Критерий оценки потерь в VAE требует, чтобы кодировщик как можно больше значений скрытого слоя оставлял в виде нормального распределения, то есть, отсутствия полезной информации. Если выкинуть это условие, то даже с шумом у тебя получится обычный автоэнкодер — по сути ты будешь делать эквивалент droput, только для одного скрытого представления.
В процессе выбивания табуретки из-под ног при VAE, естественно, декодер теряет часть способности точно воспроизводить исходную картинку. В этом весь смысл и в этом основной недостаток VAE.
>Известен закон, а не конкретное распределение (т.е. параметры).
Стандартное нормальное распределение — это априорно известный закон, никакой постериорности здесь нет. И именно стандартное нормальное распределение является целевым для скрытого представления VAE.
>Там логарифм, потому что совместную вероятность логарифмируют, чтобы сумму считать
Ну то, что логарифм логарифмируют — это понятно. А почему там логарифм? Подсказка: потому.
>VAE нахуй не нужнен для поиска по картинкам, она просто срёт шумом в модель и усложняет тренировку, снижая эффективность классификации
Он нужен не для поиска, а для снижения размерности. Задача поиска решается не классификацией, а кластеризацией. Там проблемы возникают из-за особенностией фичей из сеток. VAE может выучивать представления с контролируемыми свойствами за счет варьирования распределения скрытого слоя и хаков при обучении.
>Где-то сказано, что VAE ОБЯЗАНА следовать заранее заданному нормальному распределению — только так и не иначе?
Не, там много разных вариаций, например Гумбеля используют. Но это уже не чистый VAE. Изначально, да -- нормальное.
>Стандартное нормальное распределение — это априорно известный закон, никакой постериорности здесь нет
Закон известен, параметры -- нет.
>Критерий оценки потерь в VAE требует, чтобы кодировщик как можно больше значений скрытого слоя оставлял в виде нормального распределения, то есть, отсутствия полезной информации.
Не отсутствия. Ты обучаешь предсказывать параметры нормального, т.е. по сути ты выучиваешь скрытое представление (через медиану), просто потом еще шум добавляешь.
>Он нужен не для поиска, а для снижения размерности. Задача поиска решается не классификацией, а кластеризацией. Там проблемы возникают из-за особенностией фичей из сеток. VAE может выучивать представления с контролируемыми свойствами за счет варьирования распределения скрытого слоя и хаков при обучении.
Для задач классификации, для задача кластеризации, для задач хуеризации не нужно декодера. Совсем. BERT, CLIP, и прочая хуета — это всё энкодерные архитектуры. VAE может что-то выучивать, но это поможет для поиска примерно никак. Для поиска его нужно тренировать на поиск, а не на самокодирование.
>>Стандартное нормальное распределение — это априорно известный закон, никакой постериорности здесь нет
>Закон известен, параметры -- нет.
У стандартного нормального распределения очень простые параметры — среднее значение 0, дисперсия 1. Всё. Другие распределения — это другия распределения. Даже если ты задашь другое среднее значение в качестве цели — это не добавит информации, потому что не изменяющийся выход энкодера не передаёт никакой информации.
>Ты обучаешь предсказывать параметры нормального, т.е. по сути ты выучиваешь скрытое представление (через медиану), просто потом еще шум добавляешь
Не изменяющееся скрытое представление равносильно полному отсутствию связи между энкодером и декодером — это, надеюсь, очевидно?
>Не изменяющееся скрытое представление равносильно полному отсутствию связи между энкодером и декодером — это, надеюсь, очевидно?
Ты не понял. У тебя условное распределение.Ты учишь не просто матожидание скрытого слоя, в матожидание скрытого слоя при условии объекта.
У тебя mu(x), а не просто mu.
>У стандартного нормального распределения очень простые параметры — среднее значение 0, дисперсия 1
Это у априорного. А у апостериорного значения определяются объектом x, через выученные параметры нейросети.
>Для задач классификации, для задача кластеризации, для задач хуеризации не нужно декодера. Совсем. BERT, CLIP, и прочая хуета — это всё энкодерные архитектуры. VAE может что-то выучивать, но это поможет для поиска примерно никак. Для поиска его нужно тренировать на поиск, а не на самокодирование.
Когда я эти занимался, Берта не было.
>>>Не изменяющееся скрытое представление равносильно полному отсутствию связи между энкодером и декодером — это, надеюсь, очевидно?
>Ты учишь не просто матожидание скрытого слоя, в матожидание скрытого слоя при условии объекта.
Какая разница, если в обоих случаях скрытый слой не будет нести никакой информации? Хоть с условиями, хоть без. Я не вижу ответа на свой вопрос.
Это теорема макаронного монстра, на самом деле.
>>>У стандартного нормального распределения очень простые параметры — среднее значение 0, дисперсия 1
>А у апостериорного значения определяются объектом x, через выученные параметры нейросети.
Википедию, блять, открой. Не бывает двух стандартных нормальных распределений. Вообще. Оно всегда только одно единственное. У него нет никаких параметров, как их нет у числа пи. Всё, что ты там дальше вычислил — это, может быть, очень важно, но к стандартному нормальному распределению отношения не имеет.
>Когда я эти занимался, Берта не было.
До 2018 года, но после 2013... CNN + ReLU + Dropout уже были. ResNet примерно в этом диапазоне разработали. В принципе, даже без ResNet можно было ограниченной глубины энкодер накатать (что и делалось).
>Какая разница, если в обоих случаях скрытый слой не будет нести никакой информации?
Будет, у тебя информацией является само условное распредление. Потому что оно условное, т.е. зависит от объекта. Для разных объектов будут разные распределения.
>Я не вижу ответа на свой вопрос.
Я вообще перестал понимать, что ты спрашиваешь.
>Википедию, блять, открой. Не бывает двух стандартных нормальных распределений. Вообще. Оно всегда только одно единственное. У него нет никаких параметров, как их нет у числа пи. Всё, что ты там дальше вычислил — это, может быть, очень важно, но к стандартному нормальному распределению отношения не имеет.
Ну так про то и речь. Стандартное нормальное распределение -- это априорное распределение на параметры скрытого слоя. А апостериорное распределение не стандартное нормальное, а гауссовское с диагональной матрицей ковариаций. Я не понимаю, в чем спор вообще.
>>3509631
Ну да, так и делалось, а потом к резнету сверху VAE прихерачивался.
>А апостериорное распределение не стандартное нормальное, а гауссовское с диагональной матрицей ковариаций
Диагональная ковариация обозначает отсутствие ковариации, так что ХЗ зачем ты это привёл. Условия обучения достаточно неявно поощряют отсутствие ковариации через логарифмическую ошибку в классическом варианте VAE с KL divergence.
Естественно, фактический вывод энкодера не может быть полностью стандартным нормальным, потому что он не будет нести информации — об этом я и писал. При чём тут ковариантность — не ясно, она тут не при чём.
Стандартное нормальное распределение не несёт информации, и именно потому является целью в VAE — чтобы минимизировать число инфы, передаваемой через скрытое представление
>>Я не вижу ответа на свой вопрос.
>Я вообще перестал понимать, что ты спрашиваешь.
Это:
>Не изменяющееся скрытое представление равносильно полному отсутствию связи между энкодером и декодером — это, надеюсь, очевидно?
>Будет, у тебя информацией является само условное распредление. Потому что оно условное, т.е. зависит от объекта. Для разных объектов будут разные распределения.
Теорема Байеса (внезапная): P(A | B) = P(B | A) P(A) / P(B)
Если у тебя P(B | A) = P(B) = const, то есть одно из распределений фиксировано, то внезапно выясняется, что
P(A | B) = const P(A) / const = P(A)
Или, иными словами, условное распределение не отличается от беузсловного. Или, более простыми словами, если у тебя нет информации в канале, то у тебя нет информации, никакой математикой ты её из пустоты не достанешь.
>вкатом в мл и DS
А его и не было никогда. В РФ настолько мало вакансий, что они все закрываются докторами наук.