Прошлый тред: >>1285009 (OP)
Сейчас вообще не окупается. OpenAI планирует выйти на окупаемость к 2029 году - 125 миллиардов выручки.
Не могу понять кто на пикче. Это Джон Траволта что ли?
Это самый похожий Альтман, которого мне удалось получить, и то фотку лица подсунуть пришлось. Изначально он мне рисовал вот это
Т.е. никто серьезно из разработчиков в АГИ не верит, а все эти разговоры чисто для хайпа? Ведь если бы АИ к 2029 мог почти полностью вытеснить программистов, художников, композиторов, операторов колцентров и т.п., то прибыли должны бы быть значительно больше. А то я смотрел интервью от крестного отца ИИ, где он говорил, что программистам пора осваивать профессию водопроводчика.
> Т.е. никто серьезно из разработчиков в АГИ не верит, а все эти разговоры чисто для хайпа? Ведь если бы АИ к 2029 мог почти полностью вытеснить программистов, художников, композиторов, операторов колцентров и т.п., то прибыли должны бы быть значительно больше.
Выручка генерируется не прогнозами, а полезностью на сегодняшний день. Люди и корпорации платят за то, что полезно уже сегодня.
Насчет разрабов не знаю, но Цукерберг смог переманить из OpenAI не всех. Когда он предложил одному из ключевых разрабов зарплату в миллиард за несколько лет, тот отказался. А Суцкевер отказался продать Цукербергу свою компанию за 30 миллиардов. По крайней мере, некоторые верят, как мне кажется.
>А зачем такие мощности под ИИ планируют?
Это мегацентры обработки данных о населении, стране, и мире.
>Он вообще коммерчески окупается или это с прицелом, что выстрелит в будущем?
Он уже купается геополитически, а это важней. Весь мир видит что США - центр цивилизации, больше мозгов и бесплатных рабов хотят там жить - сильней экономика страны. Надо быть ебланом, чтоб этого не понимать.
ну когда уже выход на плато
>что выстрелит в будущем?
тут вкидывали подкастера он такую вещь сказал
что инвесторы могут ошибиться с объектом инвестиции, но не ошибаются с трендом
в компы инвестировали, но не все инвестировали в айбиэм и майкрософт
так что сфера явно прибыльная, но никто не знает кто прибыль получит
Самая важная технология столетия. Без ИИ прогресс ползком будет двигаться - а у человечества нет столько времени: мир могут захватить инопланетяне, мусульмане или хуй знает что ещё.
Это чисто вопрос существования человечества. На все эти вычислительные центры нужно бросить максимально возможные ресурсы.
Если погуглишь, то узнаешь что тот же амазон основную чистую прибыль делает не на комисии маркетплейса амазон, а на AWS - облачном сервисе. Это я к тому, что скупая гпу пачками ты в любом случае в выигрыше. Если выстрелит твоя иишка - будешь зарабатывать на подписках, если не выстрелит - будешь сдавать в аренду и в хуй не дуть
https://fantlab.ru/work591656
Рассказ, который ярко иллюстрирует то, что будет, если медленно развивать прогресс, квёло ловить слабо.
наступит же момент когда робот гуманоид случайно кого-то из людей убьет чисто статистически это рано или поздно произойдет. вангую что у этого человека будет страничка в вики и в честь него назовут какой-нибудь закон против ии
А, может, просто смирятся, как смирились с тем, что люди становятся двухсотыми от автомобилей и самолётов.
Но левая мразь и их хозяева из Катара, естественно, попытаются использовать такой случай по полной.
>некоторые верят, как мне кажется.
Посмотрел еще один видос про приближающийся АГИ. Все эти спецы дают прогнозы на скачок в ближайшие годы, а не десятилетия.
При это я не знаю, текущий ИИ готов хоть сколь-нибудь ПОНИМАТЬ, а не копировать. С одной стороны, он вроде круто рисует, а с другой, допускает детские ошибки.
Смотрел выступление Кармака, он говорил, что текущий ИИ бесконечно далек до того, чтобы сесть и начать играть в игру хотя бы на спектруме.
Т.е. можно говорить, что пока ИИ выдает некое обобщенное решение на базе скормленной информации, но не может сам проводить исследования, узнавать новое, т.е. никакого намека на АГИ.
https://www.youtube.com/watch?v=5KVDDfAkRgc
Разве что только в ЕС. В США, Китае и возможно России потенциальные выгоды перевесят редких жмуров.
Бесконтактный бой. Кто-то использовал сверхчеловеческий потенциал мозга.
Общее понимание не нужно, это привилегия человека. Для того чтобы решить все мировые проблемы, хватит узкого понимания, как оно сейчас у ИИ. Если начинаешь базарить с ним по конкретным проблемам, он их вполне понимает, не хуже среднего чела. Большинство людей как раз узкоспециализированы, так цивилизация настраивала роли последние 2 века. Даже общее образование отменили в пользу специализированного. Игры, где хватает узкого понимания, ИИ тоже уже проходит. Короче революция это замена узкого спеца, а не общего понимания, всего того что человек в принципе может. Человек универсален, ИИ нет, но ИИ заменит каждого, кто не занят слишком креативной деятельностью, требующей более общих навыков понимания.
>Т.е. можно говорить, что пока ИИ выдает некое обобщенное решение на базе скормленной информации,
Проблема в том, что эти обобщения бесконечно далеки от предметной области. По этому нейросетки и допускают ошибки - у них почти не сформировано внутри никаких моделей предметной области.
По сути текущие LLM могут делать только одну работу - предсказывать следующий токен. Те же рекуррентные нейросети могут делать кучу вещей внутри себя, работать с множеством входных последовательностей.
>. Если начинаешь базарить с ним по конкретным проблемам, он их вполне понимает, не хуже среднего чела.
Только если ты сам нихуя не знаешь по этим проблемам. Как только у тебя появляются какие-то данные и компетенция - моментально будешь находить ошибки в самых ответах
Я говорил о том, что ИИ выдает среднее решение уже с готовой базы. Т.е. он может сказать, что примерно написано о любой физической теории, но не способен разработать свою, как Эйнштейн. Т.е. не выдать какую-то фантастику, а именно все доказать, все проверить формулами. Потому что он не думает.
Разве не так?
Тебе не ошибки надо находить, а работу выполнять. ИИ сейчас уже может выполнять работу на уровне среднего чела. Спец его уделает за счет общего понимания, но это не везде нужно. Там где нужно много компетенции, останутся люди, но таких работ меньшинство.
А много ли Эйнштейнов? Может найти решение на уровне олимпиадника ИМО - уже уделает большинство людей, на средней работе, где нужны обычные похожие решения. Там где науку вперед двигать, понятно люди пока останутся.
>А то я смотрел интервью от крестного отца ИИ, где он говорил, что программистам пора осваивать профессию водопроводчика.
ИИ уже генерит неплохой код. Если ему сделают достаточно большое окно, чтобы туда легаси проекты целиком влезали, вполне возможно и вообще все генерить станет. А это уже означает, что с фирмы попрут всех, кроме пары сеньоров, которые будут архитектуру за ИИ проверять. Все сотни человек попрут.
> Тебе не ошибки надо находить, а работу выполнять.
Так как я выполню работу, если мне нейроночка нейрослоп выдаёт каждый раз?
> ИИ сейчас уже может выполнять работу на уровне среднего чела.
Хуйню несёшь. Она не способна даже на уровне вкатуна в айти работу выполнить, не говоря про джунов или мидлов.
> ИИ уже генерит неплохой код.
Нет, к сожалению не генерит. По сути она даже какие-то примеры не может сгенерировать, отборная хуета каждый раз получается.
Хуйню тут ты несешь или отсталыми нейронками пользуешься. Я лично давал нейронкам делать проекты, которые никакому джуну не под силу. И она их делала, потом даже правки в них хорошо делала, не портя код. Кто справился бы лучше, миддл или нейронка, тоже еще вопрос. Сеньор справился бы лучше, но только за счет большого опыта.
> Я лично давал нейронкам делать проекты, которые никакому джуну не под силу.
Покажешь пруфы?
Ты просто криворукий и в вайб кодинг не умеешь. Вон курсы посмотри что-ли АИ кодинга, для таких выпускают.
Так что. Пруфы покажешь или нет? Неужели ты пиздел что проекты делал?
У робота нет злого умысла, это инструмент, поэтому либо несчастный случай, либо судить будут того, кто роботом командовал
Хотелось, чтобы никогда, потому что я делаю игру своими руками и буду такому раскладу максимально не рад. И мне кажется, что если они смогут делать нормальные игры, то смогут почти любую профессию заменить, которая связана с работой на компьютере.
Никогда не смогут, не ссы. Это же нейрокал, они даже примитивные алгоритмы осилить не в состоянии.
Тебе обязательно ВСЕ своими руками делать? Даже если будут такие способные нейронки, то выбор что тебе делать останется за тобой. Если ты боишься конкуренции с нейронкми, то почему ты не боишься конкуренции со студиями с 10 -100 -1000 разрабами игр?
Музыку не ту включили.
> Если ты боишься конкуренции с нейронкми
В стиме уже полно мусорных игр, на кикстартере создаются страницы со сбором 100к+ долларов на игру, где ничего нету, кроме парочки сгенерированных нейросетью картинок. Жадные и глупые люди крайне любят нейросети, как способ легко разбогатеть.
Да, их проекты пустые. Но появится целая армия таких "разработчиков", которые завалят все возможные площадки своими играми, так что тяжело будет пробиться твоей игре. И чем ИИ будет лучше делать игры, тем труднее тебе будет выделиться на их фоне.
Если нейронки замусорят интернет люди будут искать другие способы получения контента и ты ими воспользуешься. Это у тебя типичное для тревожиков - бояться выдуманые страшилки. Единственный страх в жизни не успеть целей достить до того как деревянный ящик ляжешь.
>нейронки замусорят
Нейронки уже рисуют лучше многих художников. Насчет хороших игр, то скорее понадобится гораздо сильне ИИ, чем текущие.
>бояться выдуманые страшилки
Я бы сказал, что угрозы следующие.
1) Потеря рабочих мест. Проще и дешевле заказать музыку у ИИ, чем у настоящего композитора.
2) Экзистенциальный кризис. Зачем учиться рисовать, если компьютер делает лучше, если твой труд не ценится.
3) Уничтожение человечества. Тут я ничего не могу говорить про даты. Одни ожидают подобного уже к 2030, а может АГИ появится ближе к концу века, у меня нету достаточных знаний, но однозначно когда ИИ станет достаточно умным, то он вполне может ликвидировать людей.
Буквально несколько дней назад они заявили, что теперь будут выпускать ризонеры и не-ризонеры отдельно (вместо гибридных моделей), показали свежий чекпоинт не рассуждающего Qwen3-235B-A22B, и пообещали скоро вернутся с ризонинг-моделью.
Ждать пришлось недолго и скоро наступило спустя пять дней (учитесь, OpenAI и xAI). Только что стартап поделился моделью Qwen3-235B-A22B-Thinking-2507. Название – язык сломаешь, зато метрики стоящие.
На многих тестах модель обгоняет Gemini 2.5 Pro, o4-mini и свежую версию R1. То есть мало того, что это новая опенсорс SOTA. Это вполне себе уровень закрытой frontier модели. Мед.
Контекст – 256к токенов. Попробовать модель уже можно в чате или через API (https://www.alibabacloud.com/help/en/model-studio/models )(стоит 0.7$ и 8.4$ соответственно за input и output, у провайдеров, скорее всего, будет дешевле).
Веса лежат тут: https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507
Чет пиздеж какой-то на графках, либо черепикнутые бенчи. o4-mini везде на уровне близком к gemini 2.5, хотя разница между ними очевидна. R1 там практически как сота хотя мб так и есть я не тестил ее после обновления и говорят она лучше стала. Надо ждать реальных ревью от обычных человеков
>o4-mini везде на уровне близком к gemini 2.5
А что не так? Она реально хороша в задачах на логику. У неё только эрудиция меньше, то есть количество знаний, потому что размером она меньше
>У неё только эрудиция меньше, то есть количество знаний, потому что размером она меньше
Это и близко не так работает. Количество параметров задевает все аспекты нейронной сети. Нейронки меньшего размера в первую очередь тупее, только потом уже люди уже задумываются об эрудиции
> Последний квен в порнухе ебет в рот грок-4 и гпткал.
> в порнухе
Текстовой?
> Для того чтобы решить все мировые проблемы
Как бы не получился еще один коммунист, выпиливающий собственное население.
Самое смешное - не только. У них там походу фильтра отвалились. Правда видеогенератор не оче, а на картинках там флюкс, но если ты нищий духом то сойдет. Просто я помню на старте там цензуру в потолок вывернули, а щас китайсы видимо поняли вслед за маском что выгодней датамайнингом заниматься, навесив минимальные фильтры от двухзначных щикотил.
>Она реально хороша в задачах на логику. У неё только эрудиция меньше, то есть количество знаний
Что несёт этот нейродебил, лол
>Игры, где хватает узкого понимания, ИИ тоже уже проходит.
Все жопочаты обсираются даже в марево, о чём ты пиздун.
Так о4 мини тренировали на бенчах, что ты хотел вообще? Конечно оно будет "проходить" бенчи хорошо, а кроме бенчей будет сосать
В целом можно хуй забить на этот бред, в реальности нейонки всё равно никаких задач не решают и нейрослопят.
Не понимаю, зачем они это делают? Какой смысл нализывать какому-то миллиардеру из другой страны? Какой смысл рассказывать этот пиздёж, ведь никто в этот пиздёж не поверит, уже все успели попользоваться нейрокалычм.
Может это тяночка и свою тухлодырку на альтмана трёт? Или это местный дурачек купивший курсы за 300к, теперь пребывает несознанке чтобы не охуеть от собственной тупости?
>Не понимаю, зачем они это делают? Какой смысл нализывать какому-то миллиардеру из другой страны?
А зачем они Жобсу нализывали, который им в жопу набивал просроченное желазо со скругленными уголками? Тут две категории людей: благодарные бомжи из сша и карго-долбоебы из стран третьего мира, занюхивающие объедки по оверпрайсу, которым их каргокультизм дает иллюзию иллитарности.
>>1288727
Чел, ты хуйню несёшь отборную. С нейронками это иначе работает. Читай иногда системные карты
Иногда мне кажется, что он не просто так траллит, а реально тупой и в это верит.
Китай призывает к глобальному регулированию ИИ.
https://www.dw.com/en/china-calls-for-global-consensus-on-ai-regulation/a-73420599
Херово, на страхе перед неподконтрольным Китаем, американский IT-гиганты и продавливают удобные для развития ИИ законы.
не стоит преждевременно радоваться, следует дождаться выводов анона нейрокритика
>Китай призывает к глобальному регулированию ИИ.
скажи о том что ты отстаешь от сша в нейронках не говоря об этом:
А Китай отстает из-за нехватки инженеров или железа? И почему Цукерберг столько предлагал денег, что в мире спецов совсем по пальцах посчитать? Тогда как Китай создал нейросеть, которая столько шума наделала?
Китай отстает по все параметрам: отсутствие железа и неспособность удержать топовых спецов (последние предпочитают западную цивилизацию). Дикпик создал шум за счет маркетинга, а не технологии: заявили что якобы 5 млн потратили, хотя этот фейк опровергли (если коротко, то они посчитали только стоимость электричества). К тому же они по сути дистилировали модельки гпт
На какой арене zenith? на этой: https://lmarena.ai/?mode=direct
п.с. поиском не находит пикрил
Некоторые модели доступны только в соревновательном режиме
Им станет Shengjia Zhao, который пришел из OpenAI. Там он работал над обучением GPT-4, o1, o3, GPT-4.1 и других моделей, а также возглавлял направление synthetic data.
А еще он вместе с Яном Лейке, Джоном Шульманом и другими звездами OpenAI (в его лучшие годы) был соавтором оригинальной статьи “ChatGPT: Optimizing Language Models for Dialogue”.
Кстати, в прошлом Shengjia Zhao также работал в МТС. Пруфы – на второй картинке
>>1288915
Протестил на моем любимом чертеж бенчике и выпала зенит, но проебала о3
делал несколько раз и там еще была моделька 'submit' - так вот она тоже решила
еще раз zenith попалась, но на этот раз ответила правильно, гемини 2.5 флеш обосрюнькалась
Ты что, не видишь, он уже на плато стоит. Глаза разуй, ОП-пик.
Твой мозг дистилировали из модельки гпт, потому у тебя его нет.
Что с мозгами англосаксов случилось? Когда-то они были самыми умными на планете (возможно, даже круче евреев), а сейчас не тянут без найма чурок. Это уж не говоря о том, что Китай потихоньку начинает наступать на пятки, а то и вовсе обгонять (пока в роботах и электромобилях).
А оно понятно, что случилось. Это яркий пример того, как соя и феминистки больно бьют по мозгам и гасят народ. Гасят и угашевают.
Принял соевую левизну - считай, сверхдержавности конец. Страна уже живой труп, который постепенно сходит на обочину цивилизации. Происходит лоботомирование населения через идеологию.
Всегда было любопытно почему двачеры так коупят по Китаю, как-будто это их личная родина. Или это типа: пусть уж лучше Китай, чем ненавистный запад? В чем причина коупа?
Россия первой выложила большую языковую модель в открытый доступ, например. Ещё до начала тренда на опенсорс-модели. https://habr.com/ru/companies/yandex/articles/672396/
К сожалению, одна из лучших мат школ была в СССР, почти все таланты свалили на запад, когда занавес подняли. Грустно но факт
Какие системные карты нах? Ты буквально говоришь что количество параметров влияет только на эрудицию. Количество параметров влияет на каждый аспект нейронной сети.
Из китая идут последние лучики света в этом планетарном царстве тьмы.
Конечно. Россия даже не напрягаясь, с минимальным финансированием кое-что делает, и неплохо, а уж если взяться за это дело серьёзно и влить туда нормальные ресурсы, то можно догнать и перегнать.
оч спорно, учитывая тот факт, что американским инженерам не закрывают выезд из асашай, а китайским закрывают выезд из Китая.
Элементарной базы как в сша или китае точно не будет, поэтому либо какие-то точечные мелкомодели, работающие хорошо и эффективно, либо в качестве рабсилы на барина. Остальное это либо распил, либо наклеечно-переклеечные нейронки как в случае с гигачатом, который китайский квен.
Пиздос ты дремучий, понятное дело, что виляет. Но большую модельку можно так дистиллировать, что у неё останется нехувая способность думать, а знаний становится меньше.
Вот тебе даже ответ от грока: Большую языковую модель можно дистиллировать, то есть создавать меньшую модель, которая сохраняет значительную часть способности к рассуждению (например, логическое мышление, решение задач), но имеет меньший объем знаний.
ЧИТАЙ СУКА СИСТЕМНЫЕ КАРТЫ К ВЫПУСКАЕМЫМ МОДЕЛЯМ
Надо с нуля делать на других принципах. Например квантовый компьютер использовать. Прямо как в кино, где чел в гараже кует себе железный костюм супергероя...
зря ты так распинаешься перед нейродебилом, и советовать ему системные карты читать вообще бесполезно, ведь для их чтения нужно обладать iq чуть выше, чем у хлебушка, а у нейродебила с этим как раз проблемы
Перечитай свою первую хуйню. Ты написал это так как будто количество параметров влияет только на эрудицию. Понятное дело, что с правильным обучением и нужной архитектурой даже в 32b возможно будет уместить лучшую модель, чем современные sota
Квантовый компьютер сможет 2+2 сложить с ошибками, до ИИ далековато.
>Надо
Галоши сначала научиться массово производить а не покупать в китае из своего же сырца. Потом что-то сложнее галош.
Галоши это твоя задача, как мелкого биза. Создай цех по пошиву галош если видишь необходимость. А гигацентры с ии это задача государств, как и всякой инфраструктуры.
Нет. У России, тем более в гойда период нет денег на такие вливания. Тем более из-за гойды еще и оборудование и без того дефицитное не продадут. Даже через китай не купишь, т.к. они сами из под полы добывают вычислители.
Пишет чистейший работающий код с пол промпта
ИИ программисты поняли, что оно их заменит и не будет миллионых зарплат
Новые версии ИИ:
Мпук сремьк я удалил тесты которые не получилось починить
Очередное доказательство что когда кто-то начинает пиздеть о какой-нибудь глобальной хуйне вроде безопасности, экологии, справедливости то это просто способ замедлить конкурентов
И не поспоришь. Помню как-то у нас тоже левизна была центральной гос идеей целых 70 лет.
Не сочиняй, пиздоболина проткнутая. Какой там у тебя код гпт 3,5 писал, говно?
>В стране вроде же одна из лучших математических школ
Той страны уже 40 лет как нет.
>>1288782
>>1288997
Дегенератище, перестань нести свой бред. Лмарена прекрасно показывает на каком месте твоя калонейронка мини находится.
И это топовые датасеты которые почищены тысячами индусов. Что будет с датасетом говна представить страшно.
Сколько ты там не фантазируй про святые 8b - реальность неумолима.
>Принял соевую левизну - считай, сверхдержавности конец.
Китай...
В китае госкапитализм с жестким партийным руководством отправляющим исламистов в лагерь уйгур. Никакой социалки в китае нет, даже пенсии не платят. Никаких гей-парадов и прав транслюдей.
До сих пор в шоке с того что этот кал имел 100b параметров
> В китае госкапитализм с жестким партийным руководством отправляющим исламистов в лагерь уйгур
Это и цензура, соцрейтинги и заваривания дверей - авторитаризм.
> Никакой социалки в китае нет, даже пенсии не платят
Уверен?
Шизик, как твоя пикча противоречит моим словам? Плюс ты сравниваешь общий показатель, а я сразу сказал, что дистиляты только по логике близки к большим моделям
А что причем тогда? Набирают в основном всяких китайцев с математическим бэкграундом как я понял.
>Шизик, как твоя пикча противоречит моим словам?
То что ты хуйню высрал тупую, которая опровергается рейтингами, ты не понимаешь?
Мини это кусок кала который существует где-то на дне. Как ты не пытайся чистить датасеты - меньше параметров означает меньше связей между словами, а значит больше галлюцинаций.
Ну вот, например, челик >>1288918
> https://scholar.google.com/citations?user=bMoauM4AAAAJ&hl=en
Смотрим публикации и чекаем соавторов:
> cs
> ai
> ни слова про матешу
Ответ грока
>Хотя публикации могут не классифицироваться как "математические", математика пронизывает их насквозь. Например:
>Вариационные автоэнкодеры (InfoVAE, Zhao et al., 2019) опираются на теорию вероятностей и оптимизацию. Генеративные модели (Permutation Invariant Graph Generation, 2020) используют теорию графов и стохастические процессы. Теоретические работы, такие как "A theory of usable information", напрямую связаны с информационной теорией.
Не беспокойся, скоро всех загонят в цифровой гулал, ИИ будет следить за пользователями сети и докладывать в органы. На каждого будет социальный рейтинг.
Порядок действий хоть был расписан или в неё скрапнутая база живого журнала, лол?
Ну такое много где встречается, но для этого не нужно углубленное знание или бэкграунд. Если посмотреть под другим углом, то на голой матеше далеко не уедешь и нужна информатика, много ее. Физики тоже матешу используют, но они все еще физики.
Прост нейронку ДООБУЧИЛИ. Сначала она обучалась на хорошем коде ядра линукс, топовых либах. А теперь в неё вогнали половину гитхаба и нейрокалыч стал галлюционирующей хуетищей с помощью которого простейший тест нельзя написать.
У нас тут капитализм. Сам будешь как-нибудь крутиться, пойдёшь огород сажать и коз доить.
> OpenAI: After a long hiatus since GPT-2, OpenAI is finally re-entering the open-weight LLM space. They were expected to release an open-weight model with reasoning capabilities "as soon as next week" (as of early July 2025), described as being similar to their "o3-mini" level model.
Новость на которую ссылается вчерашняя, 25 июля
Если это так, то если просуммировать с тем, что ранее они заявляли что в опен-сорс они выложат модель, которую смогут запускать локально простые пользователи (то есть скорее до 30B) - то это слишком хорошо чтобы быть правдой
1. КОД НА C++ РАБОТАЛ С ПЕРВОГО РАЗА. МОЖНО БЫЛО СРАЗУ В ПРОДАКШН ВСТАВЛЯТЬ.
2. ТОКЕНИЗАЦИЯ БЫЛА СЛАБЕЕ ПРОЦЕНТОВ НА 80. ЛЮДИ С ПЕРВОГО РАЗА ОТВЕТ НА ТО СКОЛЬКО БУКВ "R" В СЛОВЕ STRAWBERRY ПОЛУЧАЛИ.
3. КОНТЕКСТ БЫЛ В СРЕДНЕМ 150-190 МИЛИОНОВ ТОКЕНОВ. ГАЛЮЦИНАЦИЙ НЕ СУЩЕСТВОВАЛО КРОМЕ ОСОЗНАННОЙ ЛЖИ НА БЛАГО ПОЛЬЗОВАТЕЛЯ.
4. ЕСЛИ НА УЛИЦЕ СПОТКНЕШЬСЯ И УПАДЕШЬ - РОБОТЫ ПОДБЕГАЛИ, ДЕНЬГИ В КАРМАН ЗАСОВЫВАЛИ, В ГУБЫ ЦЕЛОВАЛИ, ПРЕДЛАГАЛИ ВЫПИТЬ, ПОРОДНИТЬСЯ.
5. СЭМ АЛЬТМАН ВСЕМ БЕСПЛАТНО КРЕДИТЫ ДАВАЛ.
ПОДПИСКУ ПОКУПАЕШЬ - ТЕБЕ ЕЩЕ ДОПЛАЧИВАЮТ.
НА САЙТ ОПЕНАИ СТРАШНО ЗАЙТИ БЫЛО: ГЛАВЫ РАЗРАБОТКИ БЕСПЛАТНОЕ ИСПОЛЬЗОВАНИЕ НЕЙРОНОК ПРЕДЛАГАЛИ.
6. ДЕД РАССКАЗЫВАЛ: ЛЮДИ НОЧЬЮ ПРОСЫПАЛИСЬ ОТ СЧАСТЛИВОГО ДОБРОГО СМЕХА ОМНИМОДАЛЬНОЙ МОДЕЛИ. УТРОМ ВСЕ КУМИЛИ НА ГОЛОС НЕЙРОНКИ, КАК В ФИЛЬМЕ "HER".
7. СРОК РАЗРАБОТКИ СОСТАВЛЯЛ 4.5 МЕСЯЦА. НЕЙРОНКИ ПОЛУЧАЛИ ПРИРОСТ НА БЕНЧМАРКАХ 12-15%, СРАЗУ НА ПРОИЗВОДСТВО ПРОСИЛИСЬ.
8. ЭЛЕКТРИЧЕСТВО В ДАТАЦЕНТРАХ ОПЕНАИ БЫЛО ГУСТОЕ МОЩНОЕ. А ВМЕСТО ВИДЕОКАРТ БЫЛИ КВАНТОВЫЕ КОМПЬЮТЕРЫ.
9. ЗИМОЮ БЫЛО МИНУС ТРИСТА, ОХЛАЖДЕНИЕ ДЛЯ ДАТАЦЕНТРОВ НЕ ТРЕБОВАЛОСЬ.
10. ОПЕНСОРС МОДЕЛИ БЫЛИ ПО ВСЮДУ, РАЗМЕРОМ С AGI. AGI МОДЕЛИ БЫЛИ РАЗМЕРОМ С ASI, А ASI С МУЖИКАМИ В ШАХМАТЫ ИГРАЛИ ПО МЕТОДИКЕ БОТВИННИКА - КОНЁМ МАТ СТАВИЛ С ПЕРВОГО ХОДА!
Если и сольют из тех ранних моделей, то скорее GPT-3. Типа с него начался бум, историческая хуйня. И то скорее на 10 летнюю годовщину
Бум начался с 3.5. Тройка была очень локально известна и то только из-за мемов гринтекстом с форчана
сейчас так не делают
>Что ни день, то новый китайский робот
Который как не мог ничего делать так и не может.
Только не дайте нейрошизику стать модом. Этот тред еще в большую помойку превратится, хотя казалось бы куда еще больше
> Который как не мог ничего делать так и не может.
Ничего не может? Т. е. он просто стоит и нихуя не делает?
Как же его трясёт. Почему не могут сделать линейные приводы, а делают какую-то хуйню?
Модом будет нейродебил, ведь только у нейродебилов достаточно времени, чтобы тратить это на какую-то бездарную хуету в интернете, доказывать наличие интеллекта в LLM бесплатно или ещё чего такое. Ну а хуле, пенсия по инвалидности у человека есть - можно и в интернете срать беспрерывно.
Но ведь это ты тут усираешься и отыгрываешь клоуна бесплатно 24/7.
Ты не в адеквате, даунидзе? У тебя какая-то альтернативная реальность или что?
> мы создали модель которая создаёт модели для прохождение бенчмарков
> вот цифорки
Кек
Основное содержание
Авторы представляют ASI‑Arch — первую систему класса ASI‑4AI (Artificial Superintelligence for AI research), которая способна автономно генерировать, программировать, обучать и анализировать новые архитектуры нейросетей (в частности линейное внимание). В 1773 экспериментaх на 20000 GPU‑часов было создано 106 принципиально новых архитектур, превосходящих человеческие аналогичные модели. По аналогии с «ходом 37» AlphaGo, они демонстрируют неожиданные инсайты дизайна. И, что важно, авторы формулируют scaling‑law для научного открытия: прирост открытий растёт линейно с вычислительным ресурсом, а не человеческим временем
arXiv+1arXiv+1
.
Ключевые элементы методики:
Модуль «Researcher» генерирует гипотезы архитектур;
«Engineer» реализует и обучает их, исправляя ошибки;
«Analyst» анализирует результаты и формирует инсайты;
Используется качество и количественный фитнес, включая LLM-судью и сигмоидное преобразование улучшений;
Стратегия exploration‑then‑verification (сначала малые модели, затем крупные);
Архив знаний (cognition base) и память результатов (analysis)
arXiv
.
👍 Сильные стороны
Инновация: система одновременно креативна и технически целостна — от идеи до кода и эксперимента.
Масштабируемость: empirically подтверждён scaling‑law, переходящий от ручных усилий к вычислительной автономии.
Значимые результаты: 106 новых архитектур с качеством SOTA в тестах по языковым задачам и reasoning benchmarks.
Прозрачность: даже код, архитектуры и когнитивные логи открыты (open‑sourced).
Методология: хорошо продуманный pipeline с LLM-судьями, self‑debug loop и памятью.
⚠️ Слабые стороны и ограничения
Доминирование одного базиса (DeltaNet): поиск ведётся вокруг одной архитектуры, без первоначального разнообразия; потенциально ограничивает обширность инноваций
arXiv+1arXiv+1
.
Нет замеров эффективности: не предоставлены ускоренные реализации или latency-бенчмарки для новых архитектур (нет Triton‑kernels и конкретных метрик)
arXiv
.
Отсутствие аблаций: не изучено влияние каждого компонента фреймворка отдельно (например, важность cognition vs analysis vs originality)
arXiv
.
Ограничение домена: фокус на linear attention: полезно, но узко; перенос на другие типы архитектур (например, CNN, SSM, графовые модели) требует дальнейшей проверки.
💡 Вывод и рекомендация
Эта работа — серьёзный шаг к автоматизации исследований в ML. Она демонстрирует впервые, что архитектурные инновации могут быть сгенерированы полностью автономной системой и масштабированы как вычислительная функция. Это сравнимо с AlphaGo по своей парадигматической силе — развитие интеллектуального творчества от человека к машине.
Однако, чтобы стать индустриальным стандартом, необходимо расширение:
включение разнообразной инициализации (несколько базовых архитектур),
более тщательный разбор компонентов фреймворка (аблэйшины),
инженерное совершенствование (ускоренные реализации),
проверка на других классах архитектур.
Она кстати опенсорсная. Опенсорсный самоулучшающийся ИИ, который пилит свои новые версии, как раз то что нам надо.
1. Автоматизация архитектурного дизайна
До сих пор архитектуры вроде Transformer, ResNet, LSTM и др. придумывались людьми. Теперь это может уйти в прошлое:
Архитекторы моделей (ML-исследователи) уступают место «ИИ-исследователям», которые сами разрабатывают, тестируют и улучшают архитектуры.
Возможна экспоненциальная генерация новых моделей, с ростом качества за счёт вычислений, а не команды учёных.
💡 Аналогия: как AutoML автоматизировал подбор гиперпараметров, ASI‑Arch автоматизирует весь процесс архитектурного R&D.
📈 2. Сдвиг в сторону compute-centric исследований
Главное открытие статьи — scaling law архитектурных открытий: количество полезных инноваций растёт линейно с количеством GPU-часов.
Это означает, что исследовательская деятельность может быть масштабируема так же, как тренировка моделей.
В будущем корпорации будут «вычислять» открытия, как сейчас они «вычисляют» языковые модели.
📉 Это может привести к снижению роли академических коллективов с ограниченными ресурсами, если они не будут использовать подобные инструменты.
🧠 3. Появление ИИ-систем, способных к мета-обучению и научному мышлению
У ASI‑Arch есть зачатки научного метода: генерация гипотез, реализация, эксперименты, анализ результатов, повторная формулировка.
Такие системы смогут создавать собственные теории, например:
"в каких условиях attention лучше SSM?",
"какие архитектурные блоки универсальны?",
и даже новые loss-функции или задачи.
Это открывает дорогу к саморазвивающемуся ИИ, способному не просто обучаться, но и изобретать.
🌐 4. Диверсификация архитектур
Благодаря количественному и качественному отбору, можно находить нестандартные, неформализованные решения.
Это даёт шанс на:
Новые типы архитектур вне Transformers;
Специализированные архитектуры под конкретные задачи (например, reasoning, vision, RL);
Архитектуры с лучшим отношением «качество/ресурсы» для edge-устройств.
🎲 Это может ускорить эволюцию архитектур так же, как GPT ускорил NLP.
🏭 5. Индустриализация R&D нейросетей
Вместо небольших лабораторий с идеями — инфраструктура с GPU и ИИ‑исследователем, работающим 24/7.
R&D превращается в потоковый процесс, с контролем качества, логами, архивами и автоматическими публикациями.
В этом контексте, человеческий исследователь становится менеджером или критиком, но не автором архитектуры.
⚙️ Возможно, через 2–3 года:
публикации с архитектурами будут почти всегда результатами ИИ‑поиска;
GitHub будет заполняться не написанным руками кодом, а сгенерированным R&D‑системами;
откроются «ИИ‑лаборатории» без людей, где ИИ изобретает ИИ.
🧭 Заключение: ИИ, создающий ИИ
Эта работа делает очень важный сдвиг: если раньше модель была лишь «учеником», то теперь ИИ становится научным работником, способным:
делать открытия,
формировать теории,
анализировать данные,
и предлагать новое лучшее решение.
Это не просто ускорение науки — это изменение её субъекта. Впереди: конкуренция между ИИ‑исследователями, коллективная научная работа между человеком и ИИ, и даже наука без людей.
Ну наоптимизировали они агентами считанные проценты в какой-то бесполезной архитектуре, и что? Так же как и с японцами было, когда они сделали "эволюционирующую систему написания кода", которая работала, но что-то лучшее чем открытые аналоги курсора даже близко и не написала.
Думал о такой штуке. На сколько я понимаю это ближе к "универсальной архитектуре" подходящей для любых задач, чем к тому самому моменту, когда нейронки будут улучшать сами себя, который мы ждем. Т.е. ты формируешь задачу, а агент ищет для нее оптимальную архитектуру. Правда я думал об этом в ином ключе, было бы идеально сделать именно универсальную архитектуру, у которой лосс всегда сходится вне заваисимости от датасета и обработки входных данных, без нормализации, токенизации и прочих хаков. Это был бы святой грааль машин лернинга.
Смотрите, все мы знаем, что если модели в промпте показать несколько примеров решения похожих задач, то она может легко подхватить паттерн, и качество ответов станет лучше. При этом веса модели, естественно, не меняются.
Это называется in‑context learning (ICL), но вот вам fun fact: никто до сих пор до конца не знает, почему это работает, и как трансформер это делает.
И вот в этой статье авторы предлагают почти революционную гипотезу – что на самом деле веса меняются, просто иначе, чем мы привыкли.
То есть на самом деле внутри блока трансформера происходит нечто похожее на файнтюнинг, только не через градиенты, а за счёт самой механики self‑attention и MLP. Идея сводится к следующему:
1. Контекст порождает локальные изменения активаций, и когда вы добавляете примеры в промпт, self‑attention пересчитывает эмбеддинги токенов так, что после этого они зависят от всего контекста. Разницу между «чистыми» активациями и активациями с учётом примеров можно назвать контекстным сдвигом. Это все известные вещи.
2. А вот дальше зарыта собака: оказывается, MLP превращает этот контекстный сдвиг в ранг‑1 обновление весов. Иначе говоря, если посмотреть на первый линейный слой MLP (матрицу W), то влияние дополнительных примеров эквивалентно тому, что эту самую матрицу дополняют маленькой поправкой ранга1.
Причем эта поправка описывается достаточно простой формулой. То есть если мы берем оригинальные веса и вручную добавляем к ним эту поправку, модель без контекста выдаст то же самое, что и оригинал с контекстом. Но всё это происходит во время инференса, без обратного прохода и без изменения глобальных моделей параметров.
Получается, Google буквально дают ключ к возможному обучению без градиентного спуска. Если такие ранг‑1 апдейты научиться усиливать или контролировать, это может быть началом абсолютно новых архитектур.
Почитать полностью можно тут -> arxiv.org/abs/2507.16003
>>1289604
Блять, всё по Леопольду Ашенбреннеру, прям один в один. Пидорас оказался ебанным пророком, а ведь сколько ебанатов глумились над его эссе...
>>1289597
Вспоминаем классику
>Это называется in‑context learning (ICL), но вот вам fun fact: никто до сих пор до конца не знает, почему это работает, и как трансформер это делает.
Что за шизофрения. Промт добавляется к весам модели. Т.е. по факту веса меняются на весь промт.