Итт мы собираем серверы для целей, которые не можем сформулировать. Поднимаем один сервис ради интереса, второй ради удобства, третий - потому что без него уже нельзя. Спорим про ZFS, мини-пк, ARM и корпуса. Объясняем ньюфагам, что ЕСС - наеб гоев на деньги(иногда нет), а самый надежный бэкап тот, что лежит под кроватью. Мастерим стойки из говна и палок, запихиваем зион в ящик стола, собираем рейд из 20 HDD по 120Гб. Покупаем списанные DELL и HP, обшиваем шумкой, меняем вентиляторы и все равно спим под гул вентиляторов.
В свете последних событий активно переходим на железо с помойки складских запасов Xi. Твёрдый камень, много нить, сильная работа. Удар!
Краткий FAQ
В. Что купить? О. Для 90% хотелок хватит китайской мини-пекарни на N100 N150 и т.п.(типа Beelink и аналоги): тихо, дёшево, экономично. Если уверен, что “точно не хватит” задавай вопрос нормально.
В.Серверное железо или обычное? О. Серверное часто = громко+горячо+дорого, рассчитано на стойку и помещение без людей. 1U - почти всегда адская турбина. 2U - всё ещё шумно. 3U+ - можно терпеть по шуму, но они тяжёлые, потому что металл настоящий (если не держал в руках ничего тяжелее хуя будет трудно). Туда теоретически можно наколхозить нормальный охлад и будет тише. Часто есть вендор-локи: капризность к PCIe/дискам/прошивкам “не родным”. Главный плюс серверного железа: IPMI, потенциальная надежность, доступность на б/у рынке/али. В остальном - особой разницы нет. Ходят мифы, что для серверного выбирают лучшие чипы, выше качество пайки/комплектующих. Пруфов, конечно же, нет. В общем случае бери обычное железо и не делай себе мозги.
В. Все таки хочу брендированный сервер! О. Supermicro - база. Много совместимости с десктопным миром (ATX питание, обычные кулеры/форм-факторы), можно собрать “сервер” в обычном корпусе. Dell - контора пидорасов. HP - контора пидорасов. Fujitsu - для наркоманов. Oracle/Sun/Cisco/IBM - даже не трогай. Не бери древнее говно, типа dell старше 13го поколения, супермикру старее 11го, HP вообще не бери (но если хочется, то не старше 9го поколения).
В. Хочу 8+ дисков/скачать весь интернет О. Нужен HBA-контроллер (или RAID-контроллер, который умеет HBA mode, чтобы диски отдавались ОС “как есть”). Покупаешь -> втыкаешь в пси-слот -> подключаешь диски -> скачиваешь весь интернет.
В. SFF/LFF - что за буквы? О. Это придумали, чтобы ты путался. SFF = 2.5" LFF = 3.5"
В. 10Гбит сеть хочу О. Энжой. На али/авито есть куча карт. Мелланокс, solarflare - база. Остальное так себе. Интел не трогай - контора пидорасов.
В. Оптика или медь? О. Медь проще, оптика доступнее. Для дома лучше выбрать медь. Но придется докупить адаптеры SFP+ -> RJ45. Либо же сразу карту с Rj45, но нормальные подобные карты по вменяемой цене еще редкость.
В. Корпуса 3–4U под ATX где взять? О. Часто всплывают Etegro и Supermicro. Ну и иди на авито.
В. Корпус не стоечный какой взять? О. Jonsbo NAS серия. Куча аналогов на али по цене 2х кг винограда.
В. Посоветуйте шкаф О. Ебанутый?
В. Очень нужен шкаф! О. Ок. Критичный момент: глубина. 60 см - это обычно под сетевое оборудование. Под серверы смотри от ~100 см и глубже.
В. SAS-диски как приколхозить? О. Никак, кроме как через контроллер. Самое массовое - LSI по названию чипа: LSI 2008 - очень распространён, но уже старый LSI 3008 - предпочтительнее “на сейчас”
В. Какая разница между RAID и HBA? О. Принципиальная. RAID карты будут отдавать тебе в систему сразу массив из дисков. Если отвалится карта - ты потеряешь доступ к массиву. Для восстановления нужна такая же карта. HBA - прямой проброс дисков в систему. RAID карты могут иметь режим HBA, а могут не иметь.
В. А зачем RAID контроллеры вообще? О. Для ДЦ. Если у тебя огромный поток IOPS, контроллеры снимают нагрузку с ЦП. Для хоумлабы не нужны.
В. Xeon/хуананы норм? О. Норм. Но могут внезапно умереть. Двухголовые монстры менее предсказуемые, чем одноголовые. Бери на свой страх и риск.
В. ARM О. Хуярм. Нет задач. Лучше купи N100.
В. База по UPS какая? О. Подключается по usb/сети к твоему серверу. NUTS для линуксов. За винду никто не знает, тут только натуралы. Важна открытость драйверов производителя того или иного UPS. См. на сайте NUTS список. Топ - APC.
В. Без упсы норм будет? О. Не очень.
В. ZFS/XFS/ext4 ? О. Зависит от задач. ZFS норм, не слушай инвалидов. ext4 - рабочая лошадка. XFS - непонятно зачем. btrfs - для зумеров.
>>7634015 30W на уровне 6400T, так себе победы, 8400T и дальше те же 30W в тех же задачах. Но дешево, это не отнять, за 6-8к просто подарок, раньше бы только б/у баребон или одноплатник на ARM столько стоили.
>>7634403 Так потребление процессора не равно потреблению всей системы (процессор, память, сеть, ссд, ещё внезапно вентилятор тоже жрёт, плюс потери на питальниках и проводниках), так что система в которой процессор в стоке жрёт 6 ватт может жрать 21 ватт.
6 ватт проц, 2 ватта вентилятор, память 3 ватта, сетевуха 3 ватта, проводная сетевуха 3 ватта, м21 ссд на 512 тоже 3 ватта, уже 20 ватт, это без учёта потерь, а если потребление разлочено и память в разгоне то и больше.
>>7635041 То что висит на хба пик1. Планы сейчас загнать и хранилку и компьют на одну тачку на lga4189, и собрать вторую тачку на тех же камнях как гпу мл риг. Все рдшки продать, 40гбе собрать между мл и стором.
Решил так сделать т.к. тдп уже не шуточный если мл риг добавить + подвернулись 4189 за копейки. Думаю вот сливать третью сборку или оставить
Если в логах биос ошибки ECC на определенный модуль, то можно с уверенностью говорить что пизда именно модулю, и плохой контакт например тут не при чем?
>>7635420 Махни модули по соседству местами. Если ошибки передислоцируются в другой слот, то да, модуль откисает. Если нет, то либо слот говна поел, либо процу поплохело.
>>7637897 1. На 2х, был на 3х 2. Наелся джокера, если без многих операторов ещё можно жить, то вот без вики, серт менеджера и игресса шатал того труба.
Если тебе норм на докере, то никто тебя с него не гонит
>>7637905 >без вики, серт менеджера и игресса шатал того труба. Да, дома с certbot и nginx жизни совсем нет, надо обязательно кубер ставить для 2.5 сервисов и одного вайлдкард сертификата.
>>7638734 Ага. И платно там необязательный функционал распространяется. По типу "показать, где оперативка бо-бо" чуть ли не чипа или всякие расширенные тестовые паттерны.
>>7638749 > По типу "показать, где оперативка бо-бо" чуть ли не чипа Ну знаешь, мне было бы интересно, какую плашку выдернуть чтобы дальше сидеть дрочить на пони без рандомных вылетов
>>7635072 По итогу кульки под 4189 не влезли, жду когда придут 4ю кулсерверы. Пока воткнул 2011в4 (сейчас 180 в айдле с розетки). Думаю финальным сетапом себе все нужды закрою.
За одно обновил софт у хба, а то до этого он отваливался если втыкать диски в нижний ряд экспандера.
>>7632533 (OP) >>Серверотред Для партии Единая Россия отличный замысел есть. Сервероград это отличное имя для городка занимающегося серверными айти-технологиями.
>>7632533 (OP) Как сделать личную имиджборду из своих личных фоток и видео что б можно было тэгать и иметь доступ откуда хочешь? Или это неправильный тред?
>>7641098 Ну лично я состряпал свой booruподобный каталогизатор маняме и фильмов т.к. известные готовые решения - это какой то кал. Можно задавать теги и искать по тегам. Автоматическое создание скринов по заданному интервалу, запуск видео по таймингу в скринах, поиск маняме\фильма по картинке, система поиска и, или, не и поиск по описанию. Поиск продукта по сайтам, загрузка инфы по продуктам с сайтов в каталогизатор. Хз, может ещё что нить добавлю. Ну и в принципе ничего сложного его под картинки переделать.
Подскажите какие и где купить разъемы для езернета. У меня вчера один комп отвалился, начал искать проблему - у штекера контакты позеленели. Стал остальные смотреть - те что шли в комплекте с клещами как новые, а те что заказал отдельно, которые уже обжаты - зеленые, новые - черные. И еще оказалось что у вторых контакты гораздо тоньше, они в штекере из-за этого наперекос многие стоят... Хз где еще спросить. Выж для серверов патчи делаете поди
Закину и сюда тоже вопрос, а то в корпусниках по ходу одни сычевальни и обсуждают.
Чики двощ
Я тут не с сычевальне-вопросом, а именно с корпусным. Посоветуй корпус, в котором можно разместить два БП (а лучше 3) и 4 (а лучше 5) видях поколения 30+, т.е. двуслотовых по толщине, и чтобы при этом они не сидели в стак бутербродом.
Можно серверный (так даже лучше, пожалуй) в стойку. Только чтоб не за дохулиард. Рублей 20-30, можно бэу.
Колхоз с дрелью и болгаркой не предлагайте только плес, у меня под это дело есть Lian Li XL EVO, если совсем отчаюсь что-то найти, то его буду кромсать.
Всё оказалось намного проще. Полез гуглить эти китайские иероглифы, вышел на таобао, оттуда пошёл на алик поискать подобное, там нашёл кейсы для майнинга, и по аналогии потом на озоне нашёл, дешёво и сердито, самое то в серверную пхать.
Спасибо так что, в правильное русло меня направил.
Кто какие llm-ки гоняет? Пробовал (+- все модели 30-32б q4..q8):
дипсик-р1 - ну, с пивом потянет. В целом нормально, но хуже гпт.
Квен 3/2,5 вообще не зашёл, на примере разборов тех же логов - постоянно делал ложные выводы и давал советы уровня "попробуйте включить и выключить"
Квен ВЛ - норм для картинок. Показался лучше, чем квен выше. Но хуже дипсика.
Гпт-осс 20б - имба, работает четко, замечает детали. В тех же примерах разбора логов указывает на верную причину, практически, в первом предложении.
Гемма - немного лучше дипсика.
Остальные мистрали, долфины, лламы - прям совсем не раздупляют происходящее. Гоняю на rtx 3090ti, на выходных старую карту в пару поставлю, если время будет, и попробую через llama.cpp TP сделать. Но, как будто, от того, что станет 40гб врам особо разницы не будет, если модель изначально странно натренирована.
>>7645071 Отнюдь. Для мелких задач, типа "почему оно упало, вот лог, дай теории" и "чекни синтаксис по братски/напомни как этой хернёй пользоваться" годятся очень даже. Понятно, что до уровня онлайн гтп им далеко. Но они уже неплохо себя показывают. Во всяком случае, ещё год-полтора назад все было сильно хуже и действительно, для каких-то сколь-нибудь прикладных задач их использовать было так себе.
>>7645087 Из недавнего, gpt-oss:120b не смог подсказать почему в maxscale 90% чтения падало на одну ноду, сказал "у тебя железо плохое". Гуглаг сразу выдал, что смотри synced в сплиттере. И подобное почти каждый раз.
>>7645095 >>7645094 Очень странно, кстати, многим ии помогает, упрощает работу, да, совершает ошибки, но в целом пользы больше, чем не пользы, если включать голову. Но только на дваче и Хабре ии ни на что не способен и пользоваться им запрещено/моветон/бесполезно/етц. Наталкивает на некоторые мысли, кек.
>>7645644 совсем далёкие от технологий люди хрукают "да хуйня этот ваш ИИ и никого он не заменит" не очень умные операторы ПК хрукают "да этот продвинутый Т9 не может с одного запроса написать сайт, поднять его на геораспределённом кластере, подключить оплату СБП, криптой, иностранными картами и пейпалом, и нагнать на него трафика с соцсетей, хуйня этот ваш ИИ" люди поумнее вкатываются в нейросети и машоб кто ещё поумнее вкатываются в нейросети и машоб и попутно распространяют везде хуцпу "да хуйня этот ваш ИИ и никого он не заменит" самые умные уже вкатились в сферу ИИ и распространяют хуцпу "да хуйня этот ваш ИИ и никого он не заменит"
>>7645838 > а какой сегодня ты? Что-то между первым и вторым. За пределами генерации фап-картинок это абсолютно бесполезная, а местами и даже вредная система, которая будет врать о том чего не знает, а о том что знает давать вредные советы ибо даже при обучении не в токсичной помойке, а в отфильтрованной базе знаний, оно не понимает что оно читает, только подсовывает похожий текст. Для самых дебильных должностей это спасение, когда вообще ни в зуб ногой, но нужны ли вообще такие люди в отделе, вопрос риторический. Обучаться с её помощью чему-нибудь это всё равно что зайти в специфичный тред на сосаче и постигать мудрость через шапку, а потом спустя три года осознать что датацентр в толчке это не промышленная норма.
>>7646312 С другой стороны, при изначально правильной интуиции оператора (и сл-но правильных\близких словах в запросе) можно найти, что нужно Если использовать не для обучения и не как источник истины, а как поиск направлений/вариантов (которые пойдешь копать и валидировать своей головой) Правда, для этого все еще есть поисковики, и поэтому на них и остаюсь (и ллм не трогаю) мимо другой
>>7646354 Ну типа того. Только если ты уже хочешь оформить настолько специфичный запрос, это значит что надобность в нейронке в этой ситуации давно пройдена и пора закапываться в форумные посты из 2009. И если нейронка пытается сгенерировать пасту с пародией на стековерфлоу, то почему мне просто не открыть эту тему на стековерфлоу через обычный деревянный поисковик. Дайджест "чё там на опеннете" составлялся автоматически все эти последние 30 лет простынёй из ифов, щас бы электричество жечь на забивание гвоздей микроскопом.
Гоняю gpt-oss:120b дома, для себя и для жены. По ощущениям примерно как ChatGPT 4. Вполне сновно для наших рутинных всяких задач.И ничего не утекает наружу, а то раньше задалбывался из запроса в публичный GPT вымарывать пароли\хэши\названия компаний и т.д.
>>7646605 Ну реально, простыня из ифов хотя бы по базе данных могла просто и банально что-то найти, или не найти и так и сказать, или предложить что-то похожее если есть железо ещё пару тысяч более общих запросов сделать параллельно на случай опечаток. Сетка, которую учили генерить новые данные по паттерну, пытается сгенерить старые, в итоге в любой непонятной ситуации придуривается как четырёхлетний ребёнок которого ты поймал с рукой в пакете конфет, начинается паника и отчаянные попытки высрать хоть что-то убедительное, как будто ему за это ремня дадут.
>>7646194 >>7646312 >>7646663 Вы прямо подтверждаете второй пост. На дваче и Хабре нейронки бесполезны, лол. Ощущение, будто нейронки вы в последний раз трогали одной рукой, лет эдак 5 назад. С бесконечных галлюцинаций вообще кекнул. Двачеры не осиливают промпты и нормальные формулировки для своих запросов, лол. Алсо, опять же, я не говорю, что вас нейронка заменит, я говорю про то, что это удобный и мощный инструмент, к которому стоит так и относиться. Антон выше правильно писал про валидацию своей головой.
>>7646685 Обычные формулировки, ответ на которые может и не быть в исходной базе. Я хочу сразу знать что его там не будет, а не простыню в три экрана с извинениями и попытками что-то выдумать по аналогии. Мем с эмодзи морского конька это так, одна из наиболее смешных вариаций по сравнению с будничным враньём.
Базару ноль, инструмент мощный, но у ГЕНЕРАТИВНОГО ии спрашивать уже существующие данные это, повторюсь, забивание гвоздей микроскопом. Мне проще головой провалидировать пост на форуме чем выжимку новоязного мусора, если честно. Или сразу в вики/ман влезть.
>>7646700 >мне проще на форуме Ты разве не сталкивался с ебаной документацией в IT? Напомню, она чуть более, чем на 80% ебаная. Настолько, что чтобы понять, что у условной утилиты/либы/функции из либы есть определенные флаги/условия/не очевидное поведение/етц нужно заглядывать в исходный код. Или, уходить на 12 страницу поиска в Гугле, на форум красноглазых/кодеров/немцев, где будет топик за 2008 год с тем, что ты хочешь, но последнее сообщение в нем будет "всем спасибо, проблему решил, топик можно закрывать". И в таком банальном примере, генеративный ии даст тебе ответ либо сразу, либо укажет, где искать в исходниках. Да, может не совсем точно указать, но сузит воронку поиска значительно. И это только один банальный пример.
>>7646714 Ну я не особо взаимодействую с продуктами, у которых нет отдельного штата шнырей которые инструкции пишут. У какого-нибудь атлассиана или хашикорпа вики вполне себе адекватная, особенно радует то что можно багофичи конкретных версий посмотреть в разрезе одной и той же статьи, а для всякой ебатории и костылей с башевыми вставками можно и на форум заглянуть. С виндой больше не работаю, тьфу-тьфу, на ней все эти вопросы без ответа как раз и составляли те 80 процентов для меня.
>>7646729 Про Винду не говорим, там вообще пиздец. Что разработка под нее, что админство, что она сама по себе. Честно сказать, не понимаю, по какой такой причине ее ещё используют для чего-то, кроме игорей.
Накатил proxmox, Ubuntu, поставил туда Samba, расшерил папки с виндой(у меня медиа сервер), вывел ярлык на рабочий стол. Периодически, когда захожу туда выходит ошибка, что сетевой путь не обнаружен. Через минуту при заходе заново всё работает. При этом с ТВ такой проблемы ни разу не было. В какую сторону копать, чтобы решить эту проблему? Как выявить её?
>>7647181 Скорее всего приколы винды. Она даже со своей самбой не всегда нормально работает. Если на ТВ все ок, то наверняка виндовс-приколы. Если надоедает - попробуй нфс, мб там оно лучше стало. На других виндовс-устройствах такая же шляпа? >как выявить Посмотри логи самбы на убунте, там мб будет какая-то зацепка. Например, что соединение разорвалось или типа того.
>>7643277 Примерно 80 ватт на диски уходит. Дифф на графике это performance и powersave режимы цпу. У паверсейва вижу один минус пока - iperf3 в однопотоке на qsfp+ 14-16гбит/с только, если перф режим включать то 25гбит получается (в 2 потока 35)
На самом деле если сравнивать с сборкой на 4189, то гэп в жоре копеечный при общей производительности в иксы
>>7647918 Ну мишки много у кого есть и та черная депошка тоже на двачах светилась у нескольких анонов. Так звёзды сошлись что мне в толкан захотелось мл риг и удалось везде подмутить странное железо по ценам пачки кириешек
>>7647929 Ух бля, завидую. У меня однушка, там в санузел не то что мл риг не поместится, там когда срать садишься, головой о стену опираешься. Удобно, конечно, но хотелось бы площадь побольше...
>>7647944 Вон оно как. Я думал ты успешный господин с трешкой в пределах МКАДа. А ты, оказывается, просто успешный господин с мл ригом. Тян/жена на шум не бухтят?
>>7648305 1. Какие отношения у того кто собирает железо по китайским помойкам? 2. Что с ригом получится пока хз, тот 4ю который стоит в ванной не слышно за закрытой дверью. (охлад, конечно, заменён)
>>7648347 Какой же кукож этот ваш текстовый ролеплей, похуй на цветных ослов даже, в самом глубинном концепте что-то настолько сверхъестественно тупое, что я не могу осознать кому вообще это надо. Дндшники-глубинарии, блять.
>>7648313 Да ладно, тянам нравятся увлечённые. Хотя, без тян проще в некотором смысле. Тем более, с шумящим железом. О, ну нормас. Интересно будет, что у тебя в результате получится и по сборке и по суммарному потреблению и по инференсу. Отпишись, что ли, как закончишь сборочку. И фоточек поболее, шишка одобряет.
>>7648465 Ты цены на флешки видел? Сейчас вот так за 1тб: 1-1,5к хдд с авито 3-4к хдд с магазина 5-7к ссд с авито 10-20к ссд с магазина 10-15к микросд с магазина или авито Ну ладно. К чему я это писал-то. Не знаю уже. Цены ебанутые.
Что за говно-сервера там у Абу? Он к нам в тренд не может за консультацией придти? Откис контроллер. Втф? В нормальном северном железе у тебя есть резервный контроллер. Если нет нормального железа - не используй контроллер блять. Современные процы адекватно в софтовом рейде работают. Если там двухголовый монстр - вообще проблем нет. И что за проблема с почившим диском? Рейд блять, для того и создан, чтобы отвал дисков не ломал систему. У него что там, страйп на хдд, блять? Жесть. В шапку надо, как антипаттерн построения сервера.
>>7648705 Да наверно контроллер погибать решил и в один из дисков хуйни насрал. Бывает. Двач, видимо, не настолько критичный к даунтайму сайтик чтобы иметь в сервере БД два контроллера, у каждого из которых своя половина зеркала. Ну и база там какре-то mysql производное поделие, наверн, и бэкапится дампами, а не непрерывным потоком, как взрослые БД.
>>7648705 Сосач это не пейсбук и не крупный мессенджер, эта хуйня просто переехала из подкроватного датацентра в стойку где-то в каморке у джета, но масштабов не поменяла. Вся эта параша в одном нутаниксе поместится, то что к ней клаудфлару подумались подключить это вообще чудо.
>>7648759 Я до сих пор всё в h264 качаю банально потому, что всё остальное из-за экономии на битрейте пережимают в совсем уж кашу. Уж его-то любой динозавр читает.
>>7654667 И тем не менее они суммируются, не кратно, но почти. Тот же qsfp+ (4х10) даёт в сингле 25, в два потока 35. Они же не торчат в системе как разные, это скорее bond balance-rr
>>7654856 >Тот же qsfp+ (4х10) даёт в сингле 25, в два потока 35. Они же не торчат в системе как разные, это скорее bond balance-rr Нет там внутри какого-то баланса между линиями. Это чушь на уровне "ну в rj45 эзернете же пары, между ними балансируется трафик".
У тебя производительности сингл кор не хватает чтобы утилизировать 40гб, отсюда необходимость второго потока.