Подъехала новая MoE LLM с открытыми весами от китайцев, сравнимая с лидерами индустрии по заявленным способностям: https://z.ai/blog/glm-4.5 Решил накатить у себя на ноуте младшую, 106B-версию, благо 64ГБ DDR5 позволяют разойтись. Скачал хвалёные (https://unsloth.ai/cgi/image/5shotmmlu_nzHlUsndoWs4tHh86xD2L.png?width=3840&quality=80&format=auto) кванты от Unsloth: https://huggingface.co/unsloth/GLM-4.5-Air-GGUF/resolve/main/GLM-4.5-Air-UD-Q2_K_XL.gguf Попытался запустить. llama.cpp говорит такое не поддерживается, пофиг, обновляем, поддерживается, загружается, не, не загружается, оперативы не хватает. В Linux встроенной amdgpu нельзя выделять больше половины имеющейся физической памяти. Отыскиваю на форуме пользователей Framework совет воспользоваться опцией ядра amdgpu.gttsize, пробую: при использовании большой LLM всё начинает тормозить как пиздец, включая саму LLM. В dmesg нахожу рекомендацию не юзать amdgpu.gttsize, а юзать ttm.pages_limit. Гуглю, по результатам запихиваю в опции ядра ttm.pages_limit=15895262 ttm.page_pool_size=15895262, и после перезагрузки всё работает прекрасно. Нейронка выдаёт на недорогом Framework 13 аж 9 токенов в секунду. Ну ладно. Не знаю пока правда, зачем мне такая дохуя умная нейронка: кажется что с саммаризацией мелкие шустрые справляются хорошо, а специализированные быстрее и может даже лучше работают для задач типа кодогенерации или биомедицинских рекомендаций. Математику, говорят, хорошо умеет, хз. В целом конечно радует, что стали клепать классные MoE LLM, для которых не нужна золотая VRAM, а достаточно иметь дохуя обычной, вечно дешевеющей DDR5.

* удвоил производительность Qwen3-30B-A3B до 24 токенов в секунду сделав echo auto > /sys/class/drm/card0/device/power_dpm_force_performance_level * пиздос power management амд в прыщах это цирк костылей срущих друг на друга, нужно разбираться * хотел идентифицировать костыль который всрал туда low, в итоге идентифицировал что это был я пару недель назад пытавшийся сделать чтобы амд не жрало // не помогло

В полку дыр спекулятивного исполнения прибыло: https://lock.cmpxchg8b.com/zenbleed.html

Пытаюсь завести AMD Radeon HD7870 с драйвером xf86-video-radeon, чот не выходит. dmesg после modprobe radeon: https://bpaste.net/show/f489b98ce7f5 лог иксов: https://bpaste.net/show/86f6ad286bf5 xorg.conf: https://bpaste.net/show/3bac6facd6c7 ‰ lspci | grep VGA 00:02.0 VGA compatible controller: Intel Corporation Xeon E3-1200 v3/4th Gen Core Processor Integrated Graphics Controller (rev 06) 01:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Pitcairn XT [Radeon HD 7870 GHz Edition] ЧЯДНТ?