Набыдлокодил простенький CLI для llama-server на Haskell: https://github.com/l29ah/llama-cpp-haskell
Позволяет использовать LLM в скриптах без необходимости каждый раз её вгружать в память видюхи, как с llama-cli, и без страшного не поддающегося аудиту блоата aichat с форками.
Не знаю пока буду ли tool calling в ближайшем будущем прикручивать: эксперименты с openhands показывают что код проще самому написать как надо, чем итеративно проверять и описывать нейронке что она делает не так, а не-программерских юзкейсов для него у меня пока нету.
Qwen3-235B-A22B-2507
Привет! Вот короткая история про Ляха и Комара:
Лях крутил педали по грунтовой дорожке, ветер свистел в ушах, а за спиной, как моторчик, жужжал Комар. Тот гнал на своём стареньком велосипеде с ржавой цепью, но с таким энтузиазмом, будто гнался за летним ураганом.
— Эй, Лях! — кричал он, — не отрывайся! У меня шина уже третий раз шипит, как змея!
— Тогда подкачай, а не жужжи! — отмахнулся Лях, не сбавляя хода. Они мчались вдоль леса, объезжая лужи, прыгая через брёвна и смеясь, как два шальных ветра. На повороте у старой мельницы Комар всё-таки влетел в куст ежевики, но вывалился оттуда с ухмылкой и велосипедом наперевес.
— Лови момент, а не кусты! — закричал Лях, протягивая руку. Комар схватился, вскочил на седло, и они помчались дальше — к закату, к следующему приключению, к тому самому чувству, когда ты свободен, как ветер, и друг рядом — как второй комплект педалей в этой жизни.
Подъехала новая MoE LLM с открытыми весами от китайцев, сравнимая с лидерами индустрии по заявленным способностям: https://z.ai/blog/glm-4.5
Решил накатить у себя на ноуте младшую, 106B-версию, благо 64ГБ DDR5 позволяют разойтись.
Скачал хвалёные (https://unsloth.ai/cgi/image/5shotmmlu_nzHlUsndoWs4tHh86xD2L.png?width=3840&quality=80&format=auto) кванты от Unsloth: https://huggingface.co/unsloth/GLM-4.5-Air-GGUF/resolve/main/GLM-4.5-Air-UD-Q2_K_XL.gguf
Попытался запустить. llama.cpp говорит такое не поддерживается, пофиг, обновляем, поддерживается, загружается, не, не загружается, оперативы не хватает. В Linux встроенной amdgpu нельзя выделять больше половины имеющейся физической памяти. Отыскиваю на форуме пользователей Framework совет воспользоваться опцией ядра amdgpu.gttsize, пробую: при использовании большой LLM всё начинает тормозить как пиздец, включая саму LLM.
В dmesg нахожу рекомендацию не юзать amdgpu.gttsize, а юзать ttm.pages_limit. Гуглю, по результатам запихиваю в опции ядра ttm.pages_limit=15895262 ttm.page_pool_size=15895262, и после перезагрузки всё работает прекрасно. Нейронка выдаёт на недорогом Framework 13 аж 9 токенов в секунду. Ну ладно.
Не знаю пока правда, зачем мне такая дохуя умная нейронка: кажется что с саммаризацией мелкие шустрые справляются хорошо, а специализированные быстрее и может даже лучше работают для задач типа кодогенерации или биомедицинских рекомендаций. Математику, говорят, хорошо умеет, хз. В целом конечно радует, что стали клепать классные MoE LLM, для которых не нужна золотая VRAM, а достаточно иметь дохуя обычной, вечно дешевеющей DDR5.
* удвоил производительность Qwen3-30B-A3B до 24 токенов в секунду сделав echo auto > /sys/class/drm/card0/device/power_dpm_force_performance_level
* пиздос power management амд в прыщах это цирк костылей срущих друг на друга, нужно разбираться
* хотел идентифицировать костыль который всрал туда low, в итоге идентифицировал что это был я пару недель назад пытавшийся сделать чтобы амд не жрало // не помогло
Завёл на Framework 13 LLM «Qwen3 30B A3B» посредством llama.cpp. Очень хорошо работает, спасибо MoE. Q4_K_M выдаёт 12 токенов в секунду на iGPU через Vulkan. Наговнякал саммаризатор транскриптов видосов с ютуба:
#!/bin/sh
exec llama-cli -m ~llama/llama.cpp/models/Qwen3-30B-A3B/Qwen3-30B-A3B.i1-Q4_K_M.gguf -n -1 -t 6 --ctx-size 32768 -ngl 666 --device Vulkan0 --top-p 0.95 --top-k 20 --min-p 0 --temp 0.6 -sys 'Summarize the provided video transcript in a few sentences.' --single-turn --prompt "$(yt-text "$@")" --no-display-prompt 2> /dev/null | sed -ne '0,/<\/think>/d' -e p
Возможно думалку вообще стоит отключить, поскольку думать там особо нечего.
Также попробовал Qwen3 0.6B, с саммаризацией справляется плохо, и вообще не очень понятно, на что такое годится, но зато 50+ токенов в секунду строчит.
вставил в ноут (i7-8550U) вместо 1x16ГБ 2x8ГБ (2400MT/s), позапускал llama.cpp, позамерял:
SMT как не давал никакой пользы так и не даёт
скорость двухбитовых нейронок практически не изменилась
четырёхбитные нейронки стали в полтора раза быстрее
восьмибитные стали почти вдвое быстрее
https://huggingface.co/spaces/openlifescienceai/open_medical_llm_leaderboard
Где скачать jiviai medX? Официальный NewMes чёт тоже куда-то пропал, и автор вообще хз кто, но нашёлся зато https://huggingface.co/mradermacher/NewMes-v15-GGUF
Ну и не хватает сравнения с более свежими закрытыми моделями :[
https://openai.com/index/introducing-operator/ сможет ли LLM справиться с современным вебом?
Затестировал Qwen2-VL-7B-Instruct-Q5_K_M.gguf. Удивительно неплохо работает на моём старом ноутбуке. За несколько минут генерирует описания картинок неплохие. Буду наверное делать на его основе индексер картинок для домашней коллекции. Примеры описаний мемосов:
# https://0x0.st/8rDY.jpg
The image is a black-and-white sketch of a person walking with a backpack. The person is holding a bouquet of flowers in one hand. The text in the image is in Cyrillic script and reads "ЗНАНИЯ ХУЯНИЯ."
# https://litter.catbox.moe/2vryfy.jpg
The image depicts a group of swans swimming in a body of water that appears to be covered in green algae. The water is murky, and the swans are of varying colors, with some appearing white and others having brownish hues. The text in the image is in Russian and is scattered throughout the image, providing commentary or descriptions related to the scene. The text includes phrases such as "Кто там первый, а?" (Who's first there?), "Вы тоже чувствуете некую вторичность происходящего?" (Do you also feel a certain secondary nature of what is happening?), "ХЗ может симулякр или постмодерн" (I don't know if it's a simulation or postmodernism), and "Оказывается, что это метамем и смешно не будет" (It turns out that it's a meta-meme and it won't be funny). The overall tone of the text seems to be reflective and somewhat philosophical.
# https://0x0.st/8rDh.jpg
The image depicts a group of children balancing various objects on their heads. The text in the image is in Russian and provides a message about the importance of good posture and balance. Here is a translation of the text:
---
**"Хорошая осанка полезна для вашей спины. Доктора знают, насколько важно её правильное формирование. Вы можете начать с классического упражнения сохранения равновесия при помощи банки с кислотой на вашей голове."
Translation: "Good posture is beneficial for your back. Doctors know how important it is to properly form it. You can start with the classic exercise of maintaining balance using a jar of acid on your head."
---
The image is likely an educational or motivational poster, emphasizing the importance of good posture and balance for children.
Мне кажется или CLI llama.cpp разучился вытирать реверс-промпт из ChatML-ответов?
$ llama-cli -m ./models/openhermes-2.5-neural-chat-7b-v3-1-7b/ggml-model-q5_k_m.gguf -n -1 -t 4 --color -f prompts/chat-with-chatml.txt --prompt-cache ./models/openhermes-2.5-neural-chat-7b-v3-1-7b/ggml-model-q5_k_m_chat-with-chatml.txt.prompt --ctx-size 2048 -cnv --in-prefix '<|im_start|>user\n' --in-suffix '<|im_end|>\n<|im_start|>assistant\n' --reverse-prompt '<|im_end|>' --chat-template chatml
...
== Running in interactive mode. ==
- Press Ctrl+C to interject at any time.
- Press Return to return control to the AI.
- To return control without starting a new line, end your input with '/'.
- If you want to submit another line, end your input with '\'.
<|im_start|>system
You are a helpful assistant<|im_end|>
<|im_start|>user
Hello<|im_end|>
<|im_start|>assistant
Hi there<|im_end|>
<|im_start|>user
Who are you<|im_end|>
<|im_start|>assistant
I am an assistant<|im_end|>
> Howdy?
Hello again<|im_end|>
>
Вот чего он этот "<|im_end|>" мне показывает?!
https://bbycroft.net/llm - визуализация о том как работает GPT
Цоперайт © 2010-2016 @stiletto.