Загнал на ноутбучной встройке unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q2_K_XL с оффлоадингом эмбеддингов на nvme - долбит нормально, почему-то после тыщи токенов скорость падает примерно вдвое, но даже на пятидесяти тыщах токенов контекста более-менее терпимые 6 токенов инференса в секунду выдаёт, промпт процессинг примерно на порядок быстрее.
"create me a animated svg of a goat riding a tractor into a self contained html" без какого-либо харнесса (и вообще нетривиального промптинга) - https://tinystash.undef.im/il/Uz9FinGoRZvTiSYWok2f2FZbhrhTm74H55sSwDQtBLQ4RLTV6YrjKdbx7Ce5dxz9vcLZ2g2w6u2MFyNqqLmc4s1.html
Каверзные вопросы на логику разгадывает даже с отключенным ризонингом, не исключено впрочем что китайцы их в тренировочные данные засунули. С pi тоже работает, хаскельный код пишет и дебажит на уровне глупого джуна; разумеется проигрывает бесплатным предложениям от nvidia - нетривиальные задачи на ночь надо оставлять или типа того. Ещё я так и не смог разобраться как заприоритизировать что-то в амдшном линуксовом драйвере, так что во время работы нейронки акселерированная графика тормозит.
Чем бы ещё её загрузить?
Попытался поймать GPS на rtlsdr. Купил активную антенну, собрал, обмазался gnss-sdr. Поймал, но результаты примерно как у консумерских девайсов конца прошлого века, мой старый смартфон гораздо лучше работает. Кажется чтобы иметь возможность наловить побольше спутников, промерять ионосферу и обмазаться DGPS с сантиметровой точностью, и всё на СПО, нужна SDR-приставочка за сотню баксов, по крайней мере на текущем уровне развития техники, а модный переделанный приёмник аналогового телевизора для таких целей подходит плохо. Как простой обыватель может получить спутниковое определение позиции с сантиметровой точностью дешевле, впрочем, не ясно.
Сегодня после некоторой агонии померла кнопка D у клавиатуры Framework 13. Почитав официальный форум понял что я не один такой, что общение с официальным саппортом приносит только унижение, и что у некоторых людей даже после замены клавиатуры целиком проблема начинает проявляться вновь спустя некоторое время:
https://community.frame.work/t/d-key-not-working/56451
https://community.frame.work/t/broken-d-key-twice-on-framework-laptop-16/79460
https://www.reddit.com/r/framework/comments/1tlqilm/d_key_not_working/
Пытаюсь разобраться, ничего не выходит, пишу пост для форума Framework со своими наблюдениями.
Обнаруживаю, что не могу залогиниться на форум, и что мыло восстановления пароля не приходит. Пишу им в саппорт об этом и посчу свои приключения с клавой на официальный сабреддит: https://old.reddit.com/r/framework/comments/1us0diu/d_key_is_dead/
Думаю, как добывать клавиатуру. Все легкодоступные страны из которых мне могут подвезти знакомые irl люди (.me, .sr, .kz, .ru, .ua) не обслуживаются фреймворком. Плюс обнаруживается какая-то лютая ненависть к форвардерам: https://linustechtips.com/topic/1530085-framework-and-freight-forwarding-dont-ever-leave-your-country-fw-anon/
Нашёл знакомого в США который может зафорвардить, клавиатуры в официальном магазине относительно недорогие ($19-$49 в зависимости от личного вкуса), так что надеюсь что проблема будет устранена хотя бы на время, а с запасной клавой я смогу уже экспериментировать не боясь всё сломать. Думаю что делать пока у меня нет клавы. Купил USB-клаву, но с ней неудобненько, особенно таскать повсюду.
Друзяшка посоветовал взять kmonad, благодаря которому получилось забить d на нажатие f продолжительностью дольше 100мс. Конфиг kmonad на языке чужих (lisp) и проект чрезвычайно фичастый, но документация вменяемая, в результате получилось такое:
```
(defcfg
input (device-file "/dev/input/by-path/platform-i8042-serio-0-event-kbd")
output (uinput-sink "KMonad output")
fallthrough true
)
(defsrc
f
)
(defalias
my-f (tap-hold-next-release 100 f d)
)
(deflayer default
@my-f
)
```
В целом не сказать что я теперь ненавижу фреймворки, но определённо спокойнее к ним отношусь: скромный ценник не прошёл для них даром. Вот у MNT Reform, к слову, в ноуте полноценная OSHW механическая клавиатура, сломался свич - поменяешь за пять минут, и никакой тряски с нежными ножницами.
Набыдлокодил простенький CLI для llama-server на Haskell: https://github.com/l29ah/llama-cpp-haskell
Позволяет использовать LLM в скриптах без необходимости каждый раз её вгружать в память видюхи, как с llama-cli, и без страшного не поддающегося аудиту блоата aichat с форками.
Не знаю пока буду ли tool calling в ближайшем будущем прикручивать: эксперименты с openhands показывают что код проще самому написать как надо, чем итеративно проверять и описывать нейронке что она делает не так, а не-программерских юзкейсов для него у меня пока нету.
Подъехала новая MoE LLM с открытыми весами от китайцев, сравнимая с лидерами индустрии по заявленным способностям: https://z.ai/blog/glm-4.5
Решил накатить у себя на ноуте младшую, 106B-версию, благо 64ГБ DDR5 позволяют разойтись.
Скачал хвалёные (https://unsloth.ai/cgi/image/5shotmmlu_nzHlUsndoWs4tHh86xD2L.png?width=3840&quality=80&format=auto) кванты от Unsloth: https://huggingface.co/unsloth/GLM-4.5-Air-GGUF/resolve/main/GLM-4.5-Air-UD-Q2_K_XL.gguf
Попытался запустить. llama.cpp говорит такое не поддерживается, пофиг, обновляем, поддерживается, загружается, не, не загружается, оперативы не хватает. В Linux встроенной amdgpu нельзя выделять больше половины имеющейся физической памяти. Отыскиваю на форуме пользователей Framework совет воспользоваться опцией ядра amdgpu.gttsize, пробую: при использовании большой LLM всё начинает тормозить как пиздец, включая саму LLM.
В dmesg нахожу рекомендацию не юзать amdgpu.gttsize, а юзать ttm.pages_limit. Гуглю, по результатам запихиваю в опции ядра ttm.pages_limit=15895262 ttm.page_pool_size=15895262, и после перезагрузки всё работает прекрасно. Нейронка выдаёт на недорогом Framework 13 аж 9 токенов в секунду. Ну ладно.
Не знаю пока правда, зачем мне такая дохуя умная нейронка: кажется что с саммаризацией мелкие шустрые справляются хорошо, а специализированные быстрее и может даже лучше работают для задач типа кодогенерации или биомедицинских рекомендаций. Математику, говорят, хорошо умеет, хз. В целом конечно радует, что стали клепать классные MoE LLM, для которых не нужна золотая VRAM, а достаточно иметь дохуя обычной, вечно дешевеющей DDR5.
* удвоил производительность Qwen3-30B-A3B до 24 токенов в секунду сделав echo auto > /sys/class/drm/card0/device/power_dpm_force_performance_level
* пиздос power management амд в прыщах это цирк костылей срущих друг на друга, нужно разбираться
* хотел идентифицировать костыль который всрал туда low, в итоге идентифицировал что это был я пару недель назад пытавшийся сделать чтобы амд не жрало // не помогло
Изготовил магнитную мешалку с USB PD из 120мм вентилятора из ATX БП, магнита из 3.5" HDD и суперклея: https://tinystash.undef.im/il/52fK5vdjqEktBUWRDDdc97gY81i5ux7HSVu1WDS1WgzngVGVKPugawJWjBebydCWizwUS4vFRK8pQJnodMUN9t5m.jxl
В Черногорию опять пришло лето, 30°+ за бортом в пике, толпы туристов зачем-то прут в этот филиал ада, ну а я сижу под вентилятором, иногда включаю кондей когда не лень окна переводить из режима максимальной вентиляции в режим теплоизоляции, но на улице зело неприятно длительные аэробные тренировки устраивать, ходить в горы тоже мало кто желает нынче.
Задумал сделать холодохранилище через плавление гидрата сульфата натрия. Сходил в магаз, купил самый дешёвый стиральный порошок с брендом самого магаза (есть мнение что он должен состоять из сульфата натрия чуть более чем на половину), замешал с NaCl (на самом деле морской солью) в надежде опустить температуру плавления где-нибудь в район 20 градусов, размешал-растворил что растворилось.
Расчехлил ESP8266 с Tasmota и двумя DS18B20 (вообще поразительно точные термодатчики для своей цены и удобства применения в электронных самоделках), потермоциклил и понял что ничего нигде не плавится и не кристаллизуется (перегиб от того что я убрал жижу с плитки и засунул в холодильник, спайки непонятно от чего но прозреваю баг в Tasmota): https://tinystash.undef.im/il/5fjg5sbuVbM2pMkXPVHgUj8x7ANsqhxggBVUqKXkK6YHBMVqBGfBShRXJdBJkP8ovW295Dj1aUoSGgWsfkkdFF7L.png
Походу ушлые производители стирального порошка нашли какой-то ещё более дешёвый наполнитель. А мне походу нужно будет добывать аккумуляторную кислоту, или что-то типа того, чтобы получить дорогой, но понятный, сульфат натрия.
Скриптец для выковыривания температур из Tasmota и оформления для gnuplot:
#!/bin/bash
while :; do
temps=$(curl -s 'http://192.168.117.62/?m=1' | sed -ne 's#.*Temperature{m}\([^ ]*\).*Temperature{m}\([^ ]*\).*#\1 \2#p')
echo "$(date -Is) $temps"
sleep 5
done
gnuplot-скриптец для рисования:
set xdata time
set timefmt "%Y-%m-%dT%H:%M:%SZ"
set terminal x11
set grid
set style data lines
plot ARG1 using 1:2, ARG1 using 1:3
pause mouse close
будущее: ifplugd с dhcpcd на сервере обосрались и не подняли адрес на интерфейсе, а yggdrasil по (автоматически поднимаемой ядром Linux link-local ipv6 адресации) multicast нашёл другие хосты в сети и вышел в глобальную yggdrasil-сеть после ребута роутера; походу роутер грузился дольше чем таймаут у dhcpcd настроен
Нарисовал (на Python) и напечатал (печать обосралась из-за того что корпус пылеудалителя зацепился за прорезь в катушке пластика, так что не хватает последних 2,5мм толщины, да они и не нужны!) гимнастическое "кольцо", держите трибьют: https://tinystash.undef.im/il/3Xn41YGYAVNWhprbYDUZo8UcY9FewbfEv8DyrDTUNrX4CuvnTTesmzP8MLBJzTRsXUhTAbPJMVo9UGgwvcu97EBx.jxl
Рейт ми:
Хочешь уволиться уже как месяц из-за нахлынувших рабочих обязанностей месяца через два, чтобы не подставлять команду перед высоким сезоном
@
Сегодня утром звонит начальник
@
Говорит, что полотдела сокращают
@
Ты в списке сокращения
@
Блокируют рабочую учетку, еще два месяца будут платить зарплату
Заскучал и набыдлокодил бота для комнат XMPP: https://github.com/l29ah/smacbot
Умеет призывать к совместным игрищам и дёргать LLM для более эээ машинно-интеллектуальных развлечений посредством llama-server.
вставил в ноут (i7-8550U) вместо 1x16ГБ 2x8ГБ (2400MT/s), позапускал llama.cpp, позамерял:
SMT как не давал никакой пользы так и не даёт
скорость двухбитовых нейронок практически не изменилась
четырёхбитные нейронки стали в полтора раза быстрее
восьмибитные стали почти вдвое быстрее
Затестировал Qwen2-VL-7B-Instruct-Q5_K_M.gguf. Удивительно неплохо работает на моём старом ноутбуке. За несколько минут генерирует описания картинок неплохие. Буду наверное делать на его основе индексер картинок для домашней коллекции. Примеры описаний мемосов:
# https://0x0.st/8rDY.jpg
The image is a black-and-white sketch of a person walking with a backpack. The person is holding a bouquet of flowers in one hand. The text in the image is in Cyrillic script and reads "ЗНАНИЯ ХУЯНИЯ."
# https://litter.catbox.moe/2vryfy.jpg
The image depicts a group of swans swimming in a body of water that appears to be covered in green algae. The water is murky, and the swans are of varying colors, with some appearing white and others having brownish hues. The text in the image is in Russian and is scattered throughout the image, providing commentary or descriptions related to the scene. The text includes phrases such as "Кто там первый, а?" (Who's first there?), "Вы тоже чувствуете некую вторичность происходящего?" (Do you also feel a certain secondary nature of what is happening?), "ХЗ может симулякр или постмодерн" (I don't know if it's a simulation or postmodernism), and "Оказывается, что это метамем и смешно не будет" (It turns out that it's a meta-meme and it won't be funny). The overall tone of the text seems to be reflective and somewhat philosophical.
# https://0x0.st/8rDh.jpg
The image depicts a group of children balancing various objects on their heads. The text in the image is in Russian and provides a message about the importance of good posture and balance. Here is a translation of the text:
---
**"Хорошая осанка полезна для вашей спины. Доктора знают, насколько важно её правильное формирование. Вы можете начать с классического упражнения сохранения равновесия при помощи банки с кислотой на вашей голове."
Translation: "Good posture is beneficial for your back. Doctors know how important it is to properly form it. You can start with the classic exercise of maintaining balance using a jar of acid on your head."
---
The image is likely an educational or motivational poster, emphasizing the importance of good posture and balance for children.
Рубрика "hugin опять обосрался": https://tinystash.undef.im/il/b695Wiv3uMmK6wa1WkbzzSZi1yBdTsKM3eTLbMXEtEgovt1TT5DzVSGEHZWJLsxKnSH5g1dkVaNXVi5oPk5R7Vk.jpg
Сходил на перевал 900м неподалёку от города, впервые за три года попал под скромный снегопад и пронаблюдал два слоя облаков, сфоткал закат.
Пониже это всё выглядит как-то так: https://tinystash.undef.im/il/5Nb5xVQjUeCZDPMGQJPhWLNHZ6otYn3raEQetdJ4DyBku4pwgBGSnaXwQ51iz6t9bufDh6ju69xKL8Ro7c8jd5eg.jpg
Цоперайт © 2010-2016 @stiletto.