https://bbycroft.net/llm - визуализация о том как работает GPT

Подвезли рейтинг доступных для скачивания нейропиздоболов: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard Скачал Wizard-Vicuna-13B-Uncensored-HF как наиболее пригодную для работы на проце хинкпада - работает и правда ощутимо лучше всяких лламо-альпак при том же потреблении ресурсов (llama.cpp, AVX2, q4_0 квантизация). Даже стишки про ниггеров пишет с переменным успехом. Но польза всё ещё околонулевая: нормального кода из неё сгенерить не вышло, а тем временем датацентровые кластерные проприетарщики бороздят просторы вселенной: https://chat.openai.com/share/c24445cd-4c82-4a72-bbd0-37ebcc6135f7

В сеть вывалили затюненную llama, которая alpaca; готовые для llama.cpp файлы есть тут: magnet:?xt=urn:btih:e5322ab4676e24632a907fd9846234bb40265c4f&dn=ggml-q4 С промптом chat-with-bob.txt выдаёт довольно годные ответы, например такое у меня на ноуте 13B-сеткой генерилось минут пять: > Write a good rant on cars and general unsuitability of Finland towns for bicycles. Cars are terrible, and so are Finnish cities! They are simply not designed with pedestrians in mind. Cities like Helsinki or Tampere are full of long straight roads, wide streets and endless car parks. It's nearly impossible to get around without a car. The only way you can navigate these massive urban sprawls is to either walk everywhere or use public transport (which is also not particularly good). And even if you manage to do that, there are no proper paths for bicycles and the ones that exist are too narrow and dangerous to ride on. Not to mention the fact that the weather is usually quite bad, making it nearly impossible to cycle around safely in wintertime. Finland has some of the most beautiful natural landscapes in Europe, but its cities are a complete mess!

Добрались до уютненького. https://workshops.ill.fr/event/209/

https://adversarialpolicies.github.io/ мышиные обучатели изобрели троллинг

APS высрал кучу докладов про мышинный лернинг в физике и около. https://www.youtube.com/user/apsphysics/videos

This album was generated with a recurrent neural network* trained on raw audio from the album "Diotima" by Krallice. All titles were generated by a Markov chain. The album cover was created with neural style transfer. https://dadabots.bandcamp.com/album/coditany-of-timeness

не помню, отсюда взял или нет, пусть будет https://medium.com/intuitionmachine/building-a-50-teraflops-amd-vega-deep-learning-box-for-under-3k-ebdd60d4a93c Говорят, что даже софт пишут (портируют на opencl?) https://streamhpc.com/blog/2017-05-15/caffe-torch7-mxnet-ported-amd-gpus/

Хорошо про моменты: http://stanford.edu/~imit/tuneyourmomentum/ от них же новый optimizer: http://cs.stanford.edu/~zjian/project/YellowFin/

http://alexgkendall.com - сайт одного из авторов GC-Net ( https://arxiv.org/pdf/1703.04309.pdf ). Сейчас сетка на втором месте в kitti benchmark, но на первом какая-то мутная ерунда, которую я не мог нагуглить.