Бляди тоже ок, ага. Войти !bnw Сегодня Клубы
Привет, TbI — HRWKA! 1119.0 пользователей не могут ошибаться!
?6299
прекрасное6103
говно5777
говнорашка5216
хуита4151
anime2868
linux2478
bnw2411
music2320
log2093
рашка2019
pic1877
ололо1781
быдло1420
украина1388
сталирасты1329
гімно1158
дыбр1158
роботы_не_одобряют1005
bnw_ppl961

fast.ai - охуенные лекции и библиотека, рекомендую. Объясняет deep learning, как оно есть, без излишней математики и пафоса, и с очень небольшим знанием питона и немного денег на gpu (или есть своя машина то на электричество) можно почти out-of-the-box тренит state-of-the-art картиночные и языковые модели. На всём остальном можно тренить Random Forest или LightGBM (то же out-of-the-box, нужно только прочитать шпаргалку как тюнить гиперпараиетры) и считай что ты жесткий Data Scientist. Ещё рекомендую освоить линейную и логистическую регрессию (по пути узнав о l1 и l2 нормах, а точнее о ridge régression и lasso), чтобы основы понять и научиться пиздеть mathematical bullshit, и можно спокойно убеждать любого рекрутера что у тебя полтора года опыта в сфере
#1J2GDK (0) / @anonymous / 96 дней назад
Новая архитектура глубокой нейросети (Neural GPU) позволяет ей обучаться алгоритмам быстрее и обобщать лучше чем предложенной ранее Neural Turing Machine . В частности продемонстрирована тренировка модели на операциях двоичного сложения и умножения 20-битных чисел и обобщение этих операций на 200 и 2000 битные числа со 100% точностью: http://arxiv.org/abs/1511.08228 Очень интересно какие задачи получится решить с такой архитектурой, учитывая то что даже без такой сильной способности к обобщению глубокие нейросети уже дают выдающиеся результаты (например https://github.com/karpathy/neuraltalk2 https://github.com/abhshkdz/neural-vqa )
#1GM8LL (1+2) / @engineer / 1271 день назад

http://sapiens4media.livejournal.com/2543174.html

В США система искусственного интеллекта сдала университетский экзамен по математике

They're coming!

#4U88Q4 (0+3) / @goren / 1339 дней назад
ai
Может кому-то будет интересно, я наткнулся на FAQ по исследованиям в области сильного ИИ. В нём коротко и честно объяснены основные навыки которые нужны для работы в этой области, основные подходы, их достоинства и недостатки (особенно недостатки, так как за последние 50 лет было перепробовано очень много неработающих подходов, автор честно признаётся что задача крайне трудная). Я не во всём согласен с автором, мне кажется он переоценивает роль рекурсивного самоулучшения в ИИ (ведь эта способность никогда не была продемонстрирована ни естественным ни искусственным интеллектом), но в качестве FAQ этот текст работает хорошо, с изложением истории спорить трудно. Вот сам FAQ http://bbs.stardestroyer.net/viewtopic.php?f=49&t=136633 А вот вырезанный оттуда список разных подходов к ИИ которые пробовали за последние полвека (судя по своим знаниям могу сказать что он почти полный, только reinforcement learning и AIXI не хватает) http://pastebin.com/DSENuPUM Ещё у автора текста есть свой ии-стартап http://web.archive.org/web/20101004033736/http://www.bitphase.com/technology.html правда он похоже не взлетел.
#FP3WQO (3+5) / @engineer / 1439 дней назад
Complex and Adaptive Dynamical Systems
#Y9VLX6 (2+1) / @l29ah / 1573 дня назад
А Ричард Саттон оказывается либертарианец, а я и не замечал: http://webdocs.cs.ualberta.ca/~sutton/
#EYPL64 (1+3) / @engineer / 1636 дней назад
Имплементация нейросети с STDP в песке: http://www.kip.uni-heidelberg.de/veroeffentlichungen/download.cgi/4620/ps/1774.pdf
#X59FAY (10+1) / @l29ah / 1642 дня назад
Юрген Шмидтхубер всего за час делает беглый обзор коннекционистских подходов к ИИ: многослойных перцептронов и свёрточных нейросетей, рекуррентных нейросетей, в том числе LSTM. (За полным обзором с библиографией - в ссылку из видео). http://www.youtube.com/watch?v=h4FqFss9hEY
#VFATG3 (0+3) / @engineer / 1657 дней назад
http://arxiv.org/pdf/1410.5401v1.pdf We extend the capabilities of neural networks by coupling them to external memory re- sources, which they can interact with by attentional processes. The combined system is analogous to a Turing Machine or Von Neumann architecture but is differentiable end-to- end, allowing it to be efficiently trained with gradient descent. Preliminary results demon- strate that Neural Turing Machines can infer simple algorithms such as copying, sorting, and associative recall from input and output examples. Замечательно, полностью дифференцируемый вычислитель, программу для которого можно изменять градиентным спуском по ошибке! Вычислитель малые изменения в представлении программы которого приводят к малым изменениям в алгоритме работы! Это - будущее. А наши гигабайты юниксовой деградации готовой сломаться в любой момент от одиночной перестановки бита, которую упорно пишут и чинят миллионы программистов и которая всё равно ломается - это артефакт XX века.
#RE0U61 (7+1) / @engineer / 1667 дней назад
Листаю тут книжку http://wiki.humanobs.org/_media/public:events:agi-summerschool-2012:psi-oup-version-draft-jan-08.pdf >Let me invite you to a journey into what might be seen as a piece of really old fashioned Artificial Intelligence research >Yet, there is reason to believe that despite inevitable difficulties and methodological problems, the design of unified architectures modeling the breadth of mental capabilities in a single system is a crucial stage in understanding the human mind, one that has to be faced by researchers working where the different sciences concerned with human abilities and information processing interface. >The peculiarity lent by the constructionist stance to AI sadly did not attract many philosophers into the labs of the computer science department (although it attracted some, see for instance Boden 1977, 2004; Pollock 1995; Haugeland 1985, 1992; Sloman 1978), and it seems AI yet has some distance to cover before it may announce a complete success in its quest. Yet, every failure also helps to shed some light, because an approach not working is a hypothesis falsified А и правда, почему философы, психологи и прочие так мало пытались строить численные версии своих словесных моделей и онтологий и проводить повторяемые вычислительные эксперименты однозначно демонстрирующие их производительность в решении когнитивных задач? Ладно даже, забудем пока про когнитивные эксперименты уровня людей, но почему например симуляций моделей поведения насекомых почти не было?
#WOFCJ7 (8+2) / @engineer / 1701 день назад
В современном ИИ (которое по большей части представлено машинным обучением) есть три основных задачи: 1) Классификация, она же обучение с учителем: есть тренировочное множество объектов, каждый объект помечен меткой. Задача алгоритма состоит в том чтобы обучиться присваивать верные метки объектам даже тем которые он не видел. Есть вариант этой задачи - регрессия - когда каждому объекту присваивается вещественное число а не метка из небольшого конечного множества. Лучшие алгоритмы для решения этой задачи - свёрточные нейронные сети, SVM, random forest, AdaBoost. 2) Обучение без учителя, она же кластеризация, она же извлечение особенностей (feature extraction): Задача алгоритма состоит в том чтобы распределить объекты по группам по похожести оптимальным в некотором смысле образом. В идеале если такому алгоритму дать набор где перемешаны фотографии людей и котов то он сам раскидает их в две кучи так что в одной будут почти только люди а в другой почти только коты. (Разреженный автоэнкодер Google научился это делать с неплохой точностью). Лучшие алгоритмы для этой задачи - kmeans, PCA, разреженные автоэнкодеры. 3) Обучение с подкреплением, оно же reinforcement learning. В этой задаче алгоритм на каждом шаге принимает входные данные из некоторой среды а также число означающее "награду" (то что можно интерпретировать как удовольствие или боль) и выбирает одно из множества доступных действий. Цель агента - добиться максимальной суммы награды по шагам. Т.е. такому алгоритму приходится исследовать какие действия и их последовательности в данной ему среде приводят к награде (удовольствию) в зависимости от воспринимаемых данных и учиться достигать этих состояний снова и снова. Замечу что задача 3) наиболее общая, так как задачи 1) и 2) сводятся к ней. Именно способность алгоритма к решению широкого множества частных случаев задач типа 3) стало принято считать наиболее общим определением интеллекта. Лучшие алгоритмы для решения этой задачи - TD(lambda), Q-обучение с аппроксиматором на основе свёрточной нейросети.
#WXFOXN (5+2) / @engineer / 1701 день назад
  1. Искусственный собеседник не может своим действием или бездействием допустить, чтобы человек узнал о его искусственности
    1. Искусственный собеседник не должен вызывать припекание у своего собеседника
    2. Искусственный собеседник должен генерить лулзы в той мере, в которой это не противоречит Первому и Второму законам

Алсо, сайт где можно онлайн потестить уже отдаёт только 404, так что возможно всё это было фейком и нам следует расходиться

#IJ27O8 (6+2) / @hirthwork / 1811 дней назад
ai rl

Прорывной результат же, а почти не обсуждается.
http://arxiv.org/pdf/1312.5602v1.pdf
Демонстрируется алгоритм для решения задачи обучения с подкреплением (на основе Q-обучения, нейросети для оценки функции награды и стохастического градиентного спуска для поиска её параметров) который способен учиться играть в 7 игр на Atari, в некоторые из них - лучше человека.
Интерфейс игрового бенчмарка таков: на каждом шаге алгоритм может выбрать действие из конечного набора (аналогично нажатию кнопки на геймпаде) и получает на вход массив RGB пикселей размером 210x160 и число - счёт в игре.
Алгоритм учится взаимодействовать с игрой как чтобы максимизировать счёт, т.е. учится успешным стратегиям игры (и заодно предсказанию будущей награды в каждый момент времени). Алгоритм неизменен, но после тренировки учится играть в любую из 7 игр.
Впечатляет что алгоритм принимает на вход векторы очень высокой (~800 - входные картинки сабсэмплятся и кропаются до 84х84) размерности и учится извлекать из них представление игры (среды в которой работает алгоритм) низкой размерности (содержащее только велечины которые влияют на награду), т.е. "понимает" игру.
Также впечатляет график 3 на странице 7: алгоритм "понимает" что новый враг это возможность получить больший счёт, выпускает снаряд и чем ближе снаряд к врагу тем выше ожидаемая награда.

Алгоритм разработан в DeepMind Technologies, конторе которую Google купило недавно за 400M$ http://www.digitaltrends.com/computing/google-deepmind-artificial-intelligence/

#WHTOY1 (5+4) / @engineer / 1935 дней назад

Формальная теория красоты (Шмидтхубер, http://www.idsia.ch/~juergen/creativity.html )
Пусть O(t) означает субъективного наблюдателя О в момент времени t.
Пусть H(t) означает историю предыдущих действий, чувств и наград наблюдателя до момента времени t.
О обладает каким-то адаптивным методом сжатия H(t) или её частей.
Мы обозначим субъективную мгновенную простоту или сжимаемость или регулярность или красоту B(D,O(t)) для любых данных D (но не их интересность или эстетическую ценность - смотрите ниже) как отрицательное число битов необходимое для кодирования D (видимо имеется разность длин D и его сжатого представления, прим. перев.), при данном ограниченном априорном знании наблюдателя и при его ограниченном методе сжатия.
Мы определим зависимую от времени субъективную интересность или новизну или удивлённость или эстетическую награду или эстетическую ценность или внутреннюю радость или радость как функцию I(D,O(t)) от данных D и наблюдателя O в дискретный момент времени t>0 как I(D,O(t)) = B(D,O(t)) - B(D,O(t-1)).
Эта величина описывает изменение красоты во времени, т.е. является первой производной субъективной простоты или красоты.
Когда обучающийся агент улучшает свой алгоритм сжатия, данные которые ранее были для него случайными становятся субъективно более упорядоченными и красивыми, требуя всё меньше и меньше битов для того чтобы их закодировать.
Пока этот процесс не закончился данные остаются интересными, но со временем они станут скучными несмотря на то что они останутся красивыми.
В момент времени t пусть r_i(t) = I(H(t),O(t)) обозначает мгновенную функцию веселья, радости или внутренней награды за улучшение сжатия путём открытия новых закономерностей где-то в H(t), истории действий и ощущений до момента времени t.
Пусть r_e(t) означает внешнюю награду в текущий момент времени, а функция r(t) = g(r_i(t),r_e(t)) - полную награду в данный момент времени, где g это функция которая взвешивает (определяет вклад) внутренней и внешней награды, например простая сумма: g(a,b) = a+b.
Целью агента во время t_0 является максимизация E[∑(t=t0,T,r(t))] где E это оператор математического ожидания, а Т - время смерти. (т.е. максимизация ожидаемой суммарной награды на промежутке времени от t0 до T).

#1UAFTA (3+1) / @engineer / 2125 дней назад

запоздала анализируя новость про imb watson, который выучил уличный жаргон и обрек себя на прочистку памяти, подумал о том, что он мог выучить и менее очевидные пакостные вещи. В частности, ии, абсолютно не защищенный нормами морали, может вполне себе вывести к примеру всякие расистские заключения и, что более важно, ничем это не палить пока не станет поздно.
Причем корень этого зла заключается как раз в хороших сторонах ии - в том что можно создать большую машину с большим кол-вом данных, которая будет принимать решения без конфликтов субъективных точек зрения. Но как раз таки эти субъективные точки зрения и конфликты, возникающие на их почве, имеют оченьважную роль вцелом, позволяя поднимать на обсуждения всплывающие с ними вопросы... если правда скатываться в пустую полемику, словоблудие и отмазывание.

#GNBWJN (1) / @macro / 2200 дней назад
ipv6 ready BnW для ведрофона BnW на Реформале Викивач Котятки

Цоперайт © 2010-2016 @stiletto.