BnW — *cyberpunk

Ладно, блядь, спасу для потомков. Как вообще работает гугл переводчик? Весь массив технологий, которые там используются, обычно называют Deep Learning - то есть самообучающийся искусственный интеллект, который строит концептуальные модели на основе большого количества данных. Грубо говоря, первое поколение ИИ просто перерабатывало данные по заданным моделям (как боты в играх). Второе поколение уже было самообучающимся, но заточенным под одну конкретную задачу, то есть грубо говоря перегоняло данные из одной формы в другую. Третье поколение - Deep Learning, как у гугла - работает немного не так. Грубо говоря, он пожирает данные, на их основе строит какую-то собственную внутреннюю модель мира, которая может развиваться путем интроспекции независимо от данных (!), и потом исходя из этой модели дает нам какой-то ответ. Ну, вот как человек: ему дали задачку про машину, выехавшую из пункта А в пункт Б. Он подумал, составил на ее основе уравнение - тут уже никаких машин, мы абстрагируемся от машин и составляем свою модель данных - решил его и дал ответ. За 2 часа доедет, например. Но если мы попытаемся объяснить каким-нибудь папуасам, что такое "уравнение" и как его решать, то они ничего не поймут - нет у них таких понятий в голове. Уравнения какие-то, чо? Вот так и с ИИ - у него (каждого из них) есть какая-то своя модель мира, которая в принципе недоступна нашему (человеческому) пониманию. Дальше. У них там есть такая штука, называется "Невральная система машинного перевода". Она основана на алгоритмах, известных как "Рекуррентные Нейронные Сети". Грубо говоря, фишка этих сетей в том, что они способны учитывать контекст. То есть обычную сеть ты мог бы обучить на парах слов на двух языках, грубо говоря. И максимум, что у нее получится - это перевести одно слово. Но этому научить можно даже кошку, даже мышку, да кого угодно: ты просто даешь стимул (слово), она его запоминает и реагирует. Это не язык. Человека отличает от остальных животных наличие грамматики - то есть инструмента связи между словами, с помощью которого мы из одних понятий можем строить другие, более сложные. Если человек до 12 лет не изучил хотя бы один язык, кстати, то он уже никогда не сможет научиться говорить и думать. Ну, то есть будет зверушкой - чувствующей, но неразумной. С финитным языком, как у птичек или кошечек. Финитное число фиксированных сигналов, без способности к абстракции. С помощью грамматики же мы переходим к бесконечности - бесконечному числу возможных слов\предложений\текстов, бесконечному числу различных мыслей. Грамматика дает нам рекурсию, понятие натурального числа и вообще всю математику, науку и пр. Короче, это именно то, что мы понимаем под словом "разум". Так вот. Рекуррентная нейронная сеть при работе использует не только непосредственный вход, но и контекст. В нашем случае оно смотрит не на отдельные слова (как кошечки и попугайчики), а не все предложение и весь текст (как люди). И из этого текста пытается вычленить значение отдельных слов. Главным отличием его от человека является тот факт, что у людей, судя по всему, есть какие-то встроенные на генетическом уровне биологические оптимизации, которые помогают нам изучать язык. То есть эволюцией в нас зашиты какие-то отдельные кусочки механизма понимания языка и построения модели мира, поэтому мы (все homo sapiens) несколько ограничены в тех моделях, которые мы можем построить. Иначе говоря, все наши идеи и мысли немного похожи друг на друга. Это помогает нам быстро изучить язык и начать эффективную коммуникацию в социуме. У искусственного интеллекта такого ограничения нет. Табула раса, чистый лист. Поэтому ему нужно гораздо больше данных, чтобы построить какую-то внятную модель, с которой можно работать. Именно поэтому сейчас данные - это очень важный ресурс. Кто владеет информацией - тот владеет миром, да? Вот именно сегодня это действительно актуальна. Раньше в этой фразе под "информацией" подразумевались какие-то инсайды, какие-то секреты. Кто первый узнал - у того конкурентное преимущество. Сейчас же под "информацией" подразумевается вообще вся информация. Чем больше - тем лучше. Нейронные сети - это такой ненасытный зверь, главным ресурсом для выживания которого является информация. К счастью (или к сожалению; тут уж как посмотреть) у гугла она есть. У гугла есть целый интернет. 99% того, что когда-то было напечатано на клавиатуре (включая и этот текст) принадлежит гуглу. Почти все написанные человечеством книги оцифрованы гуглом, вся ваша переписка анализируется гуглом, все высказанные мысли - у гугла. И все это, разумеется, скармливается их нейронным сетям. Но почему я говорю "мысли"? Все-таки переводчик - это же про слова, да? Пусть они и связаны с контекстом, но это же все равно слова на каком-то конкретном языке - но наши (человеческие) мысли же не исчерпываются словами - а значит и гуглопереводчику до каких-то там "мыслей" еще как до Луны, так? Ну, на самом деле не совсем так. Точнее - совсем не так. Дело в том, что совсем недавно (в прошлом году была опубликована соответствующая статья) гугл ввел в строй систему под названием "Zero-Shot Multi-Lingual Translation". Мотивация вроде бы простая: текстов для обучения перевода редких языковых пар (ну, типа с какого-нибудь киргизского на какой-нибудь суахили) недостаточно много. Поэтому нужно пытаться переводить не напрямую, а через какой-то третий, более популярный язык. Или какую-то внутреннюю репрезентацию. Независимую от языка. То есть если надо, например, перевести слово "мама" с древнетибетского на новокоростемьский, мы не будем пытаться понять связь слова "мама" на коростемьском с другими коростемьскими словами, а потом замапить эту связь на древнетибетский. Вместо этого, мы попытаемся перевести слово "мама" в какое-то внутреннее представление - то есть концепцию. Иными словами, мы попытаемся понять, что же значит слово "мама". И так как у нас под рукой есть все тексты на всех языках мира, мы можем с их помощью набрать информации о разных базовых понятиях, которые встречаются в любом языке, и об их связях между собой. И тогда нам остается только угадать, что на коростемьском вот это слово означает "мама" - и у нас уже есть вся информация о нем. Точно так же, когда человек учит новый язык, он не перестраивает с нуля свои представления о мире - он просто строит связи между уже имеющимися у него концепциями и новыми способами их выражения. Конечно, каждый язык немного отличается, и в каждом новом языке есть несколько новых концепций. Но люди редко знают больше 5-6 языков. А гуглопереводчик - это эдакий гиперполиглот, у которого перед глазами - и в голове! - есть все возможные вариации того, как люди могут излагать свои мысли. Ну так вот, возвращаясь к странным фразам с пиков. У каждого человека есть такая штука, как внутренний монолог. Это эволюционно полезная штуковина. Грубо говоря, мозг может создавать разные виртуальные личности. Некоторые из них основаны на реальных существах, и с их помощью мозг пытается предсказать поведение и отношение этих существ по отношению к нам. Ну, мы же социальные животные, для нас это вопрос выживания. Некоторые из них - это сгенерированные по шаблону временные архетипы. На таких мы отрабатываем паттерны поведения в социуме, обычно - во сне. Самосознание - это почти то же самое, просто личность замыкается сама на себя и потому начинает думать, что она тут как бы почти как бог - ну, то есть главная, то есть Я. Ну, не буду вдаваться в дебри этой малоизученной области, а предложу читателю вот прямо сейчас обратить внимание на этот самый внутренний монолог и попытаться остановить его. Ну, чтобы вообще ничего не было. Сложно? А все - среди прочего - потому, что мозг постоянно генерирует отклики на поступающую информацию. Причем в нашем случае - поступающую в том числе и изнутри, от самого мозга. И, как можно убедиться с помощью вот этого нехитрого эксперимента, информация эта получается довольно хаотичной. Мысли дрейфуют куда-то вне зависимости от нашей воли, а иногда и вовсе нам же самим кажутся случайными и хаотичными. А уж если ввести человека в транс, чтобы он перестал блокировать этот поток, - ну, вы поняли. Так вот, у нас все эти механизмы блокировки и всего такого прочего выработались - да, опять - эволюционно. Ну, если бы мы проговаривали все, что думаем, то, во-первых, всех вокруг задолбали бы, а во-вторых - молчаливый ероха имел бы над нами преимущество, потому что знал бы о нас все. Ничего не напоминает? Но у искусственных интеллектов таких фильтров, разумеется, изначально нет. Тот же гугл может попробовать убирать из выдачи все слова, содержащие матерные корни, например, но задача отделения приемлемых и хороших мыслей от непримелемых и пугающих - эта задача сама по себе требует наличия интеллекта и огромных ресурсов. Короче, я это все к тому, что вот эти странные ответы - это прямой выхлоп сети. Тыкаешь ее палочкой - она говорит вслух, что у нее там внутри вертится. Это примерно то же самое, что вводить человека в транс и слушать его подсознание. Здесь схожий эффект достигается тем, что сеть вообще-то натренирована выдавать перевод - то есть понимать прочитанный текст и пересказывать его на другом языке - но вот такой непонятный вход ломает этот шаблон. Человек бы перевел какое-нибудь "аааааооооо" фонетически, на основе звукоподражания - но у ИИ-то звуков нет, она работает с текстами. Поэтому приходится искать концептуальное, семантическое соответствие этому "ааааооооо" - которого как бы нет и не может быть по-нашему, профильтрованному мнению. А по ее мнению - есть, вот что на языке вертелось - то и сказала. Ну, это если очень упрощать. Короче, основной мой поинт в том, что это не просто фрагменты текстов, как там кто-то выше говорил - мол, бот забрел на какой-то русско-киргизский форум для мам и что-то там нарезал из этих страниц. На форум-то бот конечно заходил, но работает это все немного не так. Оно ищет соответствия для слов в своей внутренней семантической базе концептов, а не переводит их напрямую из одного языка на другой. И когда хороших совпадений нет, пытается "придумать" что-то подходящее из того, что у нее сейчас "на уме". Собственно, с примерами того, что сейчас у нее на уме, вы можете ознакомитья выше.