Игра Го

Недавно появилась новость о победе ИИ над чемпионом Европы по игре в Го.

В новости в частности содержались следующие рассуждения:

https://m.geektimes.ru/post/269990/

В Google надеются использовать полученный опыт для решения проблем реального мира. Факт использования методов общего назначения означает, что подобные алгоритмы смогут найти применение во многих системах: от климатического моделирования и анализа заболеваний до торговли акциями на бирже.

Подобной разработкой занимаются и в Facebook. Марк Цукерберг сообщил в среду, что его исследователи близки к покорению китайской игры. Цукерберг в буквальном смысле пристально следит за процессом разработки: автор проекта сидит в шести метрах от стола исполнительного директора Facebook.

Игра обладает несколькими правилами, которые осложняли создание эффективной системы искусственного интеллекта для победы над человеком. К примеру, возможных позиций камней на стандартной доске более, чем в гугол (10¹⁰⁰) раз больше, чем в шахматах. Число возможных позиций больше, чем атомов во Вселенной. Просто так просчитать все ходы невозможно, и пока что лучшие компьютерные системы играют на уровне любителей.

Многие ходы в го диктуются простой интуицией, а подобное трудно уложить в алгоритм. Именно эта сложность привлекает внимание специалистов по искусственному интеллекту. DeepMind — это разработчик систем искусственного интеллекта, которого компания Google приобрела в 2014 году. В DeepMind смогли создать программное обеспечение, которое в состоянии обыграть чемпионов.

Составление дерева поиска здесь не подходит, поэтому была создана система AlphaGo. Она основана на поиске Монте-Карло и глубоких нейросетях. Нейросети пропускают описание состояния доски го через 12 различных слоёв, состоящих из миллионов нейроподобных соединений. Одна из сетей, «сеть политики», выбирает следующий ход. Другая, «сеть ценности», предсказывает победителя.

Как думаете, они в правильном направлении движутся?

Они движутся по пути создания фиксированного интеллекта для игры в го, т.е. очень специализированного алгоритма.

Сама по себе новость мне нравится. То есть я могу неправильно оценивать это достижение - хорошее оно или плохое, правильное или не правильное. Но тема меня забавляет. Интересовался. Когда-то читал на википедии об игре Го, и узнал что это теперь своего рода классическая нерешаемая задача - создать виртуального игрока побеждающего человека в игре Го. И вот теперь я узнаю что эта классическая нерешаемая задача решена. Для меня это небольшой такой праздник, ещё одна ступенька на пути прогресса человечества. Как бы технологии развиваются - отлично. Живем потихоньку. Чисто по математическому говоря - то что задача теории игр решена без построения полного дерева решений (не хватает ресурсов для полного дерева), это тоже интересный момент. Хотя в шахматах тоже вроде не полное дерево, но всё же там точно есть дерево начала игры и дерево завершения игры. Кстати, может не все знают, когда компьютер победил Каспарова, это была не разгромная победа, а так, с преимуществом на волосиночку, и потом споры были что может человек помогал компьютеру.

Да, обученный одной теме обучен одной теме, тут не спорим. Но ведь если одна тема изучена успешно, можно попробовать менять тему. В частности, как пример смены темы, вот же пишут, что компьютер в разные игры играл с переменным успехом: https://geektimes.ru/post/246444/ . Если отвлечься от игр, то разрабатывается же Гугл-автомобиль, в котором компьютер вместо водителя. Наверное важный момент - классическая задача аккуратного машинного перевода текстов так и осталась нерешенной, можем видеть что Гугл-переводчик немножко коряво работает. Если бы гугловские разработки искусственного интеллекта продвинулись достаточно далеко то мы бы это увидели в первую очередь в Гугл-переводчике, наверное. Так что вот так вот навскидку можно отслеживать успех Гугла по уровню качества машинного перевода. Там же ж кстати пользователи вручную редактируют перевод, и Гугл-переводчик это учитывает, и должен типа самообучиться по нейронному. И до сих пор недостаточно самообучился.

Я не писал программы для Го. Но в Го в общем-то фигур меньше чем в шахматах (одна фигура), и фигуры не движутся. И если невозможно построить дерево для всего игрового поля, было бы естественно построить дерево для куска доски (например вместо поля 19*19 точек взять поле 5*5 точек). И потом прикладывать эту веточку дерева решений к разным участкам игрового поля, обеспечивая локальное преимущество. А там глядишь, ещё пару штрихов в программировании, и будет отличный виртуальный игрок. Ведь в книжках по Го и людей то обучают на простых примерах сначала, по маленьким кусочкам доски. Почему такой подход к программированию бота Го не сработал - не знаю. Видимо есть какие-то подводные камни.

Когда построили первые компьютеры и это дело начало развиваться, то все всерьез полагали, что дело лишь в усложнении и с какого-то момента навороченной компьютер начнет думать. Но компьютер - совершенно обособленно от индивидуальной адаптивности к новому направление и возникли суперкластеры, но ничуть они не приблизились к разумности.

Компы - в самом деле величайшее технологическое достижении в построении специализированного, но фиксированного интеллекта. А компы, специализирующиеся на играх - еще одно такое же направление.

У меня есть самый общий критерий: пока будут делать всякие эмуляции на существующей процессорной структуре придать достаточные возможности для организации индивидуальной развивающейся адаптивности к новому не получится. А вот когда начнут развивать направление создания адаптивных систем на дискретных нейросетях, то это будет путь к разуму, но очень непростой потому как эволюция прошла много качественных степей ухищрений, а на сегодняшний день теория искусственных нейросетей остается на уровне просто распознавателей, даже не контекстнозависимых.

Оказался тут такой нюанс, в комментариях http://geektimes.ru/post/269990/ раскрытый, что чемпион Европы намного слабее чемпиона мира. Игра очень азиатская, в Азии некоторые люди на неё всю жизнь кладут с детства, нечто вроде профессии. Поэтому победить азиатского чемпиона мира компьютеру будет намного сложнее. То есть это ещё не конец истории. Фейсбук тоже создает бота, показывает красивые результаты в онлайн состязаниях. Но опять же в онлайне слабее игроки чем в не онлайне.

Однако судя по вектору истории можно предполагать что постепенно всё будет двигаться к победе компьютера в Го, ведь и в шахматах подобным образом постепенно развивались компьютеры. А вот действительно важный поворотный пункт - в шахматах было много творческого талантливого программирования, большой человеческий фактор был, а в Го якобы применяют универсальные самообучающиеся системы которым всё равно что именно изучать, был бы материал и вычислительная мощность. То есть в Го мы имеем тестирование универсального компьютерного самообучения, это важно. Некоторые могут не верить что компьютерное самообучение существует, а тем временем это таки отрасль народного хозяйства межу прочим. Но компьютер может учиться не всему, для обучения ему нужен упорядоченный формат вопрос-ответ (и лучше чтобы это были числа а не текст), и компьютер автоматически пытается подобрать принцип нахождения ответа. При этом найденный принцип будет в дальнейшем тестировании давать некоторый процент правильных ответов, и некоторый процент неправильных. Например может быть 70% правильных ответов, а может быть 77%, по разному бывает. Алгоритм подбора принципа нахождения правильного ответа совмещает как использование виртуальных нейронных сетей, так и большой вклад творческого человеческого программирования, поэтому несмотря на попытку создать универсальную систему - получается не универсальная. Вот этот творческий кусок алгоритма как раз больше подходит только для некоторого круга задач, на который программист ориентировался.

Наверное, прорыв случится, когда можно будет использовать такую само обучающуюся систему для анализа материалов по Искусственному Интеллекту. То есть, когда система научится направлять исследователей в нужном направлении на основе анализа текущих доступных научных исследований.

Интересен вот какой момент ещё - отношение к ошибкам. От Гугл-автомобиля требуют чтобы виртуальный водитель никого не сбил. Но ведь человеческий же водитель сбивает. Почему бы не позволить и виртуальному водителю иногда ошибаться. Вот находил недавно информацию что медицинские роботы очень часто совершают трагедии, просто руки не доходили до точной статистики, а как оценили статистику так оказалось что лучше бы отказаться от этих роботов но инфраструктура налажена, и так и не понятно чем это закончилось. Так может нужно для виртуального водителя требование поставить чтоб статистика аварий была не хуже чем у людей, и нормально. А то прям дискриминация. Оно конечно не хочется от робота умирать, но может абсолютная точность невозможна. И может нет разницы для мертвого человек или робот его сбил.

А я думал на тему бот-ученый. Кажется что порой для написания научной статьи нужно не так уж много интеллекта. По ключевому слову найти ряд статей, применить метод из одной статьи к случайным образом измененным входным данным. То есть - эти ученые применили метод к вот такому, а мы применим к немножко другому. Дело в том что входные данные принадлежат к некоторому классу, и очень часто можно в принципе  брать и другие данные того же класса, главное правильно определить класс. Ну в принципе можно бы попытаться и боту поручить основную часть такой работы. Был же инцидент с "Корчевателем", почему бы не попробовать совершенствовать систему, заменить алгоритмы случайного выбора слов и формул на более адекватные алгоритмы. В каких-то узких областях можно бы и без нейросетей это руками запрограммировать, с переменным успехом двигаться в этом направлении.

Очень красиво, по-моему:

Да, автоматизмы можжечка по координации движений освоены :) но пока не посылает на... обидчика и падает навзничь как ребенок. Ну, ему все пофиг, нет системы значимости :)

Есть новости. Как говорилось ранее, победа компьютера над европейцем в Го это хорошо, но азиаты играют намного круче. И вот прямо сейчас происходит уже победа компьютера над азиатом. https://geektimes.ru/post/272508/

«Поздравляем! Мистер Ли был слишком хорош для нас сегодня и вынудил AlphaGo совершить ошибку, которую она не в силах исправить», — написал разработчик программы Демис Хассабис в своем Twitter.

Когда машина "осознала", что допустила ошибку и проигрывает, все пошло наперекосяк в ее игре. Ошибки посыпались одна за другой. Говорят, после 87 шага AlphaGo выдала сообщение "Ой, все!" в системную консоль.

Поздравляю! Хорошая новость) Однако в целом победа компьютера в первых трех сражениях из пяти выглядит более ярко чем случай с Каспаровым. Там у Каспарова из шести сражений была одна победа и три ничьих. Тут же в Го будет победа компьютера 3:2 либо 4:1. И ещё такой момент, что человек на пределе играет, а у компьютера можно кластер расширять ещё и ещё. Удесятерить например кластер, и будет абсолютно непобедимым, увеличит детализацию и скорость расчета.

Го-сингулярность

Вот теперь раскрыли полностью принцип работы и настройки нейросетей в компашках типа Гугл. Ничего нового и интересного кроме тупых игрушек... Хотя при таком упорстве и финансирование даже тупые игры с многослойными сетями приносят впечатляющие результаты.