Относится к сборнику статей телеграм-канала https://t.me/thinking_cycles
July 22, 2024July 22, 2024
Как уже говорилось, с недавнего времени мы начали более активно освещать свой проект на разных ресурсах разными способами: рассылки, обсуждения на форумах, блогах, каналах. И выяснилось, что есть некоторое непонимание со стороны разработчиков ИИ: что мы такого необычного сделали и чем собственно занимаемся.
Проблема в том, что на первый взгляд наш проект это просто очередная солянка разных технологий машинного обучения: от обучения с подкреплением взяли принцип адаптации как взаимодействие агента со средой, от нейросетей gpt в сильно урезанном виде и методику замораживания слоев, часто используемую при переносе обучения, от экспертных систем работу с правилами. Нельзя сказать, что такой подход с использованием разных технологий в машинном обучении новый. При решении разных задач используются разные технологии, в том числе и комбинации. В нашем случае вся «новизна подхода», как это понимают разработчики ИИ – просто новая компоновка пазлов для каких то видимо специфических задач. Но на самом деле все сложнее.
Мы не можем буквально соотнести даже элементы различных методик машинного обучения уже потому, что обучение подразумевается не машинным. Например, технология обучения с подкреплением это «нейронка» - классическая нейросеть связанных весовыми отношениями нейронов, где обучение идет изменением весов через специально подобранные функции. В классическом обучении с учителем он определяет правильность ответов и соответствующую коррекцию весов, в обучении без учителя, как в случае в обучении с подкреплением, учителем выступает среда, реагирующая запрограммированным способом на действия агента. Но в проекте Beast мы уже в первой версии отказались от эмуляции нейронов, заменив их ансамбли функциями. Значит Beast не нейронка. Кроме того, в методике обучения с подкреплением опять же идет не постадийное обучение, как у живых организмов, где каждый уровень (для нейросети это слой) после обучения блокируется от изменений и все последующее обучение строится на его базе – а изменение весов всей нейросети. Это принципиальное различие в построении стратегии обучения, где нет иерархии реагирования, а делается попытка сразу перейти к сложному реагированию, имитирующему осмысленное. Для чего приходится вводить сложные методики обучения, включая глубокие обучения, градиентный спуск и т. д. У живых существ очевидно этого нет, так как они вынуждены обучаться по мере формирования психических механизмов, а не дожидаться их окончательного созревания. Наконец, самое главное, в проекте Beast понятие «субъективное восприятие» начинает формироваться с самого первого уровня – гомеостатической значимости. Что такое Хорошо и что такое Плохо в начальных периодах развития определяется не программными запретами, а базовыми состояниями системы гомеостаза. Это позволяет строить сколь угодно сложный искусственный организм, который будет корректно выдавать субъективные оценки внешних воздействий. То есть вместо того, чтобы прописывать таблицы какой отклик на какое действие должна выдавать среда, создается система гомеостаза, генерирующая отклик на действие. Поэтому «подкрепление» в одноименной методике обучения на самом деле очередная симуляция, не имеющая к субъективности никакого отношения.
Кроме того, система гомеостаза Beast не только дает оценку выполненного действия в виде изменения базовых состояний, она и определяет базовые стили реагирования, в контексте которых выполняются корректирующие действия. Иерархия реагирования «Стиль – действия» позволяет существенно упростить задачу вариабельности реагирования на разные ситуации. Во вчерашнем посте разбирали иерархический принцип распознавания составляющих образа восприятия – по такой же иерархической схеме формируется и корректирующее действие.
Трансформенную архитектуру, на которой основана GPT-методика обучения нейросети так же не получиться просто использовать даже частично. Опять же потому, что у нас нет эмуляции нейронов, мы не обрабатываем длинные последовательности текстов и обработка кадров ЭП это не статистический анализ, а субъективный, где главный критерий – эффект кадра ЭП, то есть субъективная значимость последствий выполненного действия. По тем же причинам не корректно относить Beast к очередному варианту экспертной системы.
Но может замораживание слоев хотя бы в принципе похоже на постадийное обучение? Опять нет. В природе на каждой стадии формируются примитивы распознавания образов, где один нейрон является одним распознавателем, как это происходит в природной реализации, а в нейросети – готовые распознаватели в виде многослойного персептрона. Хотя у нас в проекте нет нейронов и нет иерархии примитивов, но легко вводится поэтапная специализация образов. Мы просто упростили процесс, сразу прописав все образы, но в случае появления задачи отмоделировать такой процесс, это делается очень естественно.
Поэтому не то что буквальных, а даже частичных совпадений с технологиями машинного обучения нет. Что является серьезной проблемой ее восприятия разработчиками потому, что это означает по сути систему на полностью отличных от текущих принципах реализации. Придется начинать с нуля, повторяя принципы природной реализации адаптивности.
Алексей
23 July 2024