Относится к сборнику статей теори МВАП https://t.me/thinking_cycles
Не смотря на прогнозы о систем ИИ на основе GPT (генеративный предобученный трансформер) и/или LLM (большая языковая модель), когда, по мере увеличения базы данных для обучения и скорости ее обработки, «количество неизбежно перейдет в качество», этого не происходит. Зато появляется все больше публикаций о возникающих проблемах для такого перехода. Несмотря на кажущийся «осмысленный, разумный» диалог с пользователем, в действительности говорить о наличии хоть какого-то понимания у LLM того, что/на что они отвечают не приходится. Впечатление, что нейросети обладают неким хотя бы общим представлением о мире ошибочно, в чем смогли убедиться экспериментальным путем. Результаты исследования представлены в виде статьи на сервере препринтов .
Используя генеративную модель ИИ, лежащую в основе больших языковых моделей, таких как GPT-4 , команда разработала две новые метрики, которые позволяют проверить модель мира трансформера. Исследователи сосредоточили свои оценки на классе задач, называемых детерминированными конечными автоматами, или DFA.
DFA — это задача с последовательностью состояний, например, перекрёстков, которые нужно проехать, чтобы добраться до пункта назначения, и конкретным способом описания правил, которым нужно следовать на пути. В качестве задачи для формулирования в виде DFA были выбраны передвижение по улицам Нью-Йорка и игра в настольную игру «Отелло».
В итоге выяснилось, что несмотря на то, что трансформеры почти во всех случаях генерировали точные направления и правильные ходы в «Отелло», две метрики показали, что только один из них генерировал согласованную модель мира для ходов в «Отелло», и ни один из них не справился с формированием согласованных моделей мира в примере с поиском пути. К чему это может привести стало очевидно, когда на карту Нью-Йорка добавили объездные пути:
«Я был удивлён тем, как быстро ухудшились показатели, как только мы добавили объезд. Если мы закроем всего 1% возможных улиц, точность сразу же упадёт почти со 100% до 67%», — говорит Вафа.
Еще большее удивление вызвали карты города, составляемые моделями для «внутреннего пользования» с сотнями пересекающихся улиц, случайными эстакадами или даже улиц с невозможной ориентацией.
С позиции в этом нет ничего удивительного. Понимание воспринятого (fornit.ru/1073) это не просто «мат. анализ» прошлого опыта, а его обработка в текущем контексте понимания ситуации (fornit.ru/610), который задает конкретную область анализа прошлого опыта и определяет субъективный смысл воспринятого (fornit.ru/66643), который начинает формироваться на уровне гомеостаза, где ключевую роль играет ориентировочный рефлекс (fornit.ru/69461): на что нужно обращать внимание, а что можно игнорировать. При таком подходе реагирование можно строить как простейший рефлекс, так и сложные осмысленные действия потому, что всегда есть область восприятия, выделенная вниманием, и область прошлого опыта, хотя бы на уровне рефлекторной базы, в котором надо найти решение. Поэтому, если живой организм не находит решения на уровне психики, он просто откатывается на уровень бездумного реагирования через безусловные рефлексы – а нейросеть начинает врать и фантазировать. Понятия «не знаю», "надо подумать" для нее не предусмотрено потому, что видимо такая ситуация рассматривается разработчиками как недостаточное кол-во данных, которые просто надо подгрузить. С позиции нейросеть вообще не "думает", она так и осталась на уровне безусловных рефлексов, реагируя ситуативно как "Стимул - Ответ", каких бы наворотов не пытались прикрутить к этому разработчики. Принцип решения задач нейросетью можно сравнить с обучением чему то новому сходу, за одну попытку, а если не получается - надо просто углубить процесс. Если не удалось нахрапом запрыгнуть на верхнюю ступень, надо просто разбежаться подальше и оттолкнуться посильнее.
Но все мы из личного опыта знаем, что это самый неэффективный способ обучения, гарантированно набивающий лишь множество шишек. Вместо того, чтобы углублять предварительный анализ одного акта действия, затрачивая при этом возрастающие в геометрической прогрессии ресурсы, природа пошла более эффективным путем, который действительно позволяет бесконечно погружаться в проблему и находить решение без обработки гигантских массивов данных, а только выбранной части. Что мы делаем, когда не знаем что делать? Спрашиваем, смотрим, пробуем - переводим решение проблемы в статус пролонгированной, делаем циклические запросы к реальности в надежде, что что то подскажет, подтолкнет мысль в нужном направлении. Вся воспринимаемая реальность, а не только личный опыт, становятся "базой данных", к которой делаются запросы, поэтому и не нужно утрамбовывать в своей голове терабайты информации. Воспринимая реальность в разных текущих контекстах, мы как бы смотрим в целевых циклических запросах к ней на бесконечный массив возможных решений через "контекстную призму", поворачивая ее так и эдак, пока не "увидим" подходящее: камень катится с горы... Опа! Так вот как надо перемещать большие грузы! Вот и весь секрет "самостоятельного поиска нового решения", над которым бьются разработчики ИИ, без малейшего шанса найти решение. Потому, что застряли на одном механизме анализа опыта, вырванном из общей иерархии механизмов адаптивности.
Моделирование ИИ в действительности это моделирование ИЖС (искусственного живого существа). Не получится создать искусственный интеллект, способный самостоятельно мыслить, оторванный от «оболочки», потребности которой он должен удовлетворять потому, что только отсюда и вырастает "самостоятельность". И не важно, в каком виде будет «тело»: биологическое, механическое, программное. Должен быть живой организм с системой гомеостаза, адаптирующийся к изменениям внешней по отношению к нему среды, выводящими его систему гомеостаза из оптимального состояния – тогда возникает потребность поддерживать ее в оптимуме, иначе смерть. И только тогда можно наворачивать на нее искусственной эволюцией адаптивные корректирующие действия вплоть до высшей психической деятельности.
Из за того, что в архитектуре нейросетей не предусмотрены ориентировочный рефлекс, значимость, субъективность, контекст восприятия/реагирования - не получается и построить модель понимания, только математика в сухом остатке и вынужденное бесконечное углубление во все более "глубокие обучения".
Алексей
09 Nov 2024