Тема форума: «Бот на ГО»

>>Но ты все это раскритиковал. А теперь выходит это не так уже и не правильно?

Я не говорил, что это – правильно или вообще практично, но это всего лишь мое мнение. Я не хочу тебе как-то мешать и все мои посты – только чтобы натолкнуть на идеи, а не направлять тебя.

Но мне все больше кажется, что люди со стороны запросто могут подумать, что вот эти двое с умным видом выдают какую-то шизу :) В общем, давай такие дела перенесем в чат, если у тебя возникнет желание что-то обсудить, а здесь будем высказывать что-то приемлемое не только для себя.

Каждый будет продолжать самостоятельные попытки до конца мая, потом прикинем, что получилось.

Не могу замолчать прикольный результат :)

Детектор нового оказался необходим для механизма классического условного рефлекса. Вот уж не ожидал.

Схема рефлекса такова. Если срабатывает какая-то реакция, которая активируется по своему списку условий, но кроме этих условий появилось еще что-то, и оно не помешало получить позитивное подкрепление (улучшение), то такой сочетание должно приводить к тому, что в следующий раз реакция совершится уже только при появлении новых условий.

Классика: рутинная кормежка дополняется звонком. И так несколько раз. Теперь уже сам по себе звонок вызывает готовность к приему пищи. Но если бы со звонком приходил бы удар током, то – нет.

Странно, что сразу не было понятно, что тут есть операция выделения новых условий. Получается, то детекторы нового – гораздо древнее, чем я считал, относя их к уровню подготовки ориентировочного рефлекса.

В общем, кроме инстинктивных условных рефлексов, сделал классические условные для расширения диапазона условий реагирования. И для этого пришлось сделать функцию выделения новизны.

А у меня нарисовался определитель нового сенсора с автоматическим присвоением значимости. И это в принципе похоже на то, что у тебя вышло.

 

Оператор вводит фразы: "привет, как дела?"  "привет, как делишки?"  "привет"  "как дела?" "как делишки?" - и ставит у всех тон "доброжелательный". Бот фиксирует новые макросенсоры с соответствующим флагом значимости. Потом оператор вводит: "привет, сволочь, как дела?" и ставит тон "агрессивный". Бот так же фиксирует новый макросенсор со своей теперь уже негативной значимостью, но дополнительно происходит следующее:

 

алгоритм разбора введенных оператором фраз обнаруживает в них уже известные положительные по значимости "привет"  "как дела?", и получает остаток "сволочь". Так как сам новый макросенсор помечен как "негативный", то остаток сохраняется как новый сенсор с такой же негативной оценкой. Он будет как ложка дегтя. В итоге получается, что если потом оператор введет:  "привет, сволочь, как дела?"  "привет, как делишки, сволочь?" и поставит нейтральный тон - оба новых макросенсора определятся как негативные (негатив имеет приоритет при суммарной оценке фразы), хотя в базе бота их нет. Получается автоопределение/сохранение сочетаний сенсоров на базе имеющихся - как бы то самое автоветвление, второй слой.

Ты сделал элемент типа Жизненный опыт - для осознанного сопоставления и обобщения. Кроме чужих фраз в массив нужно писать и свои с оценкой последствий.

И тогда становится возможным делать поиск по результату и выбор или поиск по фразе и смотреть прогноз.

Тогда до кучи алгоритм ветвления мыслительных автоматизмов. Допустим нарисовались у тебя несколько рефлексов, нужно выбрать правильный. Это значит методом тыка активировать такой, который приведёт к состоянию "лучше". У всех рефлексов есть какая то значимость. Располагаем их по возрастанию в строку. Затем запускаем цикл:

Активируем центральный, если не то - удаляем его.

В итоге получается что с каждым шагом цикла активируется все более отличающийся от исходного по модулю значимости и при этом попеременно меняется знак отклонения. Идёт как бы раскачка с увеличением амплитуды.

 

Например оператор спрашивает: как дела? Варианты ответа отсортированные по значимости: отвратительно, так себе, нормально, отлично, восхитительно. Первый ответ: нормально. Если не угадал, он удаляется и далее по шагам цикла: так себе, отлично, отвратительно, восхитительно.

 

Я по такому принципу думаю сделать подброс вариантов при формировании безусловных рефлексов, типа имитация эволюции: сделай чуть лучше, сделай чуть хуже. Но подумалось: а "размышление", "анализ", "поиск решения" не по такому ли принципу идёт? И скорей всего идея слишком простая, чтобы до неё не догадались раньше в какой нибудь теории игр. 

Я пока не готов обсуждать это. т.е. у меня нет ясной модели причин-следствий для схемы, которая бы могла обеспечить надежный результат, а, значит, не буду даже пытаться сделать такое. Только когда увижу результат, который точно смогу обеспечить.

Еще пара недель и, похоже, смогу приступить к прошивке безусловных рефлексов, потом посмотрю, насколько это близко к тому, что хотел, буду добиваться такой цели.  Потом разрешу формировать инстинктивные условие и классические условные. При этом будут писаться Жизненный опыт.

Когда отлажу этот уровень, включу ориентировочный рефлекс и отслеживающий уровень фокусировки внимания. С этим начнет записываться трасса переходов актуального внимания (эпизодическая память).

Только после этого начну формировать Модели понимания чтобы обеспечить сопоставления и обобщения.

Сделал ориентировочный рефлекс и связь через него с обработкой данных уровня рефлексов для набора жизненного опыта.

Теперь займусь прошивкой базовых реакций, чтобы обеспечить то, с чего можно более эффективно строить условные рефлексы и связанные с ним данные об успешности реакций (для жизненного опыта своего и отзеркаливания чужого).

После этого будет только один принципиальный путь, которые очень хорошо и повсеместно описан педиатрической литературой. Вот основа (цитирую почти наобум):

1 этап: - наблюдение за игрой взрослого;

2 этап – присоединение к этой игре, совместные игровые действия;

3 этап – подражание действиям взрослого;

4 этап – самостоятельное отсроченное подражание с появлением вариативности игровых действий;

5 этап – появление самостоятельных игровых действий.

Например, педагог говорит: «У куклы грязный носик. Вот платок». Поведение ребёнка: прикладывает носовой платок к носу куклы.

Или педагог говорит: «Кукла Маша растрепана. Вот расческа». Поведение ребёнка: проводит расческой по волосам куклы.

Постепенно малыш открывает для себя назначение многих предметов, но игры как отдельного вида деятельности в данном периоде ещё нет.

С усвоением и обогащением игровых действий ребёнок начинает объединять их в логическую последовательность: сначала кормит куклу, затем причесывает и только потом купает.

В этот же период ребёнок начинает пользоваться предметами – заместителями. Это происходит под влиянием взрослого, по показу которого ребёнок может покормить куклу палочкой вместо ложки или погладить мячик вместо кошечки.

Со временем у ребёнка обогащается не только опыт владения игровыми действиями и увеличивается количество освоенных игровых действий, но и появляется основа для их творческого применения в сюжетно-ролевой игре – ведущей деятельности в дошкольном возрасте.

То есть ты потом предполагаешь скармливать боту тексты (1), для выявления закономерностей ветвления фраз в тексте (2). Потом попытки бота на базе этих закономерностей воткнуть свои реплики (3) и оценка их оператором. С учетом поправок новые более сложные попытки (4) и оценка оператором. Затем самостоятельные постановки тем для диалога (5).

А как ты предполагаешь прошивать безусловные рефлексы? Я сейчас отрабатываю схему, когда оператор дает фразу и список правильных реакций на нее в виде  диапазона от негатива к позитиву. Для проверки идеи, что диалог это спаринг. Типа:

 

"Привет, как дела?||мерзко-так себе-нормально-отлично-восхитительно"

 

Для безусловно-рефлекторной реакции выбирается рефлекс в зависимости от текущего уровня энергии бота, для этого и задается диапазон.

автор: Palarm сообщение № 47406:

То есть ты потом предполагаешь скармливать боту тексты...

Нет, это будет не в автоматизированном режиме, а сначала у бота должна сформироваться цель (на основе нерешенной проблемы), и он, в контексте этой цели будет все рассматривать, в том числе и ответы с Пульта, а для провокации нужного направления ответов, он будет задавать вопросы. Более точно не скажу, пока не будут готовы такие механизмы. Я их описывал в онлайн лектории и в последней книге. 

автор: Palarm сообщение № 47406:

А как ты предполагаешь прошивать безусловные рефлексы?

У меня есть для этого 6 редакторов, ты мог бы их видеть в последней версии, что тебе отправил. Сейчас они несколько дополнены. Вся прошивка - до рабочего включения бота, т.е. до того, как он на основе этих реакций начнет строить свои уже инстинктивные и классические условные рефлексы.

Мозг можно условно разделить на три части: 1) контексты значимости от гомеостаза 2) обработка восприятия с системой безусловных и классических условных рефлексов 3) обработка моторных действий с безусловными инстинктами, и автоматизмами (моторными и мыслительными). Первая часть изучена несопоставимо лучше, чем третья, которая вообще как в тумане. Вторая часть изучена на самом первичном уровне.

Начав строить схему бота, я по традиции большее внимание уделил первой части. Но все более прихожу к выводу, что более первична в обеспечении адаптивности – третья часть (вторая, конечно, самая первично важная). Именно отсюда начинает исходить вся инициатива с самого начала.

Рефлексы типа стимул-действие – лишь дополнение третьей части и уже даже на уровне высших насекомых есть то, что может рулить приоритетами рефлексов в зависимости, в первую очередь, от своего состояния жизненных параметров. Т.е. это уже не просто тупое вынужденное действие от стимулов, а решение потребностей.

Третья часть начинает развиваться нисколько не позже первой, а даже раньше. Еще не имея никаких распознавателей внешнего, тварь уже может проявлять действия, в зависимости от потребностей. Конечно же прошитые наследственно, но потом начинается отзеркаливание результатов более сложных рефлексов, а также результатов наблюдаемых чужих действий, в смысле как они приводят к решению потребностей, точнее целей, которые могут в конечном счете приводить к улучшению жизненных параметров.

Эта инициативность всего, что обеспечивает достижение целей – есть основа для эффекта гомункулуса – управления организмом и его реакциями или же – эффекта осознания себя в происходящем. И она не возникает как какое-то высшее качество адаптивности, а формируется исподволь. Главное: именно эту инициативность и нужно развивать параллельно с системами обработки восприятия.

А что ты называешь целями? Я понимаю так: есть например базовая потребность восполнять потери энергии. Сработал датчик - увидел добычу - попытался её схватить - она стала убегать - погнался за ней. Появилась цель догнать. Сама по себе она не способствует повышению энергии, даже наоборот, но опосредованно способствует этому. И так вся рефлексия: есть базовые потребности - и есть сложные, смотря по развитости нервной системы стратегии их удовлетворения с промежуточными целями.

 

Ещё интересная мысль: эволюция это не только закрепление удачных мутаций, но и провоцирование развития нервной системы при неудачных. У уродливой особи появились проблемы, она их стала решать, и нашла удачную стратегию применения своего уродства. Похожую мысль уже высказывали исследователи, что многие результаты эволюции это как бы побочный эффект каких то мутауий, которые изначально не были нацелены на формирование этого признака 

автор: nan сообщение № 47413:

Именно отсюда начинает исходить вся инициатива с самого начала.

Хочешь сказать, что этапы формирования нужно отменить? Все отделы начинают одновременно функционировать? 

автор: Palarm сообщение № 47415:

А что ты называешь целями? Я понимаю так: есть например базовая потребность восполнять потери энергии.

Цель - не потребность, хотя именно потребность заставляет выбирать цель и она выбирается из набора знаний того, что может в данных условиях пополнить энергию, т.е. для этого нужно накопить такой набор своих и чужих опытов, об этом уже говорилось.

автор: Palarm сообщение № 47415:

Ещё интересная мысль: эволюция это не только закрепление удачных мутаций, но и провоцирование развития нервной системы при неудачных.

Негатив имеет главное значение для развития навыков, его структуры намного превышают структуры позитива в мозге.

автор: Palarm сообщение № 47415:

Хочешь сказать, что этапы формирования нужно отменить? Все отделы начинают одновременно функционировать?

Нет, этапы - те же, но уже на этапе условных рефлексов (т.е. сразу после рождения) должно начаться развитие как стороны обработки восприятия, так и стороны обработки инициативных действий. И начинаться как с самих таких действий, когда нет подходящей реакции в данных условиях, так и накопления жизненного опыта (своего и чужого) имеющихся действий с последствиями - как достигших ту или иную цель удовлетворения потребностей.

Вышла очень кстати статейка про то, как формируются категории для понимания окружающего: fornit.ru/7305 Как раз под руку формирования моделей понимания и обретения Я в их контексте гомункулусом.

За счет закольцовок добавился новый тип макросенсора - динамический, позволяющий фиксировать распределенные по времени раздражители. Если до этого происходило простое укрупнение макросенсора по типу "звук-слог-слово-фраза", то с появлением закольцовок можно уже не просто сформировать еще более крупный "предложение", а совершенно новый - диалог. Типа: если я ему скажу так, то он мне ответит так, тогда я ему так, а он мне так - и т.д. Простым укрупнением старых, "статических" макросенсоров это не получится - нужна локация по времени. А это значит стэк. Только не отдельных фраз - а в контексте диалогов, что за чем идет. Как шахматная партия. И сюда же добавляется новый тип значимости - "перспективный". Если прежде после каждого рефлекторного ответа шел опрос стало лучше/хуже (в моей модели - приближение/удаление к зоне комфорта гомеостаза), то теперь добавляется более приоритетный опрос о конечном результате цепочки вопрос-ответов: стало ли лучше/хуже (в том же прежнем смысле по отношению к гомеостазу) в конце шахматной многоходовки. Но так как цепочка ходов сама по себе может быть частью другой, более длинной цепочки, то добавляется еще один новый тип значимости - "стратегический": стало ли более вероятным прийти к базовой гомеостатической цели? То есть сама по себе такая значимость не показывает изменения гомеостаза, и тем не менее служит маркером, корректирующим ветвление мыслительных автоматизмов. А затем происходит следующее: если есть закольцовки, управляющие сложно запутанными ветвлениями, это приводит к еще более запутанным ветвлениям закольцовок - рекурсивные закольцовки, где уже нельзя однозначно сказать, кто ведомый, а кто ведущий, только в контексте какой то "опорной" закольцовки.