Тема форума: «Бот на ГО»

>>Тут кролику явно становится хуже, и тем не менее рефлекс закрепляется.

Когда в глаза дуют, то они закрываются, это – избавление от негатива, т.е. стало лучше.

А вот если раньше глаза были открыты и вдруг дунули, то стало хуже. Держать глаза открытыми, когда возникло новое – появился дующий предмет нельзя, открывание глаз в таких условиях блокируется.

В общем я сделал именно так.

Если ты привычно кушаешь, когда тебе протягивают гамбургер, но вдруг с красным светом при жтом тебя бьют током, то тебе стало хуже и реакция съесть гамбургер при красном свете долза быть заблокирована.

А вот когда к тебе тянут электрошокер и ты увернулся, то вместо тока получил избавление от него, такое закрепляется.

В общем, тут условность, как назвать. Можно назвать блокировку неудачного в определенных условиях – отрицательным рефлексом, суть не изменится. Но это должна быть блокировка, а не установление новой реакции.

Возможно следующие замечания позволят реализовать новые идеи.

Судя по логам и описанию, для каждой конкретной ситуации будет записываться конкретный ответ в виде готовой фразы. Это подразумевает бесконечное разнообразие необходимых заготовленных фраз и быстрое достижение лимита ресурсов.

Совсем другое дело, если не использовать макросенсоры, а всегда базироваться на корнях-окончаниях. Это дает возможность гибко дополнять фразу, не используя дополнительную память.

Например, для корня “как” могут быть продолжения:

как

дела | настроение | успехи | найти | суметь | т.д. причем все это – уже имеющиеся наборы из сенсора слов.

Теперь для каждого из них может быть ветвление, например, для “суметь”:

убедить | убить | порадовать | ответить | и т.д.

А для этого уровня – свои возможные продолжения. Например, для “порадовать”:

тебя | себя | того | и т.д.

Понятно, что максимальный уровень в ветке будет равен длине полной фразы. И еще понятно, что число уровней будет не таким уж большим – по числу слов в разных фразах.

Обучение происходит в строгой последовательности. Если с Пульта пришла фраза: “Как я могу тебя порадовать”, то сначала запишется слово “как”. В следующий раз слово будет распознано и может дополниться следующим и когда будет исчерпана длина фразы, то такая ветка будет активироваться уже вся моментально.

Конечно, начинать нужно не со слов, а с совокупностей возных условий, создающих контекст понимания фразы:

плохо, нормально, хорошо, игра, обучение, нет энергии, гон и т.п.

В базе дерева три узла: плохо, нормально, хорошо

Каждый из них ветвится на сочетания условий (игра, обучение, нет энергии, гон и т.п.), как оказалось – от оного до трех сочетаний достаточно. Эти сочетания – фактически эмоции (в отличие от гомеостатических контекстов значимости) – то, что Бот должен мочь произвольно активировать.

Следующий уровень – разные действия с Пульта: наказать, поощрить, накормить, успокоить, поиграть, поучить и т.п.

Для каждого предыдущего уровня узла – должны быть – все эти действия.

И только теперь пойдут уровни слов.

Вот для узлов слов оператор должен мочь задавать авторитарные жесткие автоматизмы: последовательности слов, действий, заготовленных фраз и уже имеющихся автоматизмов. Это – период авторитарного, безусловного обучения. Потом эта функция может использоваться, когда Гомункулус не знает, как ответить, но отвечать нужно и он задаст вопрос: “как я должен поступить?”.

После накопления достаточного опыта Гомункулус начнет сам формировать ответы, исходя из доступного ему опыта узлов дерева и эпизодической памяти – на основе уже ментальных автоматизмов и развивать их.

>>не догоняю, какие реакции вешать на узлы дерева и как они в конечном итоге будут собираться в конечную реакцию-фразу бота. 

Каждый узел – структура, где есть IDавтоматизма. Автоматизм – тоже структура, в которой прошита последовательность действий. У автоматизмов – свой файл, у дерева – свой, у эпизодической памяти (структура, хранящая IDузла дерева) – тоже свой.

Активная ветка дерева со всей последовательностью уровней – и есть образ текущего момента, где видно, какие условия ее активировали и какие слова. Последовательность слов дают фразу.

По каждому действию с Пульта переактивируется дерево и в процессе - собираются фразы. Очень важно сохранять эту активность действий некоторое время (у меня раньше было 10 секунд, сейчас 2 секунды), но не оставлять постоянной. Я назвал это – “доминирующем текущим контекстом” или первичной “эмпатией”. Именно по каждому такому события и переактивируется дерево. А в промежутках Гомункулус может заниматься отложенными доминантами нерешенных проблем или просто ничего не делать (лень).

По каждой активности очень полезно на Пульте иметь картину активной ветки со всеми ее уровнями и тоже – конечную фразу, без этого очень трудно все отлаживать (не помогут точки прерывания дебаггера). И в этом же радекторе удобно проводить жесткое обучение – записывать автоматизмы по итогам активной ветки, для любого его узла.

>>На слово "как" может быть огромное число вариантов - и ты их все прописываешь?

Они прописываются по мере необходимости, а не сразу, по мере формирования дерева. Для безусловного уровня обучения полезно, чтобы ветки формировались по текущей новизне за один раз, а на период инициативы Бота – более консервативное условие, чтобы дерево не забивалось мусором. Мало того, если в узле есть счетчик частоты использования, то можно забывать почти не используемые, - пусть если нужно сформируются.

Не думаю, что в принципе можно придумать что-то более экономичное для ресурсов и эффективное.

В структуре узла дерева есть один IDактуального автоматизма – который выполняется сходу при активации последнего узла активной ветки. Но с опытом накапливается массив признаков значимой новизны и если в активном узле есть такая несвойственная ему новизна, то умолчательный автоматизм не выполняется, а сначала вызывается функция осмысления, где будут просмотрены узлы с такой новизной и неудачей. Если нашлось, то нужно выбрать более удачное продолжение для такой новизны и если не нашлось начать придумывать действие (доминанта нерешенной проблемы).

т.е. в каждом узле дерева есть int– удачность отработки умолчательного автоматизма. И int– число проверенных результатов (уверенность).

При каждой активации узла пишется новая структура эпизодической памяти с idданного узла, так что можно легко выбрать весь прошлый опыт с данными условиями.

К данному узлу, кроме умолчательного IDавтоматизма может быть привязано неограниченное число других автоматизмов – попыток совершения действия в данных условиях, своих и чужих, с результатом успешности.

Все это – очень полезная инфа для обработки. Самый успешный автоматизм становится текущим умолчательным.

Кстати, ты задавал вопрос: “как они (узлы) в конечном итоге будут собираться в конечную реакцию-фразу бота”. Это – очевидно: самый последний активный узел ветки имеет самое последнее слово и он может стать активным только тогда, когда есть все другие слова в порядке их последовательности в узлах.

На дальнейшие перспективы возникает проблема обработки очень длинных предложений и понимания смысла очень длинных текстов, чем типа занимается поясная извилина. Это пока – в тумане, но уже есть естественные версии решений – произвольное переключения активности веток с более мелкими фразами по мере прочтения большого текста и т.о. появления общего смысла (последовательности того, что показывают конечные активные узлы при таком переборе). Кроме темного леса мыслительных автоматизмов – это – далекая перспектива, которую уже нужно учитывать.

В игровых ИИ или “навыках” Яндекс-Алисы и т.п. самым актуальным является построение естественных диалогов. Использовать разного рода ветвления – гиблый для программиста путь, приводящий к предопределенным диалогам.

Но с появлением собственных жизненных параметров и сенсорики текущих условий построение диалогов становится контекстным, минимизированным по ресурсам и затратам на обучение и, главное, имеет универсальный механизм дерева контекстов понимания-реагирования.

Уровень авторитарного обучения диалогам это – не предопределенная прошивка заготовок, а результат естественного общения, когда оператор подсказывает Боту ответы для данного сочетания условий. При этом запоминаются не фразы целиком, а они раскидываются по узлам дерева так, что одно и то же слово может использоваться во множестве разных веток.

Закончил уровень авторитарного обучения и теперь можно переходить к механизмам произвольности (инициативы Бота).

Думаю, сначала ограничиться только одной темой, хорошо ее сформирую в Дереве, чтобы Бот получил достаточно опыта для сопоставлений и обобщений, и тогда начну отладку режима инициативы.

Дополнительные сведения по Дереву Понимания.

В природной реализации мозга заранее формируются образы восприятия, связанные с рефлекторными ответными действиями для данных условий. Это могут быть образы бабушек, мальчишек, самого себя и т.п. которые оказываются связанными в дереве понимания с другими образами через образы взаимодействий: мальчишка помог бабушке.

Даже до существования слов такая связь формируется при наблюдении за объектами внимания. А со словами она дополняется символьными образами – синонимами так, что подлежащее заменяет образ объектов внимания, а глаголы – образы взаимодействий между ними. Прилагательные уточняют образы, привнося дополнительные параметры условий. Если человек знает несколько языков, то у него возникают множественные словесные синонимы, но даже в одном языке есть немало полных синонимов для одного образа.

В схеме Бота нет образов, построенных на зрительных, слуховых и т.п. модальностях. Это напоминает состояние слепоглухих, которые вполне возможно обучать (существуют соответствующие школы). Все образы заменяются уже готовыми словами (от сенсора слов), действия – от сенсоров глаголов, а уточнение образов – от сенсоров прилагательных. Каждый словесный уровень Дерева понимания – одно слово (или символ или окончание). Сенсор полных синонимов позволяет заменять одно слово другим, сохраняя смысл (связанную со словом значимость в данных условиях).

Таким образом, связанные одной веткой слова в определенной фразе позволяют получить смысл целой фразы – как взаимодействия существительных через глаголы. Например, для данных условий от узла Я могут быть множество ответвлений через глаголы или прилагательные, формирующие общий смысл понимания. Для других условий эти смыслы могут быть совершенно другими.

В качестве Я самого бота выступает особая функция – центр инициативы Бота (homunculus.go), которая может произвольно активировать любые ветки Дерева, в том числе ветки со словом Я. Т.е., как это происходит и в природной реализации, самоощущение может исходить из любых образов понимания (можно легко представить себя хоть мудрым камнем у дороги), но в норма остается понимание, что это – только временно и сохраняется адекватная персонализация.

Тут один важный момент: перед запуском автоматизма он сначала проходит через отслеживающий режим Гомункулуса и если того ничто не возмутит (нет важной новизны, которая заставит приостановить выполнение и искать более подходящее), то автоматизма выполняется, ПРИ ЭТОМ БЛОКИРУЯ любые другие рефлексы (кроме самых базовых). т.е. нет каких-то противоречивых одновременностей в реагировании. 

Самые базовые рефлексы занимаются распознаванием текущих базовых контекстов значимости, и с ними определяется какая ветвь Дерева готова для активации. Но у Гомункулуса есть возможность произвольной переактивации веток, т.е. изменения эмоционального состояния. А подкрутить можно на Пульте только текущее состояние жизненных параметров. Если ты имеешь в виду под "подкрутить" такую произвольность то да, можно активировать совершенно неподходящие эмоции, и да, по результату Бот получит Хуже и Лучше, что позволит ему судить, была ли правильной подкрутка.

Любое субъективное моделирование - неадекватно реальности потому как им управляет не реальность (а как именно выделять корреляты реальности?), а подбирается что-то новое для своего поведения, конечно, только после пробы такого поведения станет ясно, подходит ли оно для данных реальных условий.

Такой подбор должен быть прагматичным, а не быть самоцелью генерирование всякого бреда, т.е. направление мышление должно иметь определенную цель, а не быть бесцельным. Цель на уровне психики - получение состояния Хорошо (другого критерия выбора направления мышления там просто нет).

Можно ввести такие механизмы если понадобятся в конкретных случаях.