Тема форума: «Бот на ГО»

Определение У-рефлекса из программы:

1. Совпадение во времени (сочетание) какого-либо индифферентного раздражителя (условного) с раздражителем, вызывающим соответствующий безусловный рефлекс (безусловный раздражитель).
2. Необходимо, чтобы действие условного раздражителя несколько предшествовало действию безусловного.
3. Условный раздражитель должен быть не вызывающим значительной самостоятельной реакции.

Тут ничего не сказано про минимальное кол-во повторов сочетания нового раздражителя, иначе получится что все новые раздражители с первого раза перецепляют на себя условный рефлекс. Кроме того, новый условный рефлекс должен быть как минимум не хуже старого, для чего необходимо его записывать только при состоянии "Хорошо". Хотя БЭ довольно инертны и во многих случаях изменения БП вызванные действиями рефлекса никак не скажутся на изменении БЭ. Тем более что некоторые действия вообще никак не влияют на БП. Лучше для фиксации новых У-рефлексов использовать специальный компаратор, которого как я понял, еще нет: стало лучше/стало хуже. Он фиксирует состояние БЭ до рефлекса и сравнивает его с состоянием после. "Стало лучше" - если уменьшилось суммарное значение Плохо по каждому БП (CommonBadValue), "стало хуже" - соответственно наоборот, CommonBadValue увеличилось.

В программе задано 3 повтора. 

В случае рефлексов не поисодит проверки результата реагирования т.к. условие срабатывания безусловного рефлекса уже происходит в Базовом контексте и этим определяет суть реагирования, которая уже была выверена естественным отбором. В этом рефлексы и будут в принципе отличаться от автоматизмов.

Вообще-то он уже есть в BAD_detector.go как для каждого из Базовых параметров, так и общий (CommonBadNormalWell)

Нашел, TriggerStimulsArr.

Это понятно. БУФ-рефлексы прошиты изначально и не меняются, потому нет смысла проверять их адекватность, их можно только блокировать. Речь шла о проверке У-рефлексов.

Это да, но детекторы срабатывают как компаратор, на превышение/занижение пороговой величины. Это значит, что если текущие значения будут далеко за порогами БП, то сколько не дави на кнопки пульта, активируя тем самым БУ-рефлексы, БЭ не изменится. Потому, что величины изменений при выполнении рефлексов проценты или доли от них. И потому возникает вопрос: если компараторы БП, и тем более общий компаратор БЭ такие инертные, есть ли смысл привязывать к ним оценку эффективности У-рефлекса? Думаю, что нет. И как я понял у тебя оно и не привязано. Просто фиксируется, что 3 раза повторилась уникальная комбинация пусковых стимулов П1, которая ничего не запускает, но сразу за ней повторилась другая уникальная комбинация П2, которая запускает рефлекс. И тогда комбинация П1 начинает запускать рефлекс, который раньше запускала П2. Получается, что тут не нужна никакая оценка в плане стало лучше/хуже успешности такой перепривязки, а просто происходит перепрошивка пусковых стимулов. Точнее, оценка должна делаться иначе: при каждом повторе новой пришитой комбинации П1 перед комбинацией П2 должен мотыляться счетчик повторов. Если повторилась +, не повторилась -.

Таким простым способом можно реализовать механизм подкрепления, если считать им сам факт повтора П1+П2, положительного и отрицательного, которое либо еще больше закрепляет связь между П1 и П2, либо наоборот ослабляет. И если например после перепрошивки пусковых стимулов от П2 к П1 вдруг перестала повторяться пара П1 + П2, то через некоторое время цепочка распадется и произойдет обратная перепрошивка как было - к П2. А если опять начнет повторяться - снова перейдет к П1. У тебя есть ConditionReflex.rank, только как я понял это просто для перекрытия рефлексов с рангом ниже, а не для закрепления/дезадаптации У-рефлекса.

А механизм перекрытия я представлял себе так: У-рефлекс это просто дочка конечного узла ветки активации рефлекса. То есть всегда срабатывает только конечный узел ветки. Стало быть, если у него появится дочка - она станет конечным и станет срабатывать. А если ее заблокировать (Stat = -1), начнет срабатывать родитель. И так по цепочке можно последовательно активировать/блокировать узлы-рефлексы. При этом последовательность означает историю их возникновения, а блокировка - откат по истории назад вплоть до первичного узла БУ-рефлекса, от которого пошли ветвиться дочерние У-рефлексы.

В такой реализации У-рефлекса просто фиксируется закономерность: если перед пусковым образом П2, запускающим рефлекс Р, более 3 раз возник пусковой образ П1 - он начинает запускать Р. Но в отличие от БУ-рефлекса такая перепрошивка не вечная, и если наблюдаемая закономерность пропадет, вернется старая связь от П2. В этом ее продвинутость, по сравнению с жестко-прошитым БУ-рефлексом: она меняется по обстоятельствам, позволяя более точно подстраиваться под условия. Это простейшая реализация прогностического реагирования с цепочкой памяти в 1 шаг: попытка среагировать заранее. Но как получается - без оценки, стало ли от этого лучше или хуже. Я раньше думал, такая оценка обязательна для фиксации нового У-рефлекса, но оказывается не всегда. Ты в описании к прошлой версии говорил о каких то 2 типах У-рефлексов. Может это как раз первый, простейший тип, без оценки - просто тупая перепрошивка пусковых стимулов. Она может использоваться, и по идее только она там и может - для переноса значимости внешних действий на обезличенные фразы. Выше в постах приводил блок-схему по этому поводу. То есть буквально:

• фраза: ах ты негодный!
• действие: наказать

После нескольких повторов таких сочетаний фиксируется значимость для фразы как значимость действия, которое прошито изначально - она как бы переносится на фразу. Теперь фраза вызывает точно такую же реакцию как действие. Не представляю, как иначе возможно сделать такую инициализацию фраз, кроме как сопровождая их значимым действием. А далее точно таким же образом значимости могут переносится между фразами. Но это понятно, будет иметь ограничение: не получится все фразы инициализировать таким образом, потребуется группировка/обобщение, "логические алгоритмы" - это уже функции более продвинутых механизмов, получение более сложных смыслов.

И вот тут уже У-рефлекс видимо становится второго типа: со значимым, смысловым подкреплением, а не просто фиксацией повторений. Когда достаточно одного раза, но с мощным подкреплением, чтобы практически намертво закрепить новую перепрошивку. Или наоборот, разорвать вроде бы неразрывную связь, если отрицательное подкрепление будет достаточно сильным.

Условный рефлекс - этот просто прежний безусловный, но с новым пусковым стимулом. И все. Или прежний условный и опять с новым пусковым. Это - самый низкий уровень адаптивности, как у насекомых.

В классическом описании фиксации У-рефлекса кроме повторений обязательно положительное подкрепление. Только получается, что на самом деле "подкрепление" - это наличие старого пускового стимула после нового. И фиксируется рефлекс просто частотой повторения этой пары стимулов. Если звонить в колокольчик и потом давать корм, при виде которого текут слюни у собаки - скоро они начнут течь уже при звонке в колокольчик. Но только если потом обязательно дать корм. А если перестать давать - У-рефлекс дезактивируется. Если давать долго и постоянно, он настолько окрепнет, что станет фактически новым БУ-рефлексом и выдержит даже многократное отсутствие "подкрепления" в виде корма. Но все равно сдуется без корма. Но если после колокольчика начать сильно бить током, закрепить ответную реакцию к новому раздражителю-току, а потом перестать бить и начать давать корм - старый, предыдущий активируется?

То есть тут не просто "и все". У тебя механизм дезактивации У-рефлекса предусмотрен? Ведь он по факту есть. Имеется в виду не наложение нового У-рефлекса поверх старого, а просто перестать давать корм после колокольчика. В реальности у собаки слюни перестают бежать через некоторое время. А у бота выходит так и будут, пока не запишется новый У-рефлекс.

Дезактивация - это механизм дезадаптации. Условные рефлексы, ты прав, обладают свойством недолговечности, их связи начинают протухать если они постоянно не подкрепляются. Я не предусмотрел такой механизм, но его легко сделать, введя время последней активации в структуру рефлекса. Нужно ли это? Я по-прежнему не хотел бы долго заморачиваться с рефлексами, они не делают погоды в психике. Но в отчете стоит, конечно, этот момент прописать.

В условном рефлекса важно то, что они первыми среди других механизмов организуют связь причины и следствия: "на самом деле "подкрепление" - это наличие старого пускового стимула после нового".

Без протухания в нем смысла нет никакого, рефлексы будут постоянно перецеплять пусковые стимулы, часть таких связей заклинит намертво - и все в итоге заглючит в сплошном неадеквате.

Я думал, что изначально древний вариант У-рефлекса, где просто фиксируются повторяющиеся пары стимулов, ты превратишь в более продвинутый, добавив эмоциональное подкрепление, что позволит перепрошивать пусковые стимулы от казалось бы никак не связанных раздражителей. То есть классический У-рефлекс тупо следит только за близлежащей по времени парой раздражителей, а продвинутый может это время растянуть сколь угодно далеко или вообще связать по своим "внутренним понятиям" что угодно. Суть останется все та же - перепрошивка пусковых стимулов, но появится возможность более широко трактовать понятия причина-следствие, что от чего можно перевязывать.

Основанием для такой модификации служит то, что не только насекомые, но и животные продолжают активно использовать У-рефлексы, включая человека. Ну и выше говорил про механизм первичной инициализации базовых понятий, который думаю только через У-рефлекс и реализуем, только уже с дополнительным, значимым подкреплением, чтобы не протухал так быстро. Но ты почему то ввел их только для галочки. Хотя они как минимум могут активировать доминирующие контексты, тем самым задавая тренд ветвления дерева понимания. Ведь именно в этом  как думается главная сложность борьбы с вредными привычками, когда сначала на рефлекторном уровне, без возможности как то этому помешать, запускается контекст и провоцирует запуск автоматизма в свое ключе. Отсюда эмпирически подмеченное правило "борьбы с страстями": не искушай, не провоцируй - не сможешь потом  остановить. Блокировать ее можно только более мощным конкурирующим контекстом, поэтому бывших алкоголиков не бывает: стоит только расслабиться, и все вернется.

То есть я думаю, У-рефлексы, в виде различных модификаций, широко используются в психических явлениях и от них в том числе надо отталкиваться для получения различных механизмов психики, добавляя к простому У-рефлексу какой то девайс, например произвольную выборку пары пусковых стимулов для перепрошивки.

Рефлексы формируются в третичной теменной коре, автоматизмы – в третичной лобной – совершенно разных местах. Третичная теменная оказывается поставщиком образов восприятия для лобной, здесь формируются распознаватели самых сложных сочетаний признаков восприятия, отсюда уже нет безусловных рефлексом, но есть условные, которые и используют эти сложные образы как стимулы для запуска, что дает возможность сформировать условный рефлекс по самому избирательному, уникальному образу. На этом возможности механизмов третичной теменной коры исчерпываются. Но с ее развитием параллельно идет развитие и третичной лобной коры с совершенно новым и более эффективным качеством адаптивности. Поначалу это – просто формирование автоматизмов в тех случаях, когда появился новый стимул, для которого нет рефлексов. Потом, с появлением собственного дерева образов (уже с произвольно формирующегося значимостью), даже если есть рефлексы, но еще нет осознанного результата реагирования (автоматизма), то начинается осмысление ситуации.

Но чтобы уровень рефлексов получился более убедительным, ты прав, наверное, стоит сделать рефлекс как можно более “правильным” с природной адекватностью. А в природе условный рефлекс угасает по трем причинам.

Долгое отсутствие пускового стимула (узла ветки, с которого он запускается) – это легко реализуется добавлением в структуру у.рефлекса lastActivationint– в числе пульсов и времени протухания истекших рефлексов;

Действие конкурентных раздражителей – т.е. подавление конкурентными рефлексами и автоматизмами – это труднее, но можно реализовать, т.е. если есть более значимый рефлекс или любой автоматизм на тот же пусковой стимул, то он блокирует у.рефлекс. Это сделано для автоматизмов, а для рефлексов придется добавлять веса значимости в структуру рефлекса.

При отсутствии “подкрепления” после появления пускового стимула – это труднее всего организовать, хотя и можно.

Тогда я прервусь с психикой и доделаю эти дела, но, м.б. последнее, если это будет слишком наворочено, не стану делать.

А что ты думаешь по поводу схемы инициализации первичных понятий через условный рефлекс, когда значимость действия с пульта переносится на фразу, которая сопровождает действие? В ней есть смысл?

Вообще-то такая функциональность не присуща условным рефлексам. Ты только что радел за чистоту моделирования, и убедил меня допилить у.рефлекс по феншую :) 

А к чему тогда она ближе и как ты предполагаешь учить Beast смыслу слов и фраз? Здесь ближе всего аналогия обучения слепо-глухо-немых детей, где суть методики была в многократных повторениях связки условный знак, обозначающий предмет и сам предмет, который давали в руки ребенку. Пока он не зафиксирует связь: всякий раз, когда в руках оказывался знакомый предмет, например мяч, оператор определенным образом складывал пыльцы ребенка. И когда ребенку захотелось мяч, всплывшая в его памяти связка объект - символ спровоцировала получения от оператора мяча. По моему тут тот же механизм У-рефлекса, только с эмоциональным подкреплением в виде достижения цели: захотелось мяч - сделал условный сигнал - получил мяч. Условный сигнал==мяч. Но ребенок не перебирал хаотично какие попало жесты, в выбрал из памяти связку жест-мяч, которая зафиксировалась простым У-рефлексом, который просто тупо запоминал пары часто возникающих друг за другом раздражителей, и закрепилась в его продвинутом варианте с подкреплением. То есть У-рефлекс в этой ситуации играл роль формирователя базы заготовок вариантов реакций.

У у.рефлекса главное – уже прошитое действие, унаследованное изначально с первичного б.рефлекса, а сам у.рефлекс символизирует причинную связь: условие -> действие -> сдедующее “подкрепление”. В твоем примере наоборот: сначала ребенок получал сенсорное ощущение, потом ему складывали пальцы. Наверно, можно сказать, что вырабатывается рефлекс причинной цепочки: мяч попал в руки (условие) + сложенные пальцы (доп.компонент условий) -> действия с мячом и -> “подкрепление”. Будет ли эффект в возрасте еще не развитого отзеркалияния? Вряд ли. И у у.рефлексов еще нет никакого смысла (осознания того, что это значит).

У того ребенка уже были цели в его текущем состоянии, раз была необходимость как-то дать знать, что он хочет получить мяч. Он понимал, что это не он сам, а взрослый складывал его пальцы, т.е. была ситуация именно отзеркаливания.

Еще до первых слов есть период экспериментов со своим телом, когда нарабатываются связи: действие – то, к чему оно приводит. Это прошито заранее в редакторе действий и более продвинуто – редакторе рефлексов. Это – первые ассоциации того, что в текущем самоощущении и его особенностях, приводящих к появлению потребности и цели может использоваться для экспериментов, дающих уже осознанную оценку значимости последствий. Это вырабатывает первые, самые тупые автоматизмы. Тут же возникают первые результаты отзеркаливания чужих ответных действий.

А вот на основе этого, когда есть автоматизм, но в условиях присутствует компонент значимой новизны, возникают попытки первых сопоставлений с уже имеющимися другими действиями, а это уже – начало произвольности.

БУ-рефлекс ,У-рефлекс - это обезличенное, бессмысленное действие. Можно по моей схеме добавить еще рефлексов, это ничего не изменит в схеме реагирования, она по прежнему будет строго алгоритмической. Для придания смысла действию нужно провести целевой эксперимент: поставить цель - попробовать действие - зафиксировать результат при текущих условиях. Тогда появится возможность выбирать действие согласно текущим целям, а не просто ветвиться по сформированным связям. Это будет уже принципиально другое реагирование. Осталось только понять, откуда берутся цели.

Судя по всему, основная, глобальная цель - приведение в норму базовых параметров. Но когда появляются механизмы прогнозирования, которые строят довольно длинные цепочки действий, предположительно ведущие к стабилизации БП - возникают промежуточные цели: построить эти цепочки, а затем оптимизировать. Они начинают конкурировать между собой и прямыми рефлекторными действиями для стабилизации БП: можно просто съесть сколько успеешь, пока не отберут и уйти, а можно, подавив голод, сначала утащить добычу в укромное место и спокойно съесть ее всю, еще и про запас закопать. Все это варится в общем котле текущих, отложенных, нерешенных целей, перемешиваясь, контрастируя - что создает постоянный фон каких то задач. Образно можно представить большой котел в который постоянно что то сыпется, все это варится, бурлит - и периодически всплывают и лопаются пузыри, аллегория актуализации и решения какой то проблемы. Выбор что и как решать - это произвольность. Но не случайно-хаотичная, а как и всякий физ. процесс подчиняющийся строгим физ. законам - так же строго закономерна. Другое дело, что выявить ее очень сложно, в смысле проследить путь конкретного пузыря, от начала его формирования и уничтожения, и практически не возможно предсказать, где когда какой пузырь появится.

Произвольный выбор какому пузырю надуваться, всплывать и лопаться формирует феномен свободы выбора. С одной стороны можно актуализировать любую проблему и начать ее решать, с другой стороны - самая идея, какую проблему решать, детерминирована текущим состоянием варева в котле, которое практически не возможно предсказать. И получается парадокс как в "матрице": если бы ты знал, что сейчас заденешь вазу, она упадет и разобьется - стал бы ты ее задевать? Ответ зависит от того, что ты хочешь в данный момент: чтобы она разбилась или нет.

В purpose_genetic.go уже заложены начала целеобразования.

Beast_chema.rar

Это схемы рефлекторной части проекта, который в принципе у меня с Nan общий, только с небольшими не принципиальными отличиями. Думается, так проще будет понять, что там происходит. А почему именно так, будет показано потом в пояснениях к проекту, когда он будет закончен.