Тема форума: «Бот на ГО»

В продолжение темы в дневнике: Не замутить ли ИИ?..

В данный момент я организовал локальный сайт для эволюции нейросети в довольно большом объеме элементов (порядка нескольких миллионов узлов). Сайт уже нормально взаимодействует с сервером, писанным на ГО в виде exeфайла в корне сайта бота. Именно на этом сервере и будет развиваться нейросеть, а сайт нужно только для инициализации, ведения критических периодов развития и потом для словесных контактов.

Активность сети будет видна в виде картинки, каждый пиксел которой отображает активность соответствующего узла. Для удобства ширина картинки будет примерно равна ширине большого монитора.

Будет первый слой – словесный сенсор, за ним слой формирования примитивов словосочетаний по разным темам (контекстам значимости), ширина картинки 1500 точек, высота ~800. Потому как число русских слов в разных падежах и склонениях – около 350 тысяч (у меня уже есть такая чужая база, но буду еще делать свою).

В принципе совершенно неважно, в каком порядке будут узлы, активирующие от того или иного слова, но чтобы хоть что-то осмыслить по активности на картинке, нужно бы сделать словесный сенсор так, чтобы схожие слова группировали, например, вокруг начальной буквы. Нужно будет организовать некое “послесвечение” так, чтобы введенная фраза, текст давала рисунок активности. Тут многое нужно будет продумать и преодолеть.

Вот для обсуждения и предложений и выносится то, как лучше группировать слова в картинке словесного сенсора. Потому как потом переделывать будет непросто.

Если пиксели сделать цветными, то можно получить достаточно большую вариабельность оттенков смысловой значимости. А контекст будет означать доминируюший диапазон спектра. Например ближе к красному - негатив, ближе к голубому позитив и т. д. И не нужно тогда выводить на экран весь словарный запас, а только базовые слова, задавая склонения через смещение спектра. Это позволит боту сначала научиться понимать простейшие выражения, а потом уже смысловые нюансы.

Вот еще несколько аргументов, почему нужно дополнительные параметры для слов-пикселей:

• при общении большое значение имеет интонация - одно и то же слово сказанное с разным выражением может резко менять свой смысл
• жестикуляция, мимика - это тоже играет важную роль. Вплоть до того, что возможен даже язык жестов.
• слово состоит из звуков, слогов. При анализе слов выделяются корень, приставки, суффиксы и т. д. Это позволяет объединять слова по общему смысловому признаку и формировать правила образования новых слов.

Если использовать просто точку с двумя состояниями ВКЛ/ВЫКЛ, то максимум что определит бот - частотность встречаемых слов в тексте. Цветовой палитрой же можно закодировать интонацию, мимику  и жесты. Это по сути и есть контексты, которые легко может выделить бот в начальной стадии обучения.

Составные части слова тоже можно закодировать цветом, или использовать разбивку экрана на сектора. Но тогда точка будет означать уже букву, а не слово. Из букв формируются первичные примитивы - слоги. Из них уже корни слов, суффиксы, приставки, окончания. Все это распределяется по матрице например так: корни как максимально смысловая база слова по центру, причем чаше встречаемые корни ближе к центру, остальные составные слова по периферии. Это уже напоминает распределение рецепторов в сетчатке со всеми вытекающими интересными аналогиями обработки сигнала. Например, это уже не просто линейный поток слов, а сначала определение "общего цвета" - эмоционального контекста, потом уточняющие оттенки спектра - интонацию (дополнительный контекст). "Циркадными движениями" выхватываются знаки препинания, составные части предложения (подлежащее, сказуемое). "Фокусировка" в фовеоле на корнях слов позволит получить смысловые контуры, а активность на периферии приставок и окончаний уточнит нюансы.

>>Если пиксели сделать цветными

пикселы будут цветными.

>>получить достаточно большую вариабельность оттенков смысловой значимости.

Цвет будет означать только активный – зеленый или заторможенный – красный. Самые общие контексты значимости будут индицироваться отдельно, т.к. они неспецифичны.

>>не нужно тогда выводить на экран весь словарный запас, а только базовые слова, задавая склонения через смещение спектра.

Думал, но получается не упрощение, а усложнение. Встраивание грамматики, но заучивание правил не дают то, что может быть уже готовая определенность окончаний и приставок. Скорее всего, кроме слоя словесного сенсора будет уже готовый слой наиболее часто встречающихся словосочетаний вплоть до готовых предложений – чтобы это сразу распознавалось и этому уже можно придать контекстную значимость. Все остальное будет формироваться обучением на результатах реагирования.

Тут возникает еще оптимизация на случай введения ошибок в словах. С одной стороны при вводе будет коррекция спелленгом, с другой спец канал предварительного распознавания, в котором будет смотреться первая и последняя буква и наличие остальных букв в любом порядке.

>>при общении большое значение имеет интонация - одно и то же слово сказанное с разным выражением может резко менять свой смысл

Звукового и зрительного канала не будет, общение – только введенными словами. Как это бывает при письменном общении, вся “интонация” возникает только контекстом и особенностью фраз.

Меняя цвет всех пикселов ты и получишь визуальное представление о текущем контексте, который может быть очень сложно замешанным. А активность/пассивность их показывать простой визуализацией пикселя на экране: есть - активный, нет (пустое место, например черный или белый фон) - пассивный. С черным фоном будет лучше, на нем много цветов хорошо видно. Не зря же программеры обычно ставят черный фон для выделения форматирования кода. Ну или сделать пикселы черно-белыми (белые точки на черном фоне или наоборот), а сбоку или снизу разместить спектральную полоску, показывающую текущий контекст. Цвет мне думается не плохая идея для кодирования общего контекста. Ты же не знаешь сколько их будет, а RGB кодом ты можешь задать их хоть миллион. Контексты можно перемешивать, контрастировать, выделяя доминирующий. Можно задавать общий для всего, а под ним локальные для областей. Смещая спектр общего получишь автоматом смещение локальных. Вообщем много полезного можно выжать из модели оптических эффектов, что может потом пригодиться.

Группировать пикселы на матрице можно по общему корню, потому, что он задает общий смысл. А можно просто по общему сочетанию букв в слове. То есть задаешь например 3 буквы - и делаешь группировки по словам, где они встречаются. Потом 4, 5 и т. д. до какого то предела. Визуально это будет выглядеть как концентрические окружности или прямоугольники, смотря какой экран.В центральной фигуре меньше всего пикселей - там самые длинные примитивы, на крайнем кольце - самые короткие, каких больше всего повторений. В итоге получатся кольца разной толщины, радужные, если раскрасить пикселы, или черно белые, или двухромные.

Если я правильно понимаю твою стратегию, ты хочешь создать максимально большое количество разношерстных примитивов, чтобы используя их сочетания получить достаточно большую вариабельность активности рецепторов.

Поддерживаю идею Palarm'a о группировке слов по общему корню. Это будет лучшим вариантом, если система значимости бота должна коррелировать с человеческой касательно восприятия слов и текстов. Мне кажется верным создание в качестве первичных рецепторов распознаватели всевозможных частей слов: в первую очередь, корней. Это должно значительно упростить схему, поскольку префиксов, суффиксов и окончаний сравнительно мало. Из сочетаний первичных рецепторов сможем получить слова, а далее -- предложения. Разумеется, при создании системы значимости нужно учитывать, что та или иная значимость прежде всего связывается с корнем слова, несколько меньше -- с префиксами и суффиксами, с окончанием можно связывать в редких случаях или не связывать вообще. Правда, здесь уже возникает сложность при распознавании слов: так-то нужно последовательно возбудить распознаватели "префикс-корень-суффикс-окончание", но как обрабатывать ситуации отсутствия или неверного распознавания части слова -- неясно совсем.

Ещё прикидывал реализацию чисто по буквам в качестве первичных рецепторов и потенциальные связи -- все со всеми, но там будет кошмар ещё хуже, чем у создателей искусственных нейросетей: при максимальной длине слова в 10 букв получится полтора квадриллиона возможных связей. Большинство связей просто не будут использованы, такие как много гласных или согласных подряд, а также несуществующие слова, поэтому можно измыслить какой-нибудь вариант оптимизации. Здесь главная проблема распознавания порядка букв в слове также перечеркнёт задумку.

Несостоятельность своих предложений вижу только после формализации. Допускаю, что они натолкнут кого-то на более оптимальные идеи реализации.

Спасибо за советы, мужики! ради этого и создана тема, они в самом деле наталкивают на мысли.

Из уже прозвучавшего мне ясно, что в первичный набор нужно включать 1) буквы 2) приставки-корни-окончания(с суффиксами) и в следующем, так же искусственном слое – наиболее часто встречающиеся фразы из первичного набора.

Вместо первоначальных 350 тысяч точек получается всего около 10 тысяч, а следующий слой тоже не стоит сильно раздувать, он нужен только для “скорочтения” и связи со значимостью (потому как просто отдельные слова и их части не могут иметь своей постоянной значимости).

Вот отсюда уже и стартуют рефлексы возможных ответов уже в контексте значимости, распознаваемой по теме разговора, и могущем меняться по

ходу.

Т.е. матрицу уже готовых типовых программ действий (ответов) так же нужно будет сделать искусственно, как уже есть заготовленные мышцы для определенного назначения. Все остальное будет нарастать посредине, улучшая адаптивность восприятия и ответов. Система должна развиваться как со стороны восприятия, так и со стороны действия.

Но разумная адаптивность может возникнуть только после отработки выделения актуально значимо-нового с каналом его осмысления, который и будет развивать автоматизмы понимания на входе и ответов.

Возможно мы забегаем вперёд, вопрос пока стоит о графическом интерфейсе, чтобы визуально отслеживать процесс распознавания и придания значимости. Есть экран, на нем пиксели, каждый пиксель примитив. При работе все это будет моргать, мельтешить и ничего не будет понятно. Надо как то кучковать пиксели. Первое, что приходит в голову - по какому то общему признаку. Допустим корню слова или просто сочетанию букв. Второе - раз их сгруппировали, получились сектора матрицы. Их можно представить в виде концентрических окружностей разной толщины или любых других фигур. Можно в виде ленты-штрихкода с вертикальным полосками. Это не принципиально, вопрос лишь как наглядный, в смысле, интуитивно понятней. Поэтому у меня сразу же при слове значимость возникла ассоциация с цветом. В самом деле, всякий скажет, что красный это агрессия, а голубой покой. А переливающиеся цветами круги/многогранники/полоски покажут в динамике, как формируется глобальная смысловая  значимость. Приловчившись можно будет даже в какой то мере читать с экрана о чем думает бот, как в матрице с каскадом падающих цифр. 

Нужно как можно яснее все предвить в целом и в деталях.

По индикации невозможно будет что-то всерьез отследить и отлажить. Это - просто чтобы в целом видеть картину. Так что я сильно индикацией не заморачиваюсь, хотя хочется извлечь из нее какую-то пользу.

Так что предлагаю разобрать самый общий - наследственно заданный уровень.

Первый сенсорный слой сгенерировать без особых проблем, выделитель корней есть. Второй сенсорный слой наиболее частых словосочетаний – тоже делается автоматом и в матрицу входят словосочетания с частотой повторения выше заданной (можно скармливать любые тексты).

Но, возможно, уже из этого слоя должны пойти первые безусловные рефлексы – типовые ответа на данное словосочетание в контексте одной из типовых тем. И вот тут вручную готовить такие эффекторы будет очень проблематично, а как автоматизировать процесс, пока смутно представляю: как автоматически забивать ответы на типовые словосочетания? Можно скармливать диалоги, но непонятно, как разделять ответы, хотя каждая следующая фраза и есть ответ на предыдущую и из таких наборов тоже можно выделить наиболее повторяющиеся.

Другой вопрос – как задавать тон в беседе с ботом и реагировать на ответы. Должны быть кнопки: Понравился ответ, Не понравился ответ. Сделать больно боту, сделать хорошо боту. Ну и кнопки, задающую наиболее общую тематику.

Может подойти к делу универсально? Пусть бот учится распознавать закономерности в любых массива данных, не только текст. Для этого надо ему позволить самому формировать таблицы примитивов кроме начальных. Это может быть и музыка, картинки, какая то статистика. Принцип везде одинаков. Касаемо текста это будет так:

Первый слой это таблица алфавита, где сформированы примитивы буквы. Второй слой автоматически сформирует через логику И слова и их части, как повторяемые сочетания-закономерности букв. Третий из слов выделит повторяемые выражения. И каждый слой управляется своей все более иерархически высокой значимостью. 

Безусловные рефлексы связаны с гомеостазом. Стало быть надо синхронно с его колебаниями подсовывать ему слова и сочетания, чтобы он связал их со своим текущим состоянием. Если величину статуса сделать градуированной, то есть шкалу балов состояния плохо/хорошо, то и к словам будет цепляться соответствующий уровень значимости. Слова понятно дело придется вручную сортировать, но все же это более грубая сортировка по принципу злые, резкие, мягкие, ласковые и т. д. слова и выражения. Думаю не стоит пытаться на этом уровне создавать осмысленные фразы, как это делают с Алисой, иначе так и будет насекомое. Тут задача проще - связать слово/фразу с примерным эмоциональным контекстном. А может даже лучше не слово, а корень слова. 

А почему бы не сделать аналогично со слоями рецепторов: пусть будет база эффекторов из в точности тех же частей слова и букв. Это будут конечные эффекторы. В конце третичных зон и начале моторных расположить начальные звенья всевозможных программ ответа. Между моторными зонами и конечными эффекторами будут регистры сдвига, определяющие порядок слов в предложении, с многочисленными ветвлениями в зависимости от преобладающего контекста значимости и активностей проприорецепторов. Правда, в этом случае получится, что мы предложение будем как бы дробить на куски и отвечать, смотря по первому слову, а дальше додумывать ответ в зависимости от последующих слов... Не уверен в этом предположении.

В общем, нужна база безусловных рефлексов, где связи будут идти от вторичных сенсорных зон к начальным звеньям простейших регистров сдвига: и там, и там можно учитывать не более 1-4 слов, чтобы сильно не зашивать наследственные реакции. С одной стороны, если мы хотим, чтобы это были именно наследуемые реакции, то надо либо прошить их вручную, либо написать сценарий обучения, как это происходит с плодом в утробе матери -- ребёнок рождается с готовыми безусловными рефлексами. С другой стороны, это может оказаться не совсем корректным, но можно уже здесь создать некий суррогат зеркальных нейронов. Вот тут и пригодятся диалоги: сделать распознавание, какая фраза является ответом на другую. Это можно реализовать, используя какие-нибудь спецсимволы между брошенной фразой и ответом -- тогда бот будет сначала воспринимать фразу, затем активность слоёв рецепторов надо задержать, пока бот воспримет другую часть фразы -- ответ, и тогда, согласно условиям образования связей, между брошенной фразой и ответом увеличится проводимость. Это не вполне корректно, особенно "задержать активность" -- думаю, для более точной имитации природной нейросети это надо делать именно самоподдержанием с использованием детекторов нового и переключателей гиппокампа. Поэтому лучше всё-таки как-то по-другому прошить безусловные рефлексы, на мой взгляд.

Если хотим создать осмысленного бота, то уже на уровне безусловных рефлексов надо заложить какой-либо смысл: не просто как попало сформировать связи, а сделать осмысленные ответы на простейшие слова и словосочетания. Как у животных на горячий предмет есть адекватная безусловная реакция одёргивания, а на яркий свет -- прищуриться.

Ещё вопрос в закреплении вариантов поведения: как я понимаю устройство цепочек действий в моторной коре, за каждым звеном регистра сдвига закрепляется его гомеостатическая значимость, так что при прогнозе становится возможным её получить. Эта значимость не играет никакой роли при формировании условных рефлексов в широком контексте во вторичных зонах. Я планирую ещё свериться с аксиоматикой и улучшить свою модель условных рефлексов, чтобы можно было без проблем скопировать реализацию как их формирования, так и угасания.

Может тогда вообще этим не заморачиваться, только тормоза лишние. Сделать простой чат, добавив туда лакмусовую полоску эмоционального контекста бота, чтобы знать в каком он настроении и кнопки воздействия. Тогда обратный интерфейс бота кроме текста будет включать ещё и цветовую индикацию. Как в мульте тайна 3 планеты, где бегал цветной прямоугольник. 

Тут у меня сомнения: точно ли ответы или только смена контекста. Всё таки вербальное общение означает совместную работу множества высокоуровневых систем. Простейшие слова типа "да, нет, не знаю" думаю не корректно считать безусловными рефлексами, это те же автоматизмы, с ветвлениями ничуть не менее сложными чем заумная фраза. Безусловные рефлексы большей частью обслуживают гомеостаз, с которым у бота пока ещё не совсем понятно. А слова бота это высокоуровневые автоматизмы, они лишь контекстно направляются безусловной рефлексией, а не генерятся ей. 

Думаю, тут еще рано организовывать диалоги, иначе чем тогда такой диалог будет отличаться от более высокоуровневого? Только витиеватостью фраз? На этой стадии бот лишь определяет общий смысл введенного текста, по отношению к гомеостазу, и реагирует соответствующим изменением своего гомеостатического статуса. А вот оно уже будет задавать фоновый контекст ветвления мыслительных автоматизмов, которые и будут образовывать фразы ответов.

Раз мы используем только текстовый ввод, то нужно обязательно дать боту обратную дополнительную связь в виде например указания насколько понравился/не понравился ответ бота. То есть юзеру прежде чем что то писать надо будет показать свое текущее отношение к боту по шкале например от -5 до +5. Бот в свою очередь будет пытаться предугадать результат ответа и сравнивать его с тем, что сообщил юзер.

Тут еще такой момент: должен быть один учитель, по крайней мере сначала. Иначе бота легко запутают, может даже просто ради прикола. Вообщем никаких онлайнов, разве только в виде чтения диалогов учителя с ботом. Бот по умолчанию должен быть настроен так, что ему становится хорошо, если его прогноз подтверждается, и соответственно плохо, если нет. Это будет взбадривать и угнетать его гомеостаз вплоть до апатии, требующей отдыха. Вручную сместить настроение бота можно через кнопки или ползунки. То есть опять приходим к мысли, что у бота есть своя внутренняя частота колебаний гомеостаза, а внешние воздействия и внутренние прогнозы смещают текущее значение в одну из сторон, превращая изначально строго ритмичные колебания в сложно модулированные.