Тема форума: «Искусственные нейросети»

>>> (nan) Если есть желание подробно обсудить и оспорить – заводи тему по различиям.

Да, я попозже создам тему. Пока рановато, наверное.

>>> (nan) То, кто с чем соглашается или нет – их дело, ты не проводил опрос.

>>> Говорим беспредметно, какой смысл в такой огульности?

Есть довольно много теорий, вроде тех же IIT и GWT, нейродарвинизма и других, которые кажутся тебе поверхностными и далекими от сути происходящего. Ты обычно не тратишь время на чтение статей / литературы по этой тематике. В твоих работах не встретить ни современных философов, ни теоретиков.

Почему?

Ну потому что ты не согласен, как с суждениями авторов, так и просто предпочитаешь делать личные системные обобщения.

Ровно те же эмоции испытываю я, когда читаю твои лекционные материалы, чтобы двигаться дальше по лекциям, мне нужно пересказать в ответах на вопросы твою точку зрения и умолчать о своей.

Иногда, когда есть возможность поделиться своими взглядами, я этим пользуюсь, как в случае с "альтернативной аксиоматикой". Но в случае с искусственными нейронными сетями - это принципиально невозможно выразить в домашней работе. Тем более когда мои личные представления только разрабатываются. В домашнем задании остаётся просто пересказывать тебе твои взгляды, которых я, в общем-то, не разделяю.

Я сейчас в рамках школы ставлю перед собой цель лучше тебя понять. Но понять и согласиться, это не всегда одно и тоже, и это создаёт некоторые сложности. Каких-то ошибок с твоей стороны нет, ты абсолютно корректен и отзывчив в обсуждениях.

>>> Если сеть обучается только на размеченных данных , то нет шанса детектировать объекты вне "предметного поля" - для них просто нету специализированных распознавателей.
 
В машинном обучении с размеченным данными есть обучающая выборка, валидационная и тестовая.
 
На обучающей выборке до недавнего времени проводили послойное предобучение без учителя, чтобы корректно инициализировать веса. Это было эквивалентом наработки базовых примитивов. Потом уже шло обучение с учителем.
 
Чтобы модель не стала высокоспециализированной на обучающей выборке её тестируют на валидационном множестве примеров. Очень часто сеть может научиться распознавать обучающую выборку ещё лучше и точнее, но при этом точность распознания на валидационном множестве у неё падает. Происходит переобучение.
 
Чтобы скрытые слои сети давали качественные уровни абстрагирования (ты про это пишешь, как про фишку биологических сетей)  часть связей между слоями нейронов отключают случайным образом - это так называемая процедура дропаута. В итоге удаётся создавать сети, которые находят абстракции, которые приспособлены ко множеству архитектур нейронных сетей. Получаются слои, в которых нет высоко специализированных нейронов, а компетенция распространена по всему слою.
 
Если дропаута не делать, то сеть обучается под конкретную архитектуру, появляются высокоспециализированные нейроны, которые могут пытаться работать за весь слой - это плохо. Экспериментально установлено, что такие сети хуже себя ведут на реальных данных. А мы, повторюсь, обучаем сеть не для того, чтобы она хорошо угадывала размеченные картинки, а чтобы она хорошо распознавала объекты на новых данных, о которых мы имеем очень смутное, приблизительное представление.
 
Соответственно, сейчас в машинном обучении умеют делать предообучение (обучение без учителя на тренировочном множестве) и умеют хорошо разбивать слои по уровням абстракции. 
 
После того, как сеть обучена на тренировочном множестве и остановлена на валидационном, её прогоняют на тестовом множестве и смотрят результат.
 
Цель при этом, хорошо распознавать объекты на новых данных. Если у тебя сеть обучалась на данных, которые потом никак не соотносятся с реальными данным, то это твои проблемы, ты должен давать ей корректные обучающие выборки.

Ещё немного о дропауте простым языком:

http://www.nanonewsnet.ru/articles/2016/kak-obuchaetsya-ii

Как же всё-таки сделать так, чтобы каждый нейрон обучался какому-нибудь полезному признаку? И снова мы возвращаемся к регуляризации. В данном случае речь идет о дропауте (dropout; переводов хороших для этого слова мы не знаем, да и бог с ним). Как мы уже упоминали, обучение нейронной сети обычно производят стохастическим градиентным спуском, случайно выбирая по одному объекту из выборки. Дропаут-регуляризация заключается в том, что при выборе очередного объекта изменяется структура сети: каждая вершина выбрасывается из обучения с некоторой вероятностью. Выбросив, скажем, половину нейронов, мы получим “новую” архитектуру сети.

Проведя обучение на оставшейся половине нейронов, мы увидим очень интересный результат. Теперь каждый нейрон должен обучиться выделять какой-нибудь признак сам. Он не может “рассчитывать” на то, что объединится с другими нейронами, потому что те могут быть выключены.

С дропаутом мы словно усредняем гигантскую смесь разных архитектур: получается, что мы на каждом тестовом примере строим новую модель, на каждом тестовом примере берём одну модель из гигантского ансамбля и обучаем на один шаг, затем для следующего примера берём другую модель и обучаем её на один шаг, а потом в конце на выходе усредняем все эти модели. Это очень простая с виду идея; но оказывается, что дропаут дает очень сильный эффект практически на всех глубоких моделях.

И ещё одно небольшое лирическое отступление, которое свяжет то, что происходит сейчас, с тем, с чего мы начинали. Что делает нейрон при дропауте? У него есть своё значение, это обычно число от 0 до 1 или от —1 до 1. И он его посылает, но не всегда, а с вероятностью ½. Но что если поменять местами эти числа? Пускай теперь нейроны посылают всегда один и тот же по величине сигнал, а именно ½, но с вероятностью, равной своему значению. Средний выход нейрона от этого не изменится, но в результате у нас получатся стохастические нейроны, случайно посылающие сигналы. Интенсивность, с которой они это делают, зависит от их выхода. Чем больше выход, чем более нейрон активирован, тем чаще он будет посылать сигналы. Ничего не напоминает? Мы говорили об этом в самом начале статьи: нейроны в мозге работают именно так. Как и в мозге, нейрон не передает амплитуду спайка, нейроны передают один бит — факт спайка.  

Интересно, что с применением дропаута и грамотной инциализации уходит потребность в предобучении (обучении без учителя).

В мозге первичные распознаватели тоже не являются предобученным в строгом смысле слова. На сегодня не вполне понятно, как формируются первичные распознователи, какова регулирующая роль генов и эпигенетических факторов. Известно, например, что при переключении первичных слуховых и визуальных зон у эмбрионов животных (переключении между собой входов в эти зоны) ничего страшного не происходит, вырастают вполне адекватные животные. У таких животных есть некоторые проблемы со зрением и со слухом, но не серьёзные.

То есть так называемое "обучение без учителя" (другое название: "предопределенное обучение" - (c) Марвин Минский) в первичных зонах - это тема для дальнейших исследований. Верно, что в итоге в этих областях распознаются базовые примитивы, но детали того, как происходит формирование этих распознавателей, по-моему, плохо изучены. 

Я думаю, что nan меня поправит, т.к. у него скорее всего есть гораздо более качественные представления по этому вопросу. Я сам только разбираюсь.

 
>>> нет шанса детектировать объекты вне "предметного поля"
 
Это верно и для биологических сетей. Если ты не будешь показывать котёнку горизонтальных линий и зафиксируешь его так, чтобы он не мог шевелиться, то у него не сформируются горизонтальные распознаватели. У него есть генетическая склонность к формированию таких распознователей, но если не будет стимуляции со стороны среды, то в результате прунинга эти распознаватели отключатся.

Опять же, если мы говорим об абстракциях высокого уровня, реальных абстракциях, которые формируются с учётом гомеостаза системы, окрашены личным субъективным опытом, то вполне возможно, что ты не сможешь увидеть принципиально новый объект, если он вдруг окажется в твоём поле зрения. Детекторы "новизна x значимость" просто не сработают.

https://scorcher.ru/neuro/neuro_sys/invisible/invisible2.php - белая слепота. 

 
В целом же, современные искусственные нейронные сети можно дообучать:

https://habr.com/ru/post/344222/ - Как построить классификатор изображений на основе предобученной нейронной сети

Это не было бы возможно, если бы сети реально глубоко затачивались под обучающие выборки.

Вот конкретные рекомендации по переобучению предобученных сетей:

Наборы данных похожи, новых данных много. 
Необходимо обучить на новых данных несколько верхних слоев предобученной модели с малой скоростью обучения.

Наборы данных похожи, новых данных мало. 
Необходимо обучить линейный классификатор на признаках, извлеченных из верхних слоев предобученной модели.

Наборы данных не похожи, новых данных много. 
Необходимо обучить на новых данных большое количество слоев предобученной модели с малой скоростью обучения.

На сегодня использование предобученных сетей - обычная история. Поскольку обучение искусственных нейронных сетей стоит дорого, становится выгодно дообучать сети, которые уже прошли определенное обучение за счёт крупных компаний, исследовательских институтов.

При этом такие предобученные сети можно использовать не целиком, их можно частично разбирать, то есть работать и (?)дообучать(?) отталкиваясь от разных уровней абстрагирования. Это возможно в том числе благодаря процедуре дропаута, когда мы не даём слою / слоям во время обучения подстраиваться под конкретную архитектуру сетки.

Я думаю, что я на твои возражения смог ответить только частично, но может быть этого достаточно, и ты как-то скорректируешь вопрос, прояснишь его, если посчитаешь нужным.

т.е. ты и собственные представления недосформировал и мои не понял (то, что не понял и неверно интерпретируешь – постоянно вылазит), но мои взгляды не разделяешь :) классно.

>>В мозге первичные распознаватели тоже не являются предобученным в строгом смысле слова. 

Вот пример: ты не имеешь сформированного представления, как специализируются нейроны в природной реализации, но делаешь уверенные конечные утверждения. Чего стоят они?

>> То есть так называемое "обучение без учителя" (другое название: "предопределенное обучение" - (c) Марвин Минский) в первичных зонах - это тема для дальнейших исследований. Верно, что в итоге в этих областях распознаются базовые примитивы, но детали того, как происходит формирование этих распознавателей, по-моему, плохо изучены. 

Т ы вообще не в теме, Айк. Нахватался отдельных фрагментов разных авторов и торопишься вынести заключение.

>> Я думаю, что nan меня поправит,

Я не хочу, чтобы ты здесь продолжал писать здесь в таком стиле. Это – не твой топик. Чтобы тебя поправить, нужно провести очень немалое индивидуальное натаскивание по теме с показом всех материалов, сопоставление и обобщение которых дает однозначную модель. В том числе писать об искусственных нейросетях, которые не имеет никакой корреляции с природными. Это можно сделать в отдельной теме про искусственные сети.

Аминь.

Да, хорошо. Наверное, ты прав. Я сделаю тему через пару дней, как смогу переписку продолжить :) Хорошего дня всем :)

>>> Думаю со временем можно будет вернуться к обсуждению этой темы
 

Да, на форуме договорим, как настроение будет. Я пока только разбираюсь в искусственных нейросетях, смотрю лекции и читаю современные учебники.

>>> (watts) Я думаю узкая специфичность распознавателей будет типичным багом сетей с обратным распространением

https://arxiv.org/pdf/1403.6382.pdf - 2014, CNN Features off-the-shelf: an Astounding Baseline for Recognition

Recent results indicate that the generic descriptors extracted from the convolutional neural networks are very powerful. This paper adds to the mounting evidence that this is indeed the case. 

Вот статья, в которой исследуется transfer learning (перенос обучения) и показано, что фичи натренированные на одном корректно собранном тренировочном множестве потом хорошо переносятся на другие.

Конкретно в этой статье речь о фичах, которые достают с помощью свёрточных сетей (CNN).

>>> Айк , в ImageNet около 20000 категорий размечено
>>> можно быть уверенным что выборки не перекрываются ?
 

В ImageNet содержатся как общие категории, так и субкатегории для ряда объектов, например, собак.

Этот датасет специально разработан так, чтобы нейросети, которые на нём тренируются, учились делать, как общую категоризацию по объектам, так и разбирались в частностях, обращали внимание на детали. Для этого значительный объем всего датасета составляют породы собак и, например, ящеров, которые могут различаться только деталями кожного покрова.

В 2012 году был прорыв в прохождении этого датасета как раз сетями CNN (сеть AlexNet).

Вот какие фичи выделяет сеть AlexNet на первом свёрточном слое (CNN):

https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

Я думаю, ты согласишься, что эта картина схожа с той, которую наблюдали нобелевские исследователи Хьюбел и Визел в 60-х годах:

То есть твоё рассуждение о том, что современные сети не способны к построению эффективного выразительного языка базовых абстракций (фичей) спорно.

Вот тебе развлечение на день:

http://people.csail.mit.edu/torralba/research/drawCNN/drawNet.html - смотри дома на компе. Нажимаешь на любой слой сети и она показывает тебе, что это за нейрон, на какие картинки он активируется больше всего и из каких фичей состоит :)

Предлагаю дальнейшие обсуждения вести на форуме. Нас об этом попросили :)

Перенес все сюда.

Я прочитал несколько книг уже и сейчас смотрю лекции. На мой взгляд, лекции лучше:

https://www.youtube.com/channel/UCQj_dwbIydi588xrfjWSL5g/playlists

В книгах, что мне встречались, плохо сбалансирован объём математики и практики. На лекциях лучше объясняют математику и больше практики. Лекции совсем свежие, читает русский специалист, который сейчас работает в сфере ML в США.

Выставляешь в настройках YouTube скорость просмотра x2 и получаешь бодрый динамичный рассказ по теме :)

>>> (nan) Перенес все сюда.

Спасибо!

>>> лучше/хуже на твой взгляд ?
 

Лекции, которые ты дал по ссылке, на порядок сложнее. На первый взгляд, они интересные, поэтому я, наверное, какие-то из них посмотрю. Спасибо!

Плюс тех лекций, на которые я дал ссылку, в том, что они сделаны для реальных студентов (преподаватель с ними общается) и сам лектор - практик, который на час отходит от станка, чтобы поделиться опытом, то есть там нет избыточной теории.

Математика в нейросетях сложная и на ней можно застрять. Хотя на деле большая часть реальных работ на нейросетях делается с помощью эвристики (наработки личного опыта) и простых фреймворков типа Keras.

Если ты только-только начал изучать тему и хочешь получить общие представления, то лучше начать с тех лекций, на которые я дал ссылку. Они проще.

Если будет что-то интересное или просто захочется о чём-то поговорить. Пиши сюда. :)