Ознакомьтесь с Условиями пребывания на сайте Форнит Игнорирование означет безусловное согласие. СОГЛАСЕН
ВХОД
 
 
Привет! Правила | Свежее | Чат | Подписка
Чтобы оставлять сообщения нужно авторизоваться.

Тема форума: «Искусственные нейросети»

1 2
 
watts
Пишет без ограничений, редактирует историю - unlimited

Сообщений: 85
список всех сообщений
clons
Сообщение № 45805 показать отдельно Июнь 24, 2019, 09:31:02 PM
ответ -только после авторизации

"У искусственных сетей тоже самое. Вычислительные мощности стоят дорого, сети часто нужно умещать на мобильниках. Отсюда появляются специальные методы сжатия искусственных нейронных сетей, которые при этом часто улучшают результаты распознавания, как в случае с вариационным дропаутом."

Айк , я не уверен что это - тоже самое. Представь что у тебя есть громадный набор неразмеченных данных.Ты можешь задать сети некоторое правило для формирования связей - навроде правил Хебба.То есть единственным критерием для образования тех или иных связей будет взаимоактивность нейронов.А единственным критерием для выделения признаков - закономерности в данных.

Суть алгоритма образований связей, взаимодействуя с закономерностями в данных , - должна выделить специализированные детекторы отражающие эти закономерности. Но "предметное поле" заранее не задано. После завершения специализации каждого слоя из выделенных примитивов можно выделить "предметное поле" значимых признаков.

Разница с размеченными данными большая. Если сеть обучается только на размеченных данных , то нет шанса детектировать объекты вне "предметного поля" - для них просто нету специализированных распознавателей. 

Можно конечно сказать , что предметное поле натуральной нейросети - это все данные которые просто кластеризуются.Можно так сказать? 


Метка админа:

 
Айк
Имеет права полного администратора сайта - админ

Сообщений: 3768
!!!
личная фото-галерея
Оценок: 4
список всех сообщений
clons
Сообщение № 45806 показать отдельно Июнь 24, 2019, 10:28:39 PM
ответ -только после авторизации

>>> Если сеть обучается только на размеченных данных , то нет шанса детектировать объекты вне "предметного поля" - для них просто нету специализированных распознавателей.
 
В машинном обучении с размеченным данными есть обучающая выборка, валидационная и тестовая.
 
На обучающей выборке до недавнего времени проводили послойное предобучение без учителя, чтобы корректно инициализировать веса. Это было эквивалентом наработки базовых примитивов. Потом уже шло обучение с учителем.
 
Чтобы модель не стала высокоспециализированной на обучающей выборке её тестируют на валидационном множестве примеров. Очень часто сеть может научиться распознавать обучающую выборку ещё лучше и точнее, но при этом точность распознания на валидационном множестве у неё падает. Происходит переобучение.
 
Чтобы скрытые слои сети давали качественные уровни абстрагирования (ты про это пишешь, как про фишку биологических сетей)  часть связей между слоями нейронов отключают случайным образом - это так называемая процедура дропаута. В итоге удаётся создавать сети, которые находят абстракции, которые приспособлены ко множеству архитектур нейронных сетей. Получаются слои, в которых нет высоко специализированных нейронов, а компетенция распространена по всему слою.
 
Если дропаута не делать, то сеть обучается под конкретную архитектуру, появляются высокоспециализированные нейроны, которые могут пытаться работать за весь слой - это плохо. Экспериментально установлено, что такие сети хуже себя ведут на реальных данных. А мы, повторюсь, обучаем сеть не для того, чтобы она хорошо угадывала размеченные картинки, а чтобы она хорошо распознавала объекты на новых данных, о которых мы имеем очень смутное, приблизительное представление.
 
Соответственно, сейчас в машинном обучении умеют делать предообучение (обучение без учителя на тренировочном множестве) и умеют хорошо разбивать слои по уровням абстракции. 
 
После того, как сеть обучена на тренировочном множестве и остановлена на валидационном, её прогоняют на тестовом множестве и смотрят результат.
 
Цель при этом, хорошо распознавать объекты на новых данных. Если у тебя сеть обучалась на данных, которые потом никак не соотносятся с реальными данным, то это твои проблемы, ты должен давать ей корректные обучающие выборки.

 

Ещё немного о дропауте простым языком:

http://www.nanonewsnet.ru/articles/2016/kak-obuchaetsya-ii

Как же всё-таки сделать так, чтобы каждый нейрон обучался какому-нибудь полезному признаку? И снова мы возвращаемся к регуляризации. В данном случае речь идет о дропауте (dropout; переводов хороших для этого слова мы не знаем, да и бог с ним). Как мы уже упоминали, обучение нейронной сети обычно производят стохастическим градиентным спуском, случайно выбирая по одному объекту из выборки. Дропаут-регуляризация заключается в том, что при выборе очередного объекта изменяется структура сети: каждая вершина выбрасывается из обучения с некоторой вероятностью. Выбросив, скажем, половину нейронов, мы получим “новую” архитектуру сети.

 

Проведя обучение на оставшейся половине нейронов, мы увидим очень интересный результат. Теперь каждый нейрон должен обучиться выделять какой-нибудь признак сам. Он не может “рассчитывать” на то, что объединится с другими нейронами, потому что те могут быть выключены.

 

С дропаутом мы словно усредняем гигантскую смесь разных архитектур: получается, что мы на каждом тестовом примере строим новую модель, на каждом тестовом примере берём одну модель из гигантского ансамбля и обучаем на один шаг, затем для следующего примера берём другую модель и обучаем её на один шаг, а потом в конце на выходе усредняем все эти модели. Это очень простая с виду идея; но оказывается, что дропаут дает очень сильный эффект практически на всех глубоких моделях.

 

И ещё одно небольшое лирическое отступление, которое свяжет то, что происходит сейчас, с тем, с чего мы начинали. Что делает нейрон при дропауте? У него есть своё значение, это обычно число от 0 до 1 или от —1 до 1. И он его посылает, но не всегда, а с вероятностью ½. Но что если поменять местами эти числа? Пускай теперь нейроны посылают всегда один и тот же по величине сигнал, а именно ½, но с вероятностью, равной своему значению. Средний выход нейрона от этого не изменится, но в результате у нас получатся стохастические нейроны, случайно посылающие сигналы. Интенсивность, с которой они это делают, зависит от их выхода. Чем больше выход, чем более нейрон активирован, тем чаще он будет посылать сигналы. Ничего не напоминает? Мы говорили об этом в самом начале статьи: нейроны в мозге работают именно так. Как и в мозге, нейрон не передает амплитуду спайка, нейроны передают один бит — факт спайка.  

 

Интересно, что с применением дропаута и грамотной инциализации уходит потребность в предобучении (обучении без учителя).

 

В мозге первичные распознаватели тоже не являются предобученным в строгом смысле слова. На сегодня не вполне понятно, как формируются первичные распознователи, какова регулирующая роль генов и эпигенетических факторов. Известно, например, что при переключении первичных слуховых и визуальных зон у эмбрионов животных (переключении между собой входов в эти зоны) ничего страшного не происходит, вырастают вполне адекватные животные. У таких животных есть некоторые проблемы со зрением и со слухом, но не серьёзные.

 

То есть так называемое "обучение без учителя" (другое название: "предопределенное обучение" - (c) Марвин Минский) в первичных зонах - это тема для дальнейших исследований. Верно, что в итоге в этих областях распознаются базовые примитивы, но детали того, как происходит формирование этих распознавателей, по-моему, плохо изучены. 

 

Я думаю, что nan меня поправит, т.к. у него скорее всего есть гораздо более качественные представления по этому вопросу. Я сам только разбираюсь.


 
>>> нет шанса детектировать объекты вне "предметного поля"
 
Это верно и для биологических сетей. Если ты не будешь показывать котёнку горизонтальных линий и зафиксируешь его так, чтобы он не мог шевелиться, то у него не сформируются горизонтальные распознаватели. У него есть генетическая склонность к формированию таких распознователей, но если не будет стимуляции со стороны среды, то в результате прунинга эти распознаватели отключатся.

 

Опять же, если мы говорим об абстракциях высокого уровня, реальных абстракциях, которые формируются с учётом гомеостаза системы, окрашены личным субъективным опытом, то вполне возможно, что ты не сможешь увидеть принципиально новый объект, если он вдруг окажется в твоём поле зрения. Детекторы "новизна x значимость" просто не сработают.

 

https://scorcher.ru/neuro/neuro_sys/invisible/invisible2.php - белая слепота. 


 
В целом же, современные искусственные нейронные сети можно дообучать:


https://habr.com/ru/post/344222/ - Как построить классификатор изображений на основе предобученной нейронной сети

 

Это не было бы возможно, если бы сети реально глубоко затачивались под обучающие выборки.

 

Вот конкретные рекомендации по переобучению предобученных сетей:

 

Наборы данных похожи, новых данных много. 
Необходимо обучить на новых данных несколько верхних слоев предобученной модели с малой скоростью обучения.

 

Наборы данных похожи, новых данных мало. 
Необходимо обучить линейный классификатор на признаках, извлеченных из верхних слоев предобученной модели.

 

Наборы данных не похожи, новых данных много. 
Необходимо обучить на новых данных большое количество слоев предобученной модели с малой скоростью обучения.

 

На сегодня использование предобученных сетей - обычная история. Поскольку обучение искусственных нейронных сетей стоит дорого, становится выгодно дообучать сети, которые уже прошли определенное обучение за счёт крупных компаний, исследовательских институтов.

 

При этом такие предобученные сети можно использовать не целиком, их можно частично разбирать, то есть работать и (?)дообучать(?) отталкиваясь от разных уровней абстрагирования. Это возможно в том числе благодаря процедуре дропаута, когда мы не даём слою / слоям во время обучения подстраиваться под конкретную архитектуру сетки.

 

Я думаю, что я на твои возражения смог ответить только частично, но может быть этого достаточно, и ты как-то скорректируешь вопрос, прояснишь его, если посчитаешь нужным.


Метка админа:

 
nan
Имеет права полного администратора сайта - админ

Род: Мужской
Сообщений: 12275


E-Mail
личная фото-галерея
Оценок: 39
список всех сообщений
clons
Сообщение № 45807 показать отдельно Июнь 25, 2019, 08:03:37 AM
ответ -только после авторизации

автор: Айк сообщение № 15677:

мои личные представления только разрабатываются ... В домашнем задании остаётся просто пересказывать тебе твои взгляды, которых я, в общем-то, не разделяю. ... Я сейчас в рамках школы ставлю перед собой цель лучше тебя понять.

т.е. ты и собственные представления недосформировал и мои не понял (то, что не понял и неверно интерпретируешь – постоянно вылазит), но мои взгляды не разделяешь :) классно.

>>В мозге первичные распознаватели тоже не являются предобученным в строгом смысле слова

Вот пример: ты не имеешь сформированного представления, как специализируются нейроны в природной реализации, но делаешь уверенные конечные утверждения. Чего стоят они?

>> То есть так называемое "обучение без учителя" (другое название: "предопределенное обучение" - (c) Марвин Минский) в первичных зонах - это тема для дальнейших исследований. Верно, что в итоге в этих областях распознаются базовые примитивы, но детали того, как происходит формирование этих распознавателей, по-моему, плохо изучены. 

Т ы вообще не в теме, Айк. Нахватался отдельных фрагментов разных авторов и торопишься вынести заключение.

>> Я думаю, что nan меня поправит,

Я не хочу, чтобы ты здесь продолжал писать здесь в таком стиле. Это – не твой топик. Чтобы тебя поправить, нужно провести очень немалое индивидуальное натаскивание по теме с показом всех материалов, сопоставление и обобщение которых дает однозначную модель. В том числе писать об искусственных нейросетях, которые не имеет никакой корреляции с природными. Это можно сделать в отдельной теме про искусственные сети.

Аминь.



p.s. Допускаю, что мое утверждение может быть неверно, поэтому прошу показывать, что именно и почему неверно и запрашивать объяснения, если что-то непонятно.
Метка админа:

 
Айк
Имеет права полного администратора сайта - админ

Сообщений: 3768
!!!
личная фото-галерея
Оценок: 4
список всех сообщений
clons
Сообщение № 45808 показать отдельно Июнь 25, 2019, 02:14:29 PM
ответ -только после авторизации

Да, хорошо. Наверное, ты прав. Я сделаю тему через пару дней, как смогу переписку продолжить :) Хорошего дня всем :)


Метка админа:

 
watts
Пишет без ограничений, редактирует историю - unlimited

Сообщений: 85
список всех сообщений
clons
Сообщение № 45809 показать отдельно Июнь 28, 2019, 03:52:22 PM
ответ -только после авторизации

"нет шанса детектировать объекты вне "предметного поля"
 
Это верно и для биологических сетей. Если ты не будешь показывать котёнку горизонтальных линий и зафиксируешь его так, чтобы он не мог шевелиться, то у него не сформируются горизонтальные распознаватели. У него есть генетическая склонность к формированию таких распознователей, но если не будет стимуляции со стороны среды, то в результате прунинга эти распознаватели отключатся"

Айк , все-таки ты меня не убедил.) С одной стороны аналогия с предметным полем понятна и в целом уместна , а с другой стороны чем больше и разнообразнее предметное поле , тем больше промежуточных распознавателей сформируется и в этом отношении обратное распространение смотрится как заведомое ограничение. Я думаю узкая специфичность распознавателей будет типичным багом сетей с обратным распространением (или уже стала и проблемы с переобучением свидетельство тому). 

Думаю со временем можно будет вернуться к обсуждению этой темы , но пока ничего содержательного добавить не могу.... 


Метка админа:

 
Айк
Имеет права полного администратора сайта - админ

Сообщений: 3768
!!!
личная фото-галерея
Оценок: 4
список всех сообщений
clons
Сообщение № 45810 показать отдельно Июнь 28, 2019, 06:59:29 PM
ответ -только после авторизации

>>> Думаю со временем можно будет вернуться к обсуждению этой темы
 

Да, на форуме договорим, как настроение будет. Я пока только разбираюсь в искусственных нейросетях, смотрю лекции и читаю современные учебники.


Метка админа:

 
Айк
Имеет права полного администратора сайта - админ

Сообщений: 3768
!!!
личная фото-галерея
Оценок: 4
список всех сообщений
clons
Сообщение № 45811 показать отдельно Июнь 28, 2019, 10:31:44 PM
ответ -только после авторизации

>>> (watts) Я думаю узкая специфичность распознавателей будет типичным багом сетей с обратным распространением

 

https://arxiv.org/pdf/1403.6382.pdf - 2014, CNN Features off-the-shelf: an Astounding Baseline for Recognition

 

Recent results indicate that the generic descriptors extracted from the convolutional neural networks are very powerful. This paper adds to the mounting evidence that this is indeed the case. 

Вот статья, в которой исследуется transfer learning (перенос обучения) и показано, что фичи натренированные на одном корректно собранном тренировочном множестве потом хорошо переносятся на другие.

 

Конкретно в этой статье речь о фичах, которые достают с помощью свёрточных сетей (CNN).

 


Метка админа:

 
watts
Пишет без ограничений, редактирует историю - unlimited

Сообщений: 85
список всех сообщений
clons
Сообщение № 45812 показать отдельно Июнь 28, 2019, 11:27:38 PM
ответ -только после авторизации
Айк , в ImageNet около 20000 категорий размечено , можно быть уверенным что выборки не перекрываются ? Цифры тем не менее занятные...

Метка админа:

 
Айк
Имеет права полного администратора сайта - админ

Сообщений: 3768
!!!
личная фото-галерея
Оценок: 4
список всех сообщений
clons
Сообщение № 45813 показать отдельно Июнь 29, 2019, 05:45:19 AM
ответ -только после авторизации

>>> Айк , в ImageNet около 20000 категорий размечено
>>> можно быть уверенным что выборки не перекрываются ?
 

В ImageNet содержатся как общие категории, так и субкатегории для ряда объектов, например, собак.

 

Этот датасет специально разработан так, чтобы нейросети, которые на нём тренируются, учились делать, как общую категоризацию по объектам, так и разбирались в частностях, обращали внимание на детали. Для этого значительный объем всего датасета составляют породы собак и, например, ящеров, которые могут различаться только деталями кожного покрова.

 

В 2012 году был прорыв в прохождении этого датасета как раз сетями CNN (сеть AlexNet).

 

Вот какие фичи выделяет сеть AlexNet на первом свёрточном слое (CNN):

https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

 

Я думаю, ты согласишься, что эта картина схожа с той, которую наблюдали нобелевские исследователи Хьюбел и Визел в 60-х годах:

 

 

То есть твоё рассуждение о том, что современные сети не способны к построению эффективного выразительного языка базовых абстракций (фичей) спорно.

 

Вот тебе развлечение на день:

http://people.csail.mit.edu/torralba/research/drawCNN/drawNet.html - смотри дома на компе. Нажимаешь на любой слой сети и она показывает тебе, что это за нейрон, на какие картинки он активируется больше всего и из каких фичей состоит :)

 

Предлагаю дальнейшие обсуждения вести на форуме. Нас об этом попросили :)

 

 


Метка админа:

 
nan
Имеет права полного администратора сайта - админ

Род: Мужской
Сообщений: 12275


E-Mail
личная фото-галерея
Оценок: 39
список всех сообщений
clons
Сообщение № 45816 показать отдельно Июнь 29, 2019, 08:08:00 AM
ответ -только после авторизации

Перенес все сюда.



p.s. Допускаю, что мое утверждение может быть неверно, поэтому прошу показывать, что именно и почему неверно и запрашивать объяснения, если что-то непонятно.
Метка админа:

 
watts
Пишет без ограничений, редактирует историю - unlimited

Сообщений: 85
список всех сообщений
clons
Сообщение № 45817 показать отдельно Июнь 29, 2019, 01:08:05 PM
ответ -только после авторизации

Айк , я начну с книжки Тарика Рашида , там конечно не глубокое обучение , но есть надежда что хоть что-то пойму. Да , тема интереснее чем я думал , но выводы делать пока рано. 


Метка админа:

 
Айк
Имеет права полного администратора сайта - админ

Сообщений: 3768
!!!
личная фото-галерея
Оценок: 4
список всех сообщений
clons
Сообщение № 45818 показать отдельно Июнь 29, 2019, 03:54:21 PM
ответ -только после авторизации

Я прочитал несколько книг уже и сейчас смотрю лекции. На мой взгляд, лекции лучше:

https://www.youtube.com/channel/UCQj_dwbIydi588xrfjWSL5g/playlists

 

В книгах, что мне встречались, плохо сбалансирован объём математики и практики. На лекциях лучше объясняют математику и больше практики. Лекции совсем свежие, читает русский специалист, который сейчас работает в сфере ML в США.

 

Выставляешь в настройках YouTube скорость просмотра x2 и получаешь бодрый динамичный рассказ по теме :)

 

>>> (nan) Перенес все сюда.

 

Спасибо!


Метка админа:

 
spiral architect
Пишет без ограничений, редактирует историю - unlimited

Сообщений: 228
список всех сообщений
clons
Сообщение № 45820 показать отдельно Июнь 29, 2019, 05:55:36 PM
ответ -только после авторизации
Айк, а этот канал:
https://www.youtube.com/channel/UCfelJa0QlJWwPEZ6XNbNRyA

по сравнению с тем который ты предложил выше лучше/хуже на твой взгляд ?

Метка админа:

 
Айк
Имеет права полного администратора сайта - админ

Сообщений: 3768
!!!
личная фото-галерея
Оценок: 4
список всех сообщений
clons
Сообщение № 45821 показать отдельно Июнь 29, 2019, 06:31:45 PM
ответ -только после авторизации

>>> лучше/хуже на твой взгляд ?
 


Лекции, которые ты дал по ссылке, на порядок сложнее. На первый взгляд, они интересные, поэтому я, наверное, какие-то из них посмотрю. Спасибо!

 

Плюс тех лекций, на которые я дал ссылку, в том, что они сделаны для реальных студентов (преподаватель с ними общается) и сам лектор - практик, который на час отходит от станка, чтобы поделиться опытом, то есть там нет избыточной теории.

 

Математика в нейросетях сложная и на ней можно застрять. Хотя на деле большая часть реальных работ на нейросетях делается с помощью эвристики (наработки личного опыта) и простых фреймворков типа Keras.

 

Если ты только-только начал изучать тему и хочешь получить общие представления, то лучше начать с тех лекций, на которые я дал ссылку. Они проще.

 

Если будет что-то интересное или просто захочется о чём-то поговорить. Пиши сюда. :)

 


Метка админа:

 
1 2 Статистика:
Всего Тем: 1924 Всего Сообщений: 47848 Всего Участников: 5196 Последний зарегистрировавшийся: Теория системных миров
Страница статистики форума | Список пользователей | Список анлимитов
Последняя из новостей:
Трилогия: Основы фундаментальной теории сознания.

Обнаружен организм с крупнейшим геномом
Новокаледонский вид вилочного папоротника Tmesipteris oblanceolata, произрастающий в Новой Каледонии, имеет геном размером 160,45 гигапары, что более чем в 50 раз превышает размер генома человека.

Тематическая статья: Тема осмысления
Рецензия: Рецензия на статью
Пользователи на форуме:

Из коллекции изречений:
>>показать еще...