Я прочитал статьи. Мне они нравятся. Но ты просишь обратную связь, поэтому попробую описать максимально точно, что чувствую. Текст спрячу в свёртываемый блок, так как не считаю его сколько-нибудь важным.
Меня иногда беспокоит, что увлекаясь схемотехническим подходом мы начинаем строить аналоговую вычислительную машину, то есть симуляцию мозга на искусственных нейронах. Всё бы ничего, но при этом нам вроде бы не требуется понимания того, какие законы лежат в основе нейрональных вычислений.
Грубо говоря, это напоминает подход наивных коннективистов: давайте мы скопируем все связи в мозге и мы получим искусственный мозг.
Наверное, действительно, у нас получится какой-то мозг, возможно, он даже как-то заработает, но это никак не поможет нам выявить внутренние законы функционирования подобных систем.
Скопировать - не значит понять.
Мы уже умеем делать человеческие мозги. Для этого нужна влюбленная пара, секс и девять месяцев. Соответственно, пафос исследования не может лежать в копировании.
Нужно двигаться выше и выше по уровню абстракции, выделяя модули, формализуя систему, и только такую схемотехнику следует поощрять. Но такая схемотехника быстро ударится лбом о свой потолок, если отправится в путь без эволюционной биологии, машинного обучения, специальных разделов математики, кибернетики, когнитивной нейронауки. Люди - не микроволновка.
Вот ты пишешь:
>>> Если вы нацелились всерьез понять механизмы мозга, то вот самый минимальный критерий достаточности уровня, что вы готовы к обобщению: вы без натуги осмысления разбираетесь в принципиальных различных электрических схемах, имеете опыт их разработки, изготовления отладки.
Но ведь схемотехники мало. Она необходима, но одной её мало.
В 50-е 60-е годы, когда активно развивались аналоговые вычислительные машины, кибернетика, число профессиональных рукастых схемотехников было на порядок больше, чем сейчас, но это никак не помогло понять этим ребятам механизмы работы мозга.
Мы только сейчас, в эпоху развития машинного обучения, поэтапного моделирования функциональных модулей мозга, как-то начинаем понимать, как что там функционирует.
Персептрон? Ну так его разработал Розенблатт - психолог, нейрофизиолог. Ты ж пишешь, что эти чуваки типа не секут фишку. Но вдохновился Розенблатт именно биологией, а нейроны симулировал на вычислительной машине без всякой там схемотехники.
Схемотехники не смогли придумать сверточные сети. Их обнаружили нейрофизиологи Хьюбел и Визел, формализовал в математике Ян Лекун, а реальный прорыв после десятков лет экспериментов случился только в 2012 году, когда нейросеть Алекса Крижевского победила в распознании объектов ImageNet. Крижевский - ученик Джефри Хинтона, которого ну никак нельзя назвать схемотехником. Это один из передовых теоретиков машинного обучения.
И вот я с одной стороны читаю эту статью и со многим согласен. А с другой стороны, когда ты пишешь, что достаточно будет электрических схем, то во мне возникает протест. С одной стороны, да, схемотехника необходима. Необходима, но одной её недостаточно.
>>> Нейробиолог не видит в отдельных хорошо изученных им компонентах работы мозга схемотехническою основу, позволяющую из разрозненных активностей отдельных элементов понять взаимодействие механизмов адаптивной схемы управления. [...] Этого не могут видеть не только нейробиологи, но и математики или программисты, все те, для кого починить или даже понять, как работает их смартфон или микроволновка не по силам.
Окей. У меня сломался телефон, я иду с ним в сервис центр. Там сидят пацаны, которые могут отремонтировать мой телефон. И что?
Они могут отремонтировать телефон, но они не в состоянии собрать на нём код. Они не знают внутренней механики языков, ОС. А мне, как программисту, вообще плевать на железку. Я вполне могу написать весь код на эмуляторе, могу написать его на листке бумаги и он заработает. И более того, большинству пользователей телефонов плевать на железо, для них важно ПО и качестве его работы.
С мозгом та же история, то что какой-то нейрофизиолог, или схемотехник может описать цепи или сделать хирургическую операцию, вовсе не говорит о том, что он сечёт фишку в машинном обучении, кибернетике и в курсе всего того теоретического пласта, который есть в этой сфере.
>>> И они как бы заново начинают открывать велосипед, обнаруживая генерацию, усиление и торможение, обратные связи с самоподдержанием активности, регистры (в последовательности моторных программ) и т.п., дают этим явлениям свои термины, но совершенно без понимания их механизмов на уровне принципов и без выделения функциональных механизмов, которые любой грамотный схемотехник сразу бы заметил и понял все то, что с ними связано в общей системе управления мозга.
Схемотехник, даже если и увидит, как между собой работают нейрональные модули, не поймёт значимых аспектов вычислений, которые в этих модулях происходят. Для этого требуется специальная математика / машинное обучение / кибернетика / эволюционная биология / огромный пласт знаний, который в голове типичного схемотехника никогда не появлялся ни в каком виде. И он в этом (sic) слепой! Ровно та белая слепота, о которой ты пишешь. Слепой точно так же, как нейрофизиологи слепы в том, что видимо ему.
Побью за одно ногами программистов. То что программист напишет свою нейронку, ни разу не сделает его специалистом в машинном обучении. А специалист в машинном обучении будет иметь очень ограниченные представления о том, как работает реальный мозг и какие фишки он использует.
Имхо, тут нет золотой пули: ни схемотехники, ни машинного обучения, ни нейронауки недостаточно, чтобы во всём разобраться. Но всё это требуется для старта.
И то что ты тыкаешь нас в схемотехническую базу очень круто и нужно. Но я не думаю, что одной схемотехники нам хватит.
>>> Природа – великий и бездумный рукожоп.
Исследователи строения глаза недоумевают о том, насколько нелогично, странно и нерационально устроена как оптика глаза, так и его чувствительная часть. Вот в фотоаппаратах все логично и правильно, там идеально и нет проблем, которые нейросети приходится решать, приспосабливаясь к столь капризному и неточному инструменту восприятия. Все можно сделать гораздо проще, точнее и лучше даже если использовать те же биоматериалы. И так – буквально во всех творениях природы. Мало того, все это постоянно кишит разными вариациями в каждой отдельной реализации. Зато глаз в воде продолжает функционировать, а фотоаппарат требует гидробокс. Если в глаз попала соринка, он проморгается, а соринку на матрице может вытащить только специалист и то не всегда без последствий. Видеокамеру связали шнурком с компьютером, тот запоминает все происходящее, но само по себе это - совершенно бессмысленно и только человек может разобрать этот смысл, а вот кошка уже – нет, если только по экрану не начнут бегать мышки.
Вот! Вот оно! Природа рукожоп. Согласен. Но при этом в реальных кейсах её решения неплохо работают. И это ещё один гвоздь в гроб классической схемотехники.
Да, есть какой-то узкий круг задач, где инженерный подход сработает и будет эффективнее любой природной реализации. Но этот подход отличается от природного тем, что решения получаются узкопрофильными, неадаптивными.
И тут бы задуматься, что если мы и сталкиваемся в природе со схемотехникой, то она не тривиальная, не такая бьющая в лоб.
Я пробовал привести в пример эволюционную схемотехнику. Пример с множеством недостатков, но при желании дающий почувствовать разницу:
Ник Бостром “Superintelligence”:
<<
Даже простые процессы эволюционного поиска иногда приводят к совершенно неожиданным для пользователя результатам, которые тем не менее формально удовлетворяют поставленным критериям.
Область способного к эволюции аппаратного обеспечения представляет много примеров данного явления.
[…]
Например, в ходе одного из подобных экспериментов была обнаружена схема дискриминации частот, которая функционировала без тактового генератора — компонента, считавшегося обязательным для выполнения такого рода функции. Исследователи оценили, что схемы, полученные в результате эволюционного дизайна, на один-два порядка меньше, чем те, которые для тех же целей создали бы инженеры-люди. Такие схемы использовали физические свойства входящих в них компонентов совершенно нетрадиционными способами, в частности, некоторые активные и необходимые для работы компоненты вообще не были соединены с входными или выходными ножками! Вместо этого они взаимодействовали с другими компонентами за счет того, что обычно считается досадными помехами: скажем, электромагнитных полей или нагрузки источника питания.
Другой эксперимент по эволюционной оптимизации с заданием разработать осциллятор, привел к исчезновению из схемы, казалось бы, еще более необходимого компонента — конденсатора. Когда успешное решение было получено и ученые посмотрели на него, то первой реакцией были слова: «Это не будет работать!» Однако после более тщательного анализа оказалось, что алгоритм […] переконфигурировал свою материнскую плату, лишенную датчиков, в импровизированный радиоприемник, использовав дорожки печатной схемы в качестве антенны для приема сигналов, генерируемых компьютером, который располагался поблизости в той же лаборатории. Затем эти сигналы усиливались схемой и преобразовывались в выходной сигнал осциллятора.
>>
Наверное, рассуждение о том, что для инженера в этой идее есть что-то невероятное - ошибка. Но что это определенно бьёт мимо нашей интуиции о том, как бы эту задачу решал человек, очевидно. Но при этом это всё ещё схемотехника.
И все такие баги, они ожидаемы и предсказуемы для спецов в эволюционной биологии, машинном обучении, но они ни фига не будут очевидны чистому схемотехнику. Он не понимает даже важности этой фигни.
Схемы, которые делает типичный схемотехник, страдают от переобучения. Они, как фотоаппараты, хороши в узком наборе случаев, и на фиг не пригодны для жизни в поле.
Я не до конца понимаю, нужно ли было мне писать весь этот длинный текст. Он не спора ради написан. Это сугубо обратная связь для продолжения обучения, чтобы ты понимал, что внутри меня замалчивается. Я здесь хочу быть учеником, а не спорщиком.
Если ты сочтёшь нужным возразить, возражай, но тут я ученик. И готов давать свой фидбек только тогда, когда ты его запрашиваешь, чтобы ты видел лажи в нашем взаимопонимании и не более того.