11.12.2009 11:38
Натолкнулся я на один сайт: http://bolonkin.narod.ru.
Есть там интересная статья: Пост-чeловeчeскaя цивилизaция. ХХ1 вeк: Конeц чeловeчeству и возникновeниe пост-чeловeчeского общeствa. http://bolonkin.narod.ru/p24.htm
Некоторые посылки приводятся бездоказательно, но меня заинтересовали возможность и неизбежность следующего сценария:
1. Люди создают самовоспроизводящийся разум более высокого порядка (пусть будет е-мозг)
2. Е-мозг развивается и преследует свои цели, не понятные людям и выходит из под контроля
3. Е-мозг меняет окружающий мир, не считаясь с человеком, что приводит к вымиранию человечества и, возможно, большинства животного и растительного мира.
Пункт 1, как мне кажется, самый очевидный: даже не понимая, как работает мозг можно экспериментально, играясь с генами, вырастить существо с более мощным мозгом. Понятно, что основываться надо на геноме человека, как самого высокоразвитого существа, и никто на это не даст добро. Но теоретически возможно. Также не вижу проблем с моделирование деятельности человека электронными средствами. Да это сложно, но, думаю, что возможно и очень скоро появится искусственный советчик, который будет работать по определенному алгоритму, будет подсказывать людям то, до чего они не могут додуматься. После этого к нему подключат механические устройства, чтобы не надо было результаты его анализа применять людям, а все бы выполнялось само и т.д. Достаточно быстро, как мне кажется, люди перестанут осознавать принцип принятия решения машиной, поскольку будут не в состоянии обрабатывать такое количество информации и будут полагаться на правильность алгоритмов, заложенных в машине. Даже если это не будет разум в чистом виде (осознающий себя) все равно он будет принимать решения и выполнять действия, руководствуясь своими мотивами.
2-й пункт: На счет развития не сильно уверен, скорее имею в виду накопление знаний, взросление, что ли (типа как человек с уже готовым мозгом растет от ребенка до взрослого). Т.е. создав такую машину или мозг человек сначала будет ее учить, развивать до тех пор, пока уровень развития машины не сравняется с уровнем человека. Дальше машина начнет обучаться самостоятельно и тут же возникнут противоречия между мотивами машины и тем, как понимают их люди: человек просто не в состоянии будет осознать мотивов. В фильме «Я-робот» обыгрывается закон робототехники, по которому робот не может причинять вред людям (ну как-то так). Так там ИИ просто зашел с другой стороны: оправдывая свои действия заботой о человеке (в точности как обходится положение конституции, о невозможности ухудшения существующих прав). Даже если высший разум будет искренне желать добра людям – нет гарантии, что это понравится самим людям :о)
3-й пункт: Тут достаточно сложно с уверенностью утверждать, что так и будет. Многое зависит от того, какие мотивы будут преобладать у высшего разума. Существующие взаимоотношения людей складывались в постоянных войнах на протяжении тысяч лет и хрупкий мир в текущий момент обусловлен возможностью полного вымирания при применении современно оружия. Все это обусловлено, как мне кажется, врожденным в человека стремлением к самореализации, самоутверждению, т.е. постоянному повышению самооценки, основному принципу саморазвития, как мне кажется. Если высший мозг будет создан человеком, понимающим принципы его работы, и получится вложить в него другие ценности, то, возможно все будет более радужно, до тех пор, пока мозг не пойдет по стопам человека и не создаст следующее поколение. В противном случае (как, например, с выращиванием суперчеловека в пробирке) будет сверхчеловек со сверхчеловеческим эго :о)
Что скажете? Возможен такой/подобный сценарий? Неизбежен?
Есть там интересная статья: Пост-чeловeчeскaя цивилизaция. ХХ1 вeк: Конeц чeловeчeству и возникновeниe пост-чeловeчeского общeствa. http://bolonkin.narod.ru/p24.htm
Некоторые посылки приводятся бездоказательно, но меня заинтересовали возможность и неизбежность следующего сценария:
1. Люди создают самовоспроизводящийся разум более высокого порядка (пусть будет е-мозг)
2. Е-мозг развивается и преследует свои цели, не понятные людям и выходит из под контроля
3. Е-мозг меняет окружающий мир, не считаясь с человеком, что приводит к вымиранию человечества и, возможно, большинства животного и растительного мира.
Пункт 1, как мне кажется, самый очевидный: даже не понимая, как работает мозг можно экспериментально, играясь с генами, вырастить существо с более мощным мозгом. Понятно, что основываться надо на геноме человека, как самого высокоразвитого существа, и никто на это не даст добро. Но теоретически возможно. Также не вижу проблем с моделирование деятельности человека электронными средствами. Да это сложно, но, думаю, что возможно и очень скоро появится искусственный советчик, который будет работать по определенному алгоритму, будет подсказывать людям то, до чего они не могут додуматься. После этого к нему подключат механические устройства, чтобы не надо было результаты его анализа применять людям, а все бы выполнялось само и т.д. Достаточно быстро, как мне кажется, люди перестанут осознавать принцип принятия решения машиной, поскольку будут не в состоянии обрабатывать такое количество информации и будут полагаться на правильность алгоритмов, заложенных в машине. Даже если это не будет разум в чистом виде (осознающий себя) все равно он будет принимать решения и выполнять действия, руководствуясь своими мотивами.
2-й пункт: На счет развития не сильно уверен, скорее имею в виду накопление знаний, взросление, что ли (типа как человек с уже готовым мозгом растет от ребенка до взрослого). Т.е. создав такую машину или мозг человек сначала будет ее учить, развивать до тех пор, пока уровень развития машины не сравняется с уровнем человека. Дальше машина начнет обучаться самостоятельно и тут же возникнут противоречия между мотивами машины и тем, как понимают их люди: человек просто не в состоянии будет осознать мотивов. В фильме «Я-робот» обыгрывается закон робототехники, по которому робот не может причинять вред людям (ну как-то так). Так там ИИ просто зашел с другой стороны: оправдывая свои действия заботой о человеке (в точности как обходится положение конституции, о невозможности ухудшения существующих прав). Даже если высший разум будет искренне желать добра людям – нет гарантии, что это понравится самим людям :о)
3-й пункт: Тут достаточно сложно с уверенностью утверждать, что так и будет. Многое зависит от того, какие мотивы будут преобладать у высшего разума. Существующие взаимоотношения людей складывались в постоянных войнах на протяжении тысяч лет и хрупкий мир в текущий момент обусловлен возможностью полного вымирания при применении современно оружия. Все это обусловлено, как мне кажется, врожденным в человека стремлением к самореализации, самоутверждению, т.е. постоянному повышению самооценки, основному принципу саморазвития, как мне кажется. Если высший мозг будет создан человеком, понимающим принципы его работы, и получится вложить в него другие ценности, то, возможно все будет более радужно, до тех пор, пока мозг не пойдет по стопам человека и не создаст следующее поколение. В противном случае (как, например, с выращиванием суперчеловека в пробирке) будет сверхчеловек со сверхчеловеческим эго :о)
Что скажете? Возможен такой/подобный сценарий? Неизбежен?