Цель робота пылесоса задана изначально в виде алгоритмов поиска, а я говорю о цели, которую робот сам себе определяет. Но для этого он должен быть живым, чтобы получить базовое самоощущение, поэтому сначала стоит определить, что есть жизнь:

система называется живой, если у нее есть механизм поддержки жизненно важных параметров - гомеостаз.

Жизненные параметры называются так потому, что они имеют критические экстремумы, перешагивание которых выводит систему в состояние не живой. Поэтому их нужно постоянно поддерживать. Как их определить?

Ясно, что чем сложнее система, тем больше у нее жизненных параметров, которые к тому же взаимосвязаны. Однако можно выделить среди всех живых существ тот минимум, что необходим им всем. Например энергобаланс. Какой бы ни была живая система, она неизбежно теряет энергию из за внутренних процессов. Так же необходима репликация, периодически активируемая, чтобы вид не вымер и для запуска эволюции. Можно подойти с другого бока: для стабилизации жизненного параметра необходимы определенные действия. Стало быть, выделив эти действия у всех живых существ мы выделим и параметры, связанные с ними. Это стили поведения: пищевой и репликационный. Тогда получим определение живого, как обязательно использующего эти два стиля. Если мы их не наблюдаем - система умрет в краткосрочной перспективе (без пищевого), и в долгосрочном как вид (без репликации). Либо она изначально мертва.

Но это мы рассматривали систему в идеальном мире без агрессии, борьбы за место, когда корм сам падает в рот. Поэтому, даже у одноклеточных добавляются стили, необходимые для поддержания жизни:

• поисковое - активация активной фазы стабилизации параметра. Например для параметра энергии это поиск корма. В данном случае, выход из нормы энергобаланса активирует 2 стиля: найти что нибудь съедобное и съесть. В более идеализированном варианте активировался один: открыть рот и съесть, что туда упадет.
• оборонительное - защищаться от агрессии конкурентов. Кто не защищается, того быстро сожрут
• агрессивное - отбирать гешефты у конкурентов, например кормовую базу.

В итоге определение жизни, через наличие обязательных для нее стилей поведения:

• супер-идеализированное: пищевое. Если мы не рассматриваем систему как вид живых существ, а просто как отдельное существо
• идеализированное: пищевое, репликационное.
• реальное: поисковое, пищевое, оборонительное, агрессивное и репликационное.

Определяя какую то систему как живую нельзя просто так наугад что то выбрать и придумать компенсирующий механизм, получится именно механизм. Нужно выбирать определенные параметры либо стили поведения системы, а если их нет - система однозначно мертва. С другой стороны, если слишком придирчиво начать копать, можно докопаться до того, что четкой границы между жизнью и смертью нет, она размыта как и все условные границы. Но это не значит, что ее невозможно провести.

Чтобы осознавать, робот должен иметь самоощущение хотя бы в простейшей форме базовых эмоций: плохо, норма, хорошо. Если он просто видит свое отражение и сопоставляет его со своими частями, при этом никак эмоционально не реагируя - это просто развитие алгоритма обобщения, куда добавилась новая информация. Получилось еще более похоже на живое существо, но только похоже.

Но когда он обнаружил поломку в изображении и начал себя ремонтировать, то получилось сравнение текущего состояния с эталонным, заданным изначально в виде схемы целого робота. Эталон - норма, расхождение - плохо, запустился процесс ремонта (адаптационное действие). Схему можно окончательно причесать, если добавить состояние окончания ремонта хорошо для закрепления пробных вариантов ремонта. И тогда можно запустить процесс эволюции: пробовать разными способами, пока не получится завершить, вернуться в норму. Причем не возбраняется эти способы заранее забить ему, типа: попробуй отверткой, попробуй ключом. Это будут автоматизмы, на базе которых можно построить новые варианты. И тогда получим по настоящему живого робота с интеллектом и самоощущением. Которого можно дальше развивать, наращивая  ему жизненных параметров и базу автоматизмов.

Ну так и глобальные цели поведения человека задаются в виде инстинктов, рефлексов и т.д. генетически (ну и, частично, за счёт его "воспитания" социумом). А уже под влиянием этих напрямую не назначаемых им целей-стимулов он и строит какие-то жизненные планы.

Пока пылесосы имеют только пищевой "стиль поведения", но я лично не вижу никаких принципиальных проблем, что бы добавить к нему "оборонительное" и "агрессивное", а в будущем, даже "репликационное" (в принципе, уже сейчас роботов производят, по большей части, другие роботы), тут главное препятствие, имхо, страх самого человечества, что теоретически всё может закончиться пресловутым "восстанием роботов".

Кстати, если ещё не читали, советую прочитать любопытную статью, во многом затрагивающую обсуждаемые нами проблемы: http://transhumanism-russia.ru/content/view/87/32/

Проблем действительно нет. А по поводу глобальных целей: есть цель поесть, и множество вариантов, как это сделать. Выбирается какой то из них, в зависимости о текущего самочувствия, воспитания, личного опыта - все участвует, гомеостаз лишь отправая точка, а конечная может быть сильно запутана множеством промежуточных шагов вплоть до того, чтобы отменить саму себя: не буду есть, хотя сильно хочется, потому, что...

Сами по себе да, но с управлением внешне/внутренним состоянием уже нет. Химические реакции, при определённой организации становятся биологической системой. Как нет чёткой границы между живым и мёртвым, так нет чёткой границы между алгоритмом и осознанные выбором. 

Просто глобальные цели всё время конкурируют между собой. Соответственно, если, например, условная цель продолжения рода в данной ситуации подаёт более мощный сигнал, чем цель "немного подкрепиться", то мы вполне можем передумать идти в кафе, если вдруг встретили по пути очень симпатичную девушку.)

Я не вижу ничего кроме химических реакций, что составляет био-систему, в том числе электрохимию. Квантовые явления в био-системе не входят в какой-то механизм, влияние света и тепла в виде ЭМ-квантов происходит через химизм внешних электронных оболочек интегрально, а не за счет квантовых эффектов. Есть пример нехимических механизмов в био-объекте? Хотя это - разговор о том, что называть химией...

Цели - понятие многоуровневое: могут быть простые гомеостатические цели, могут быть более высокоуровневые цели, следующие из усвоенных правил, могут быть еще более высокоуровневые цели - доминанты нерешенной проблемы (творчество). Я могу просто решить, что сделал все на этой Земле и создаю больше проблем, чем пользы, и спокойно уйду в эвтаназию.