Про разум чат-ботов
Однажды наткнувшись на всего один простой, но очень универсальный принцип, изобретатели чат-ботов продолжают создавать продукты, создающие впечатления разумных. Вот этот принцип.
Если статистически обработать все тексты, созданные людьми, то можно создать правила: после данного слова чаще всего идет такое-то следующее слово. Если рассматривать цепочку слов, в ней обязательно найдется похожая цепочка таких правил, по крайней мере число совпадений будет таково, что можно будет уверенно подставлять следующее слово или фразу.
Это – отражение уже существующего интеллекта всех людей на Земле, но это – статистически усредненное значение жизненного опыта всех людей. Если по данному вопросу в текстах, скормленных системе, будет много лжи или много еще какого-то вида неадекватка, то система будет его уверенно использовать. И сделать что-то против такого дубового интеллекта ничего не возможно потому, что невозможно заранее достаточно разумно отфильтровать исходные тексты. Зато тексты по специальным областям науки будут очень даже качественны, если только они содержат достаточно общепринятые данные. Такие текста даже будут годиться для обучения потому, как выдают самые лучшие, короткие и ясные ответы.
А вот хайп вокруг этой системы.
https://www.nytimes.com/2022/12/21/technology/ai-chatgpt-google-search.html
Чат-бот Google, получивший название LaMDA, или языковая модель для диалоговых приложений, привлек огромное внимание летом, когда инженер Google Блейк Лемуан заявил, что он обладает разумом. Это было неправдой, но технология показала, насколько технология чат-ботов улучшилась за последние месяцы.
Новые чат-боты осваивают свои навыки, анализируя огромные объемы данных, размещенных в Интернете, у них есть способ смешивать вымысел с фактами. Они предоставляют информацию, которая может быть предвзятой по отношению к женщинам и цветным людям. Они могут порождать ядовитые высказывания, в том числе разжигающие ненависть.
“Если Google даст вам идеальный ответ на каждый запрос, вы не будете нажимать ни на одну рекламу”. - сказал Амр Авадалла, который работал в Yahoo и Google, а теперь руководит стартапом Vectara, создающим аналогичную технологию.
Но Google неохотно делится своей технологией широко, поскольку, подобно ChatGPT и подобным системам, она может генерировать ложную, токсичную и предвзятую информацию.
Другие компании сталкиваются с аналогичной проблемой. Пять лет назад Microsoft выпустила чат—бота под названием Tay, который извергал расистские, ксенофобские и другие непристойные выражения, и была вынуждена немедленно удалить его из Интернета - чтобы никогда больше не возвращаться. В последние недели Meta отключила нового чат-бота по многим из тех же причин.
“Это не то, что люди могут надежно использовать на ежедневной основе”, - сказал Зоубин Гахрамани, курирующий лабораторию искусственного интеллекта Google Brain, в интервью Times в прошлом месяце, перед выпуском ChatGPT.
https://www.nytimes.com/2022/12/10/technology/ai-chat-bot-chatgpt.html
OpenAI входит в число многих компаний, академических лабораторий и независимых исследователей, работающих над созданием более продвинутых чат-ботов. Эти системы не могут общаться в точности как люди, но часто кажется, что они это делают. Они также могут извлекать и переупаковывать информацию со скоростью, на которую люди никогда не были способны. Их можно рассматривать как цифровых помощников — таких как Siri или Alexa, — которые лучше понимают, что вы ищете, и предоставляют это вам.
После выпуска ChatGPT, которым воспользовались более миллиона человек, многие эксперты считают, что эти новые чат—боты готовы изобрести или даже заменить поисковые системы Интернета, такие как Google и Bing.
Они могут предоставлять информацию в сжатых предложениях, а не в длинных списках синих ссылок. Они объясняют концепции так, чтобы люди могли их понять. И они могут предоставлять факты, а также создавать бизнес-планы, темы курсовых работ и другие новые идеи с нуля.
“Теперь у вас есть компьютер, который может ответить на любой вопрос понятным для человека способом”, - сказал Аарон Леви, исполнительный директор компании Box из Силиконовой долины и один из многих руководителей, изучающих, как эти чат-боты изменят технологический ландшафт. “Он может экстраполировать и брать идеи из разных контекстов и объединять их вместе”.
Новые чат-боты делают это, как кажется, с полной уверенностью. Но они не всегда говорят правду. Иногда они даже терпят неудачу в простой арифметике. Они смешивают факты с вымыслом. И по мере того, как они продолжают совершенствоваться, люди могут использовать их для создания и распространения неправды.
Более подробно про принцип работы.
ChatGPT — это реализация модели языкового предсказания на основе технологии машинного обучения. Она была разработана компанией OpenAI и позволяет участникам чата получать наиболее точные ответы на их вопросы. ChatGPT использует нейронные сети для анализа текста и предоставляет наиболее вероятные ответы на основе обученных данных.
Generative Pre-trained Transformer 3 (GPT-3; стилизованный GPT·3) — это модель авторегрессионного языка, которая использует глубокое обучение для создания текста, похожего на человеческий.
Архитектура представляет собой стандартную сеть-преобразователь (с несколькими настройками) с беспрецедентным размером контекста длиной 2048 токенов и 175 миллиардов параметров (требуется 800 ГБ хранилища). Метод обучения — это «генеративное предварительное обучение», что означает, что она обучена предсказывать, каким будет следующий набор данных.
GPT-3 был обучен на сотнях миллиардов слов, а также способен программировать, среди прочего, на CSS, JSX и Python.
Обучающие данные иногда содержат ненормативную лексику, а GPT-3 время от времени генерирует ненормативную лексику в результате имитации обучающих данных.
https://blog.miralinks.ru/2021/05/21/google-lamda/
Одно из основных направлений работы Google — разработка технологий понимания естественного языка. Поисковый гигант создал отличные продукты: поиск, переводчик, ассистент, но при этом ни один из алгоритмов еще не совершенен в обработке естественной человеческой диалоговой речи. В диалоге присутствует все: информативность, образность, ирония, сарказм, которые машинным технологиям крайне сложно распознать и правильно интерпретировать.
Другая сторона диалога — открытость. Любая беседа может начаться с обсуждения концерта, а завершиться критикой политического уклада страны. Предсказать такой поворот машины также пока не способны.
Отдел работал над технологией долгие годы. Как и недавние модели обработки речи BERT и GPT-3, она построена на трансформерах — архитектуре нейронной сети, которую создал Google и выложил в открытый доступ в 2017 году. Нейросеть создает модель, способную прочитать и понять длинную цепочку слов и предложений (абзац или раздел), определить, как слова связаны друг с другом, и спрогнозировать, какие слова далее появятся в тексте.
В отличие от других моделей LaMDA обучалась на диалогах. Особый акцент в обучении делался на выбор открытых диалогов. В частности модель училась определять, насколько ответ подходит к предыдущей фразе или вопросу. Например:
— Я вчера пошел на курсы игры на гитаре.
— Супер! У моей мамы есть старая гитара Martin, она любит на ней играть.
Это уместный ответ на реплику. Но уместность — не единственный фактор хорошего ответа. Такие ответы, как “хорошо”, “не знаю”, “может быть” тоже уместны для большого количества абсолютно разных вопросов и реплик. Удовлетворительные же ответы четко соотносятся с контекстом реплики. В примере выше ответ уместный и удовлетворительный.
В основе создания технологии LaMDA — более ранее исследование Google, доказывающее, что модели, обученные на диалогах, могут поддержать практически любой диалог. LaMDA способна обучаться, чтобы давать уместные и удовлетворительные ответы.
Хотя говорят, что эти системы способны создавать новое, но это уже неправда, они могут только то, чему обучены и двигать науку, культуру или политику адекватно они не в состоянии. Они вообще никак не разумны т.к. представляют собой вид статистического автомата.
Было по теме:
Дата публикации: 2022-12-22 13:06:37
Комментарии 2 комментов.