Ученые приспособили поисковый сервис для проведения масштабных лингвистических исследований. С его помощью специалисты, используя 5 миллионов отсканированных книг, смогли проследить эволюцию языка в последние 200 лет. Статья специалистов опубликована в журнале Science, а коротко о работе пишет New Scientist.
До сих пор у лингвистов не было инструмента, при помощи которого можно было бы проанализировать значительное количество текстов. Авторы нового исследования работали с книгами, которые были переведены в цифровой формат к настоящему моменту - всего их насчитывается около 15 миллионов. Ученые выбрали из них треть текстов (5,2 миллиона книг, написанных на английском, французском, испанском, немецком, китайском и русском языках) и составили базу всех использованных в них слов - их получилось около 500 миллиардов. Базу слов Ngrams можно найти - поиск по словам осуществляется на базе алгоритмов Google.
Проанализировав полученные данные, авторы смогли сделать большое количество разнообразных выводов. В частности, они установили, что за последние сто лет число часто используемых слов возросло вдвое - если в 1900 году использовалось около 544 тысяч слов, то в 2000 году это число возросло до одного миллиона, причем 52 процента новых слов стало активно употребляться после 1950-х годов.
Кроме того, специалисты изучили, как сказывалась на использовании тех или иных слов цензура. Ученые установили, что после 1989 года словосочетание "площадь Тяньаньмень" практически перестало встречаться в литературе, изданной в Китае. То же самое произошло с именем Лев Троцкий в СССР в 1940-е годы и с именами голливудских актеров, уличенных в связях с Советским Союзом в США.
Авторы и их коллеги полагают, что новый инструмент позволит ученым исследовать слова и лингвистические тенденции, используя те же подходы и методы, что и специалисты по естественным наукам.
Ссылки по теме - - Science, 17.12.2010 - - New Scientist, 16.12.2010 - – Lenta.ru, 06.10.2010 - – Lenta.ru, 01.10.2010 - – Lenta.ru, 13.01.2010 - – Lenta.ru, 30.08.2010
Сайты по теме - - каждый может исследовать свои слова в этом инструменте.
Обсуждение Сообщений: 2. Последнее - 22.12.2010г. 13:02:54
Алгоритмы жизни Описание основных эволюционных решений индивидуальной системы адаптивности природных и искусственных живых существ: Алгоритмы жизни. 12-05-2025г.
Ученые приспособили поисковый сервис для проведения масштабных лингвистических исследований. С его помощью специалисты, используя 5 миллионов отсканированных книг, смогли проследить эволюцию языка в последние 200 лет. Статья специалистов опубликована в журнале Science, а коротко о работе пишет New Scientist. 
http://www.scorcher.ru/xml/news.rss