Искусственный интеллект: история одной идеи академика В.М. Глушкова
Мищенко Н.М.
Стаття висвітлює одну з ідей у галузі штучного інтелекту, сформульовану вперше академіком В.М. Глушковим, а саме, про навчання комп'ютера розпізнавати осмисленість речень природної мови. Ідея та результати машинних експериментів подаються переважно за допомогою цитат з наукових праць В.М. Глушкова.
In the article the idea firstly formulated in the field of artificial intellect by Academician V.M. Glushkov to teach the computer to recognize the meaning of natural language sentences is presented together with the computer experiments results. In particular, presentation is widely illustrated by citation from V.M. Glushkov's scientific papers.
В статье представлена одна из идей в области искусственного интеллекта, впервые сформулированная академиком В.М. Глушковым, а именно, об обучении компьютера распознаванию осмысленности предложений на естественном языке. Представление идеи и машинных экспериментов выполнено, в основном, с помощью цитат из научных трудов В.М. Глушкова.
Создание и развитие искусственного интеллекта как помощника человека в его творческой деятельности стало возможным после построения носителей искусственного интеллекта − электронных вычислительных машин (ЭВМ).
В декабре 1951 года в Киеве в Лаборатории Института электротехники АН УССР была введена в эксплоатацию первая в СССР и в континентальной Европе вычислительная машина, получившая название МЭСМ (Малая Электронно-Счетная Машина). Главным конструктором и руководителем коллектива создателей машины, которая разрабатывалась на протяжении 1948-1951 годов, был действительный член Академии наук УССР Сергей Алексеевич Лебедев (1902-1974). В 1952 году С.А. Лебедев уехал в Москву, где под его руководством создавалась бальшая ЭВМ (БЭСМ) на основании опыта, приобретенного в Киеве. Лаборатория была переведена в Институт математики АН УССР под названием Лаборатория вычислительной техники (позже − вычислительной математики и вычислительной техники), где с помощью МЭСМ решались научные и практические задачи. По инициативе директора Института математики академика Б.В. Гнеденка в Лаборатории начали разрабатывать новую, более мощную ЭВМ под названием "Киев"
Развитие науки и вычислительной техники в Киеве получило новый мощный импульс с назначением летом 1956 года на должность заведующего Лабораторией молодого доктора физико-математических наук Глушкова Виктора Михайловича.
По постановлению Совета Министров УССР от 28 ноября 1957 года и Президиума АН УССР от 13 декабря 1957 года на базе Лаборатории вычислительной математики и вычислительной техники Института математики АН УССР был образован Вычислительный центр АН УССР (далее – ВЦ) на правах научно-исследовательского института. Дата образования – 16 декабря 1957 года. Директором ВЦ был назначен Глушков В.М.
Глушков В.М. (1924-1982) (далее − В.М.) к тому времени был уже известным специалистом в наиболее абстрактной области математики − топологической алгебре, однако, он сразу оценил возможности ЭВМ быть помощником человека во всех сферах его деятельности. Особенно большое внимание В.М. уделял созданию и развитию искусственного интеллекта на ЭВМ. О начале таких работ в ВЦ свидетельствует, в частности, отрывок из его монографии [1, с.164]:
... автор еще в 1958 г. успешно использовал универсальную электронную вычислительную машину "Урал" для проверки правильности доказательства теорем в одной алгебраической теории (которая, кстати сказать, в целом является алгоритмически неразрешимой).
Темой настоящей статьи является история реализации впервые предложенных В.М. Глушковым в области искусственного интеллекта идеи и ее воплощения в алгоритме обучения ЭВМ распознаванию осмысленности фраз на естественном языке и совершествованиюпроцесса обучения на основе опыта (в дальнейшем − обучение машины). Цитируем В.М. Глушкова (1, с.153]):
...Понятие "осмысленности" фразы точно не определяется. Предполагается просто, что "учитель" каким-то способом, придерживаясь, однако, обычного житейского понятия о смысле или бессмысленности, произвел разбиение всех фраз на два непересекающиеся класса: класс осмысленных фраз и класс бессмысленных фраз. В процессе обучения каждой фразе, подаваемой на вход алгоритма, сопоставляется признак ее принадлежности одному из этих двух классов...
Идее обучения машины В.М. придавал большое значение, о чем свидетельствует ее описание в нескольких монографиях ([1], [2], [3], [4]), представление в докладах на конференциях, симпозиумах. Эта идея и ее реализация на ЭВМ в 1961 году стали предтечей дальнейших исследований по распознаванию семантики текстов и представлению ее в виде семантических сетей.
Приоритет развития искусственного интеллекта в деятельности В.М. Глушкова подтвердился во время его визита в США в составе советской делегации в апреле-мае 1959 года, состоявшегося в рамках обмена делегациями ученых между США и СССР. Среди заявленных им в анкете интересов был и такой, переведенный на английский язык как machinelearning([5, с.491]) − термин, обозначающий дисциплину, одним из заданий которой является разработка компьютерных программ, способных к самоусовершенствованию в процессе исполнения. Уже тогда В.М. инициировал в ВЦ исследования в таких направлениях как автоматическое распознавание символов и изображений, машинный перевод, моделирование простейших процессов биологической эволюции и др.
На семинарах в отделе, возглавляемом В.М. Глушковым в ВЦ, реферировались и обсуждались зарубежные статьи из области искусственного интеллекта. В частности, автором этих строк в 1961-м годупо заданию В.М. Глушкова на семинаре была прореферирована статья о программе под названием General Problem Solver (GPS) [6], в переводе на русский − "Универсальный Решатель Проблем". По замыслу авторов программа могла решить любую символьную проблему, допускающую формализацию. В качестве примеров в статье рассматривалось упрощение алгебраических выражений путем применения тождественных соотношений общей алгебры.
Многогранность таланта В.М. Глушкова проявилась и в том, что под его руководством параллельно с решением математических задач на ЭВМ с первых лет существования ВЦ выполнялась интенсивная работа с целью применения вычислительной техники в народном хозяйстве, в частности, для управления технологическими процессами. В.М. потратил много усилий на то, чтобы использовать вычислительную технику для управления экономикой в СССР, то-есть, впервые в мировой практике построить общегосударственную компьютерную информационную модель экономики. И достиг определенных успехов, несмотря на сопротивление новшествам со стороны старой управленческой номенклатуры.
В ВЦ 6−9 июня 1960 года состоялась Вторая научная конференция по вычислительной математике и вычислительной технике. Тематика докладов, представленных в тезисах [7], отражает весь спектр работ, выполняемых ВЦ в то время: управляющая машины широкого назначения, полупроводниковые устройства, применение компьютеров в промышленности, автоматизация программирования, программирование методов вычислительной математики.
А к теме искусственного интеллекта относились такие доклады: Н.М. Грищенко, Т.А. Крайнова, С.Н. Якименко "О программировании алгоритма независимого анализа языка" (Грищенко − девичья фамилия автора статьи); Л.А. Калужнин, А.А. Стогний, Л.С. Стойкова "Математические принципы построения автоматического словаря для машинного перевода"; Л.А. Калужнин, С.Н. Якименко "Статистическое исследование печатных текстов";В.А. Ковалевский, А.Г. Семеновский"Автоматическое распознавание букв и цифр методом анализа направления"; И.П. Севбо "Статистика флексий на материале русского языка 1-ого уровня"; Э.Ф. Скороходько "Один способ построения формальной модели значения и некоторые возможности его применения"; А.А. Стогний "О принципах построения одной обучающейся программы".
Самое раннее из найденных нами свидетельств об алгоритме В.М. Глушкова обучения машины относится к июлю 1960 года, когда В.М. рассказывал об этом алгоритме американскому делегату международного конгресса IFAC(InternationalFederationofAutomaticControl), который состоялся с 27 июня по 7 июля 1960 года в Москве. На конгресс прибыло более 150 зарубежных делегатов. В американском журнале [8, сc.759-776] была напечатана статья, озаглавленная "SovietCyberneticsandComputerSciences– 1960", в которой автор, делегат конгрессаиз СШАEdwardA. Feigenbaum,представил информацию о конгрессе, а также описал свою встречу с В.М.Глушковымв Киеве. В ходе беседы В.М. расказал делегату конгресса о своих результатах в теории абстрактных автоматов, а также о начатых работах в области искусственного интеллекта, в частности, о проблеме обучения компьютера распознавать осмысленность фраз естественного языка. Приводим рассказ В.М. в русском переводе с английского.
...Предположим, выбран ограниченный словарь, который состоит из 20 имен существительных, 15 глаголов и 15-20 предлогов. Как только эти слова выбраны, можно строить все осмысленные предложения, содержащие эти слова, и затем ввести их в машину. Но это неправильный путь, учитывая большое количество возможных вариантов предложений.
Наша цель состоит в том, чтобы задать машине лишь определенное число осмысленных предложений и после их обработки попросить машину ответить, осмысленно или нет новозаданное предложение. Если машина ошиблась, то указать на ошибку. Идея состоит в том, чтобы машина сформировала классы из тех осмысленных предложений, которые были уже поданы. Например, пусть сформирован класс объектов, которые могут стоять – дом, мальчик, человек, ребенок. Если предложение с глаголом "думать" будет подано впервые, машина правильно ответит, что "мальчик думает", "мужчина думает", "ребенок думает", а "дом думает" – ошибка. Тогда она должна сформировать новый класс обьектов, которые "стоят, но не думают". Число классов может быть очень большим, но намного меньше множества всех осмысленных предложений, которые можно построить со слов данного словаря. Этот процесс расщепления и формирования классов можно инициировать и для предложений "имя существительное-глагол-предлог-имя существительное".
В заключение статьи автор отметил, что США имеет определенные преимущества над СССР в проектировании и изготовлении компьютеров, но в СССР нет отставания в развитии фундаментальных идей в этой области.
Статья американского делегата свидетельствует также о том, что 28 июня 1960 года в Политехническом музее в Москве с большим успехом выступал делегат конгресса Норберт Винер для всех желающих его послушать. Большинство вопросов к нему касалось сравнения творческих возможностей мозга и компьютера. Больше всего аплодисментов вызвало высказанное Н. Винером убеждение в том, что творчество человека всегда будет превосходить машинное.
После конгресса Норберт Винер приезжал в Киев и выступал в Киевском доме научно-технической пропаганды. Его интерес к Киеву объяснялся еще и тем, что он родился в Украине, и в то время еще были живы его родственники, с которыми ему так и не разрешили встретиться.
В отличие от Н. Винера В.М. Глушков был оптимистом в отношении развития искусственного интеллекта в будущем. Через 15 лет после выступления Н. Винера на конгрессе в "Литературной газете" от 1.01.1976 года была опубликована беседа В.М. Глушкова с журналистом В. Моевым, который поставил В.М. такой вопрос:
"Оставимпока в стороне споры, как сложатся взаимоотношения естественного и искусственного интеллекта, но хотел бы услышать четко: можно ли вообще создать искусственный разум, равный человеческому?"
Ответ В.М.: "Наверное, ответом должна послужить вся беседа, я постараюсь изложить, обосновать свою точку зрения. Но если уж вам так важно услышать это в самом начале, извольте – "да" и еще раз "да". ... Можно ли создать полноценный искусственный разум – уже не вопрос. Безусловно, можно. Причем человеческому он не только не уступит, но во всех отношениях опередит его. Это произойдет, видимо, еще до начала XXIвека... У нас в Институте кибернетики (ВЦ в 1962 году преобразован в Институт кибернетики АН УССР во главе с академиком В.М. Глушковым − Н.М.)программа научно-исследовательских работ по этой теме принята и рассчитана примерно на такую перспективу..."
Дальше идет детальное изложение и обоснование позиции В.М. Однако, со временем В.М. поменял свое мнение о сроках создания сложных кибернетических систем и предложил тезис о единстве ближних и дальних целей. Но об этом − позже.
С введением в эксплуатацию ЭВМ "Киев" в 1959 году появилась возможность реализовать программно некоторые идеи искусственного интеллекта, в том числе и алгоритм В.М. обучения машины. Полный перечень программ для ЭВМ "Киев", созданных до 1962 года, имеется в монографии [9]. Среди перечисленных программ с участием автора статьи в 1960 году на ЭВМ "Киев" были реализованы программа морфологического анализа словоформ русского языка по алгоритму лингвиста младшего научного сотрудника Института языкознания АН СССР Мельчука И.А. [10, сс. 207-297] (Москва) и арифметический блок программирующей программы (ПП-2) по алгоритму старшего инженера ВЦ АН УССР Л.Н. Иваненко.
Имея опыт программирования так называемых логических задач, в начале 1961 года автор этой статьи начала разрабатывать программу для ЭВМ "Киев" по алгоритму В.М. Глушкова и проводить эксперименты по обучению компьютера распознавать осмысленность простых предложений русского языка.
Приводим постановку задачи из монографии В.М. Глушкова [1, сс.152-157].
... Весьма важную область применения самосовершенствующихся систем алгоритмов составляют задачи обучения языку. ...Речь идет о задаче обучения распознаванию смысла фраз на том или ином языке. Реально рассматривался русский язык и фразы весьма простой грамматической конструкции с достаточно бедным словарным запасом (порядка 100 слов).В настоящем изложении мы ограничимся лишь основными идеями, которые были положены в основу алгоритма обучения распознаванию смысла.
Предположим сначала, что речь идет о распознавании смысла фраз, состоящих только из подлежащих и сказуемых. Запас слов, из которых составляются изучаемые фразы, заранее фиксируется. Ясно, что при этих условиях возможно лишь конечное число фраз, и тем более, среди них конечное число осмысленных.
Точная постановка задачи об обучении распознаванию смысла фраз состоит в следующем:необходимо построить самосовершенствующуюся систему алгоритмов, которая после сообщения ей некоторого числа N1 случайно выбираемых фраз из общего числа Nосмысленных фраз данной конструкции научилась бы правильно распознавать осмысленность любой фразы этой же конструкции, то-есть, относить эту фразу либо к числу осмысленных, либо к числу бессмысленных фраз...
В процессе обучения различают два режима: режим обучения и режим экзамена. В режиме обучения системе подают некоторое число (не все) осмысленных фраз. Затем в режиме экзамена подают фразы, а система должна отвечать, они имеют смысл или бессмысленны. В случае неправильного ответа можно делать подсказку и таким образом обучать в режиме экзамена. Если в режиме обучения подать все осмысленные фразы, то машина всегда будет отвечать правильно. Такой процесс ("зубрежка") называется тривиальным.
Заслуживает внимания нетривиальный процесс, когда системе подается часть осмысленных фраз, а она начинает правильно отвечать на все поданные ей во время экзамена осмысленные фразы. Возможность такого рода обучения основывается на существовании связей между осмысленными фразами, позволяющими на основании осмысленности одной фразы делать правдоподобные заключения об осмысленности некоторых других фраз. Связь такого рода устанавливается, например, высказыванием, что "почти все думающие являются вместе с тем ходящими".
Предлагаемая самосовершенствующаяся система для распознавания смысла фраз, которую мы будем называть смысловым дискриминатором, основывается на идее фиксации связей между различными осмысленными фразами посредством введения новых понятий. Применительно к фразам простейшей конструкции "подлежащее – сказуемое" целесообразно вводить новые слова (понятия) для обозначения классов существительных, сочетаемых с теми или иными множествами глаголов.
Первоначально такие классы образуются из существительных, которые сочетаются с одним глаголом. Получаем например, классы "думающих", "говорящих" и т.п. После образования некоторого числа одноглагольных классов может оказаться целесообразным вводить многоглагольные классы. Пусть, например, в исходном словаре были существительные "студент", "профессор", "отец", "трактор" и глаголы "работать" и "думать". Пусть во время обучения случайно поступили фразы с этими существительными и только с глаголом"работать". Этот глагол объединил их в один класс "работающих". После этого на вход дискриминатора поступили несколько осмысленных фраз с глаголом "думать". Представилось естественным объединить класс "думающих" с классом "работающих". При таком объединении возможны ошибки, например, "трактор" оказался в классе "думающих". Такие ошибки могут выявиться в процессе экзамена, и тогда "трактор" будет выведен из класса "думающих".
Таким образом, смысловой дискриминатор в процессе обучения фактически создает новое понятие, не входящее в первоначально заданный ему словарный запас. Благодаря этому создается возможность более экономного задания существующих в языке смысловых связей по сравнению с простым запоминанием всех осмысленных фраз.
Именно в таком виде смысловой дискриминатор был запрограммирован. Однако, в отличие от описанного выше, в запрограммированном алгоритме разрешалась конструкция фраз типа подлежащее-сказуемое-дополнение (с предлогом или без). Программа состояла из 400 команд ЭВМ "Киев". В архиве программистки сохранились данные лишь об одном эксперименте (40 имен существительных, 51 глагол и несколько предлогов), во время которого сформировано 12 классов имен существительных. Названия классов – понятия: люди, посуда, мебель и др. Основная работа по усовершенствованию программы и постановке экспериментов длилась до середины 1962 года.
Во время экспериментов был обнаружен один курьезный факт. После обучения машины ей была подана для проверки на осмысленность фраза: инженер находится в кухне. Машина оценила ее как бессмысленную. Ошибки в программе тогда найти не удалось. Осталось "поверить" машине. Этот факт всем понравился и даже попал в прессу. Так, в газете "Неделя" от 23-30 ноября 1983 года в статье о В.М. Глушкове упоминается весьма успешная попытка научить машину распознавать осмысленность простых фраз, и в то же время машина не захотела признать фразу о присутствии инженера в кухне как имеющую смысл.
5-6 мая 1961 года в Киеве состоялся Всесоюзный симпозиум "Принципы построения самообучающихся систем". В первый день работы симпозиума В.М. Глушков сделал доклад "Об обучении распознаванию осмысленных предложений на ЭЦМ". Содокладчики А.А. Стогний и Н.М. Грищенко. В докладе В.М. были и новые факты – алгоритм совершенствовался. К сожалению, память не сохранила деталей выступления В.М., ведь доклады о конкретных результатах он всегда сопровождал рассказом о перспективах дальнейших исследований.
Кроме доклада В.М. Глушкова в программе были объявлены еще два доклада с ВЦ по искусственному интеллекту: В.М. Глушков, В.А. Ковалевский, В.И. Рыбак "Об одном алгоритме обучения распознаванию образов" (имелись в виду простые геометрические фигуры – Н.М.); А.А.Летичевский, А.А. Дородницына "Моделирование естественного отбора". Эксперимент демонстрировался в ВЦ на дисплее, присоединенном к машине "Киев".
Всего в программе заявлено 14 докладов. Среди них было два доклада известных ученых из Москвы: А.А.Ляпунов, Ю.Ю. Финкельштейн "О формировании поведения коллектива автоматов"; О.С. Кулагина "О выработке алгоритмов машинного перевода при помощи ЭЦМ".
Некоторые доклады симпозиума опубликованы в сборнике [11] (сборник сдан в набор в декабре 1961 года), где были опубликованы и статьи сотрудников ВЦ а именно: А.А. Стогний "Некоторые математические вопросы построения цифровой логической машины"; В.М. Глушков, В.А. Ковалевский, В.И. Рыбак "Универсальная установка для исследования алгоритмов распознавания изображений"; А.И. Кухтенко "О некоторых классах самонастраивающихся систем автоматического управления"; А.Г. Ивахненко "Индуктивный и дедуктивный методы познания как основа построения двух основных типов обучающихся систем".
В Ленинграде (нынешний С.-Петербург) 3-12 июля 1961 года состоялся 4-й Всесоюзный математический съезд. Грандиозное событие – и, кстати, последнее в таком формате, поскольку позже были уже лишь тематические симпозиумы или конференции. На съезд с ВЦ было командировано несколько математиков и программистов. Все летели в одном самолете с В.М. Глушковым. В пути он показывал через иллюминатор разные выдающиеся места, в частности, озера Чудское, Ладожское. Сотрудники ВЦ бегали от одного иллюминатора к другому, чтобы увидеть показываемое, вызывая беспокойство стюардесс.
Программа съезда была очень насыщенной. Приведем названия пленарных докладов, касающихся кибернетики: Глушков В.М."Алгебраическая теория автоматов"; Колмогоров А.Н. "Дискретные автоматы и конечные алгоритмы"; Новиков П.С. "Теория алгоритмов и вопросы алгебры"; Шура-Бура М.Р., Ершов А.П. "Машинные языки и автоматическое программирование".
Помнится, доклад В.М.Глушкова состоялся в Актовом зале на втором этаже старого здания. Людей было очень много, стояли даже в проходе между рядами кресел. Во время доклада хозяева помещения пытались увести людей, стоящих в середине зала, предупреждая, что здание старое, и пол может провалиться. Но доклад продолжался, и никто не покинул помещения.
Сотрудники ВЦ выступали в секции "Вычислительная математика". Приводим названия докладов делегатов с ВЦ: В.М. Глушков "Некоторые математические проблемы теории обучающихся автоматов"; А.А. Стогний, Н.М. Грищенко "Обучающаяся алгоритмическая система для распознавания осмысленных предложений";Л.Н. Иваненко "О применении машин для конформного отображения односвязных однолистных областей"; А.А. Летичевский "Условия полноты системы конечных автоматов"; А.А. Стогний "Некоторые математические вопросы построения цифровой логической машины"; Е.Л. Ющенко-Рвачева "Адресный язык и проблема автоматизации программирования"; В.С. Михалевич, И.З. Шор "Метод последовательного анализа вариантов при решении вариационных задач управления, планирования и проектирования".
Интересно также познакомиться с темами выступлений других делегатов, которые были или впоследствии стали лидерами в компьютерных науках:
А.А. Ляпунов "Обзор проблематики кибернетики"; С.В. Яблонский "Обзор математических проблем кибернетики"; О.С. Кулагина "Об экспериментах по машинному переводу и о машинной выработке переводческих алгоритмов";
А.П. Ершов, С.С. Лавров "Об экономии памяти при составлении программ";
Э.З. Любимский "Расшифровка выражений типа АЛГОЛ"; Акад. С.Л. Соболев "Расшифровка письменности Майя"; Р.Х. Зарипов "Об алгоритмизации процесса сочинения музыки".
Под руководством В.М. Глушкова в 1961 году сотрудниками его отдела Э.Ф. Скороходько и Л.Э. Пшеничной была выполнена работа по синтезу осмысленных предложений на ЭВМ, результат которой представлен в статье "Синтез осмысленных предложений на ЭЦВМ", опубликованной в сборнике [12]. В статье есть ссылка на алгоритм В.М. Глушкова распознавания осмысленности предложений, как на инструмент для проверки правильности результатов синтеза.
Все так называемые логические программы для ЭВМ того времени, в том числе и программа обучения машины, разрабатывались с немалыми трудностями, связанными с ориентацией ЭВМ только на вычисления и с отсутствием устройств ввода-вывода текстов на естественных языках. Поэтому возникла необходимость в усовершенствовании компьютеров в соответствии с требованиями, которые возникают по мере расширения нечисловых областей применения компьютерной техники. Перечень таких требований и их обоснование были основной темой кандидатской диссертации А.А. Стогния (1932-2007), аспиранта В.М. Глушкова, в то время непосредственного руководителя автора этой статьи.
В феврале 1962 года состоялась успешная защита кандидатской диссертации А.А. Стогния под названием "Исследование рациональных принципов построения универсальных цифровых машин для преобразования буквенной информации". В представленных в диссертации исследованиях использованы алгоритм и результаты экспериментов по обучению машины.
Диссертация А.О. Стогния была в то время актуальной, содержала детально отработанные и обоснованные рекомендации по архитектуре логической машины. Однако, логическая машина тогда не была построена. Через несколько лет структура компьютеров была усовершенствована за счет устройств ввода-вывода символьной информации, организации байтовой структуры памяти, а также появления языков программирования высокого уровня со средствами для работы с символьной информацией, что значительно облегчило применение компьютеров для решения так называемых логических задач.
С 27 августа по 1 сентября 1962 года в Мюнхене состоялся конгресс IFIP-62 (IFIP – International Federation of Information Processing). Врамках конгресса был проведен симпозиум по искусственному интеллекту, где выступил В.М. Глушков с докладом "Некоторые вопросы теории самообучения машин" [13, сс. 480-481]на английском языке. Во время виступления среди нескольких тем главное внимание В.М. сосредоточил на эксперименте по самообучению компьютера распознавать осмысленные предложения естественного языка. Эту тему его доклада подаем ниже в переводе с английского языка, а другие темы только называем.
Во время моделирования мыслительных процесов на компьютерах становится очень важным вопрос самообучения машин... В Институте кибернетики АН УССР в Киеве проводится работа по самообучению машин с учетом различных аспектов теории.
Первый аспект касается общих вопросов теории самообучения...
Второй аспект нашей работы касается обучения автоматов распознаванию образов...
Третий аспект, наиболее интересный с точки зрения моделирования мыслительных процессов, касается построения систем для обучения распознаванию смысла предложений. Конкретно, мы рассматриваем русский текст сравнительно простой грамматической структуры " субъект – глагол – предлог – объект". Для экспериментов мы выбирали сравнительно небольшой словарь (приблизительно 100 слов). Это дало возможность использовать 1000 ячеек памяти, включая место для программы и различных таблиц.
Эксперимент был организован следующим образом. Сначала, в дополнение к программе, мы ввели словарь из 100 русских слов. Они были выбраны случайно, таким образом были получены 70 существительных, 20-25 глаголов и 5-10 предлогов. Из выбраных слов были построены случайным образом предложения при выполнении двух условий: они должны быть осмыслены и иметь конструкцию, не сложнее указанной выше. После генерации достаточного числа предложений мы последовательно ввели их в компьютер. После обработки этой информации компьютер сам сконструировал несколько предложений и спросил программиста, осмыслены ли они.Требовалось, чтобы программист дал правильные ответы на эти вопросы. После этого машина переключалась на режим экзамена. С того же словаря экзаменатор построил новые предложения (осмысленные и неосмысленные) и попросил компьютера ответить, какие из них осмысленны. В реальном эксперименте материал, на котором было произведено обучение (включая предложения, построенные самой машиной), составлял около трети всех возможных осмысленных предложений. В большинстве случаев компьютер правильно классифицировал остальные две трети предложений.
Основную идею легче понять на простом примере предложений, имеющих структуру "субъект – глагол". Сначала компьютер просто накапливает вводимые осмысленные предложения, но специальный параметр, встроенный в программу и называемый коэффициентом сдерживания (coefficient of retentivity), рано или поздно изменяет содержимое памяти. Если, например, этот коэффициент равен 2, компьютер может принять не больше двух предложений с одним и тем же глаголом, например, "профессор думает" и "студент думает". Если позже поступит новое предложение с тем же глаголом, например, "мальчик думает", то машина определяет новое выражение (название) для класса "думающих", и записывает, что "профессор", "студент" и "мальчик" – члены класса "думающих".
Второй специальный параметр программы – коэффициент осторожности (coefficient of caution) – регулирует процесс переноса свойств от одного класса к другому. Например, если этот коэффициент равен 2, тогда достаточно компьютеру распознать, что два члена класса "думающих" могут говорить, чтобы заключить, что все думающие могут также и говорить. Естественно, что при экстраполяции, основанной на неполной индукции, могут возникнуть ошибки. Однако, следующий блок программы генерирует случайным образом осмысленные (с точки зрения машины) предложения и затем автоматически исправляет ошибки, формируя новые классы существительных, основанные на одном, двух, трех или любом числе свойств.
С помощью экспериментов можно выбрать наилучшие значения коэффициентов, при которых процесс обучения машины происходит за кратчайшее время. Изменяя значения этих параметров, можно получить разные схемы поведения процесса обучения от простого механического запоминания (зубрежки) до тенденции к неконтролируемой фантазии.
Эксперименты, моделирующие на компьютере некоторые из простейших процессов биологической эволюции, принадлежат к четвертому типу исследований, проводимых в Киеве...
Вскоре после конгресса В.М. Глушкову пришло письмо от американского ученого Саула Амареля (SaulAmarel), которое подаем впереводе на русский язык:
Во время вашей интересной презентации на симпозиуме по искусственному интеллекту в Мюнхене в рамках конгресса IFIP-62 вы вспомнили статью, посвященную вашим исследованиям по искусственному интеллекту, которые были представлены на симпозиуме по самоорганизующимся системам в Киеве.
Поскольку я очень заинтересован в исследованиях по искусственному интеллекту, то был бы очень благодарен вам за получение репринта вашего доклада на Киевском симпозиуме, а также других материалов о ваших последних работах. Особенно интересуюсь механизмами формирования понятий и хотел бы также узнать больше о вашем проекте машинного распознавания осмысленности фраз, составленных из ограниченного языка.
Подпись: Sincerely Saul Amarel Head of Computer Theory Group in the Radio Corporation of America (RCA) Laboratories (in Princeton).
Справка:SaulAmarel(1928–2002) был профессором университета Рутгерс (RutgersUniversity). Он известен благодаря своим пионерским работам по искусственному интеллекту, которые объединял с другими областями исследований, в частности, участвовал в разработке диагностической машины.
Был ли послан ответ на письмо SaulAmarel, автору статьи неизвестно.
Со второй половины 1962 года наряду с экспериментами по обучению машины автором статьи выполнялась и новая задача – моделирование машины "МИР" на ЭВМ "Киев", а позже − на М-20. В мае 1963 года в Каневе состоялся Симпозиум-2 "Принципы построения самообучающихся систем". На Симпозиуме был представлен доклад: В.М. Глушков, Н.М. Грищенко, А.А. Стогний "Об экспериментах по распознаванию осмысленных предложений".
Однажды на своем рабочем столе автор статьи обнаружила написанную рукой В.М. Глушкова записку, адресованную автору А.А.Стогнием. Вот ее текст:
Тривиальный алгоритм обучения распознаванию осмысленных фраз. Алгоритм с экстраполяцией опыта. Выработка понятий. Корелляционные связи между понятиями и эффективность обучения. Поиск эффективных алгоритмов обучения на основе статистических испытаний.
Что означает записка? Ответ А.А. Стогния на этот вопрос уже забыт. Во всяком случае его ответ не побудил к действию и не объяснил того значения, которое придавал В.М. этой работе. Так с тех пор записка хранится у автора статьи как ценный автограф В.М. Глушкова. Слишком поздно она была прочитана второй раз, когда приобретенный автором опыт позволил понять, что это было задание, а именно, продолжение темы обучения компьютера распознавать осмысленность предложений естественного языка. Позже стало известно, что В.М. был очень заинтересован в этой работе, о чем свидетельствует высказанная им жалость, что она не была продолжена. Приводим отрывок из его воспоминаний в книге [14, с.71].
... Одновременно мы начали работы по распознаванию смысла фраз на русском языке, т.е. в области семантических сетей , как теперь это называется. Этим занимался А.А. Стогний и частично А.А.Летичевский. Впрочем алгоритм делал я, а А.А. Стогний подготовил хорошие программы. По потоку предложений на входе этот алгоритм строил семантическую сеть, т. е. определял, какие слова с какими корреспондируются. Например, "Стул стоит на потолке" хоть и правильно грамматически, но семантически неверно и т. д. Были сделаны зачатки картины мира, причем было придумано экономное кодирование, затем А.А. Стогний переключился на распознавание дискретных образов, тематику Ю.И. Журавлева, да и я оставил это дело, и у нас оно захирело. Надо было его с машинным переводом связать, но опять не хватило людей, а я не мог заниматься лишь семантической алгоритмикой. И все-таки, когда я сделал в 1962 году в Мюнхене на конгрессе IFIP доклад на эту тему, это было сенсацией – у американцев ничего подобного не было. Тогда же меня избрали в программный комитет Международной федерации по обработке информации.
В монографии В.М. Глушкова [5, с.520], где искусственному интеллекту посвящена отдельная глава, В.М. связывает проблему определения семантики текстов на естественных языках с помощью компьютеров с проблемой осмысленного диалога человека с машиной. Цитируем:
...Проблема понимания текстов на естественных языках не может считаться до конца решенной, если предназначенная для этих целей автоматическая система не способна вести осмысленный диалог с человеком и, самое главное, обучаться в результате диалога.
При ведении такого диалога важно уметь осуществлять автоматический перевод с внешнего языкового представления на язык семантической сети и обратно. С этой целью удобно использовать аппарат формальных семантических грамматик с процедурами классификации и объединения языковых оборотов, равнозначных по смыслу.
....Следует заметить, что построение семантических грамматик в значительной мере облегчается применением процедур, строящих семантическую классификацию в результате анализа предъявляемых системе правильных и неправильных фраз (как с точки зрения синтаксиса, так и с точки зрения семантики). Один из способов такой классификации был предложен автором еще в 1961 году...
Начав широким фронтом развивать идеи создания систем искусственного интеллекта на машинах первых поколений, В.М. Глушков, очевидно, надеялся достичь видимых результатов на протяжении ближайшего десятилетия или двух. Вопреки ожиданиям, получилось не все. В.М. достаточно быстро пришел к заключению о том, что сложные кибернетические системы требуют многолетнего труда. Чтобы правильно организовать эту работу, В.М. выдвинул принцип "единства ближних и дальних целей", касающийся времени, необходимого для создания сложных кибернетических систем.
Лучше всего содержание этого принципа изложено в его воспоминаниях, которые он продиктовал в последние дни своей жизни. Цитируем из [14, с.45]:
Дело заключается в том, что в кибернетике есть одна особенность. Когда развивались другие науки, которые не имели дела со столь большими системами, как кибернетика, то обычно возникновение идеи о том, как решить задачу (особенно в математике), являлось главным. Это было 90% дела. Если идея была верной, то ее оформление занимало 10%. В биологических исследаваниях эти цифры могут быть другими: 40% – идея, а 60% – труд на ее реализацию. А в кибернетике получается так, что в некоторых случаях идея составляет около 0,01%, а все остальное – 99,9% – это ее реализация. Объясню это на примере. Мы с самого начала стали развивать направление, называемое искусственным интеллектом, связанное с построением разумных машин и соответствующих программ. На эту тему я написал книгу "Теория самоусовершенствующихся систем", и во "Введении в кибернетику" ряд разделов был посвящен специально этому вопросу.
Я поручил своему аспиранту Стогнию А.А. работу по искусственному интеллекту, в частности, обучению машины русскому или украинскому, в общем естественному человеческому языку, чтобы она понимала смысл предложений. И мы довольно быстро добились потрясающих вроде бы успехов. Могли "разговаривать" с машиной "Киев" как с маленьким ребенком. Она училась говорить, понимала, задавала вопросы, делала те же ошибки, которые делает ребенок и т.д. Над такого рода вещами (это была оригинальная работа) работали в разных лабораториях мира. Одни переводили с русского языка на английский и наоборот, другие еще что-то делали. И оказалось, что первые попытки давали обнадеживающие результаты: идея уже есть, остается только ее реализовать, а исходя из старого опыта, который был у людей раньше накоплен в других науках, считали, что идея это уже 40% дела. Если на разработку идеи потребовалось два года, значит, на ее реализацию потребуется в полтора раза больше, и через пять лет мы сделаем программы, которые будут переводить лучше любого переводчика с английского на русский, или сделаем такую машину, которая будет по пониманию языка и смысла хорошим собеседником на уровне человека и т. д. Но оказалось, что это далеко не так.
К сожалению, такая недооценка сложности кибернетических задач типична для периода становления любой науки. Я как-то быстро (может потому, что занимался философией в свое время) это понял и таких ошибок не делал, таких предсказаний не давал.
Особенность больших систем в том, что от идей по их построению до их реализации очень длительный путь. Отсюда и появился важный управленческий принцип – единства дальних и ближних целей.
Я этот принцип формулирую так: в новой науке, какой является кибернетика, не следует заниматься какой-то конкретной ближней задачей, не видя дальних перспектив ее развития. И наоборот, никогда не следует предпринимать дальнюю перспективную разработку, не продумав, нельзя ли ее разбить на такие этапы, чтобы каждый отдельный этап, с одной стороны, был шагом в направлении этой большой цели, а вместе с тем он сам по себе смотрелся как самостоятельный результат и приносил конкретную пользу.
Начатые В.М. Глушковым работы по распознаванию машиной осмысленности фраз на естественном языке продолжались в направлении распознавания семантики (смысла) научно-технических текстов. Остановимся кратко лишь на двух исследованиях в этом направлении, начатых в 1960-х годах.
Результаты исследований в отделе В.М. Глушкова его сотрудниками-лингвистами Э.Ф. Скороходько и Л.Э. Пшеничной были опубликованы в монографии Э.Ф. Скороходько [15]. Цитируем из предисловия к монографии.
Данная работа посвящена одному из наиболее важных и перспективных направлений в современной лингвистической семантике – сетевому моделированию языка. Подобная тема впервые является объектом монографического исследования в советской науке. Этот метод исследования основывается на построении семантических сетей, моделирующих смысловую сторону лексики и текста. ...Семантическая сеть оказалась особенно полезной при решении многих теоретических и практических задач, особенно связанных с проектированием лингвистического обеспечения систем искусственного интеллекта.
Проблема построения семантических сетей лексики и текстов состоит в том, что семантическая связь между словами в тексте, а тем более между фрагментами текста, невидима – в отличие от видимых морфологического строения слов и синтаксической связи между словами в предложении. Предметом исследования в монографии доктора филологических наук Э.Ф. Скороходько являются средства поиска семантической связи между словами терминологической лексики и между предложениями научных текстов, а также представление этой связи в удобной для использования форме. Подаем краткую общую схему исследований без точных формулировок понятий лингвистической теории, разработанной автором.
Автор монографии утверждает, что для полного описания семантической связи между двумя словами необходимо указать содержание связи, ее направление исилу. Содержание отображает соотношение, которое объективно существует между смыслами в виде категорий типа "субъект – действие", " часть – целое", "причина – следствие" и пр. Порядок следования категорий свидетельствует о направлении связи. Сила связи характеризирует расстояние между словами, рассматриваемое в конкретном семантическом пространстве.
Обнаружить семантические связи между словами можно методами двух типов: формальными, основанными на коррелляционной зависимости между семантической связью и размещением слов в тексте, и неформальными – с использованием интуиции носителя языка.
Формальные методы имеют то преимущество, что они свободны от субъективизма; однако их недостаток состоит в том, что с их помощью можно определить лишь наличие и силу семантической связи. Автор монографии предлагает избавиться от вышеупомянутого недостатка, приняв во внимание тот факт, что каждое полнозначное слово содержит одну или несколько семантических составляющих. В качестве примера семантических составляющих рассматривается описание слова "туман" в словаре Ожегова: "непрозрачный воздух, насыщенный водяными парами, а также загрязненный пылью, дымом, копотью". В описании слова туман присутствуют такие семантические составляющие: 1) непрозрачный воздух; 2) насыщенный водяными парами; 3) загрязненный пылью, дымом, копотью.
Множество семантических составляющих слова образует его лексическое значение (смысл). Между парой слов существует семантическая связь, если их семантические значения имеют общие семантичские составляющие.
Чтобы определить семантическое значение слов некоторой терминосистемы с целью построения ее семантической сети, в монографии используется неформальная семантическая информация, представленная в толковых словарях терминов соответствующей области знаний. Однако, следует иметь в виду, что таким словарям в той или иной мере присущ субъективизм и наличие ошибок в определениях терминов. Цитируем автора монографии [15, с. 17]:
Толковый словарь как способ представления системы семантических связей и семантической структуры лексики... не обеспечивает однозначного и эксплицитного представления семантических связей, не позволяет прослеживать глубинные связи, т.е. цепочки связей (в этом одна из коренных причин многих логических ошибок в словарях, на которые не раз указывалось), мало пригоден для определения количественных характеристик и т.д.
Идеальной математической моделью любого системно-структурного образования является граф... Весьма удобен граф и для изображения системы семантических связей и семантической структуры лексики.
Вершины графа – значения (смыслы) слов, а ребра – семантические связи между значениями слов. Содержание семантических связей можно передавать на ребрах словами, числами или буквами. Направление связи совпадает с направлением ребра, а силу связей можно обозначать на ребрах условными знаками. Отметим, что начальной информацией для построения графа семантических связей между терминами являются термины из толковых словарей с выделенными семантическими составляющими.
Введение в компьютер лексической семантики терминосистемы является, по существу, обучением машины, хотя и не в прямом диалоге "человек – машина", что было бы весьма неэффективным, учитывая объем информации, которую нужно ввести. Диалог становится актуальным в двух случаях: 1) в режиме экзамена сети на примерах, о которых известно, являются они осмысленными или нет; 2) в режиме использования сети для проверки правильности определения терминов в толковых терминологических словарях, для оценки словарных параметров и др.
Семантические сети лексики являются базисом для построения семантических сетей текстов, которые используются в процессах автоматизации индексирования и реферирования текстов. Результат этих процессов, в свою очередь, является основой для формирования поисковых образов документов – запросов к системам поиска текстовых документов в Интернете.
В конце 1960-х годов сотрудник Института кибернетики В.П. Гладун (с 1983 года – доктор технических наук) ввел понятие растущих семантических сетей и их представление графами специального вида − пирамидальными семантическими сетями, предназначенными для исследований и компьютеризации процессов мышления. В монографии В.П. Гладуна [16]предлагаютсясемантические модели естественноязыкового текста, каждая из которых является растущей семантической сетью пирамидальной структуры, представляющей семантическую связь типа "часть-целое". На основании исследований автором предложены компьютерные средства формирования знаний в нескольких тематических областях. Цитируем из монографии [16, с. 41]:
... Предусмотрено два режима формирования семантической модели языка: 1) путем непосредственного ввода в систему всей информации, образующей модель языка; 2) путем обучения системы на примерах осмысленных словосочетаний.
Работы по компьютерному моделированию естественных языков с помощью семантических сетей, по формированию понятий, логическому выводу и планированию решений, выполненные В.П. Гладуном – весомый вклад в автоматизацию интеллектуальной деятельности человека.
Выводы. В.М. Глушков впервые в практике использования ЭВМ сформулировал концептуальную возможность и предложил алгоритм выявления с помощью ЭВМ основных смысловых связей между словами в предложениях на примере фраз вида "субъект−действие". За время, прошедшее с 1961 года, идея В.М. Глушкова об обучении машины распознавать осмысленность фраз естественного языка указанного вида эволюционировала в распознавание с помощью машины и других смысловых (семантических) связей: "причина−следствие", "часть−целое", "действие−объект" и др., охватывающие практически все полнозначные слова тематических текстов. В настоящее время в Интернете функционирует Семантическая сеть (Semantic Web), содержащая средства формального описания концепций, терминов, семантических связей в различных областях знаний. Смысловой диалог компьютера с человеком становится одной из главных частей программного обеспечения компьютера.
Отметим, что украинские математики во главе с В.М. Глушковым одними из первых увидели перспективу таких исследований и одновременно с появлением первых ЭВМ начали разрабатывать фундамент той интеллектуальной среды, которая сегодня кажется такой привычной.
В заключение автор выражает искреннюю благодарность В.В. Глушковой за ценные советы и моральную поддержку во время написания статьи.
Литература
1. В.М. Глушков. "Теория алгоритмов". Изд-во КВИРТУ, 1961, 167с.
2. В.М. Глушков. Введение в теорию самосовершенствующихся систем.- Киев : Изд-во КВИРТУ. – 1962, 109 с.
3. В.М. Глушков. Введение в кибернетику. – Киев: Изд-во АН УССР, – 1964, 324 с.
4. В.М. Глушков. Основы безбумажной информатики. – Москва: "Наука". – 1982, 562 с.
5. E.M. Zaitzeff and M.M. Astrahan. Russian Visit to U.S. Computers. IRE Transactions on electronic computers, Vol EC-8, Dec., 1959, Numb.4, pp. 489-496.
6. A.Newell, J.C. ShowandH.A.Simon. Report on a general problem solver. Proc. oftheIntern. Conf. onInformationProcessing. 1959, 256-264.
7. Тезисы докладов 2-ой научной конференции по вычислительной математике и вычислительной технике (6-10 июня). Издание ВЦ АН УССР. Киев – 1960. 60 с.
8. IRETransactionsonElectronicComputers", Oct., 1961.
9. В.М. Глушков, Е.Л. Ющенко "Вычислительная машина "Киев". Математическое описание" Гос. издат. техн. лит.УССР. Киев, 1962, 182 с.
10. Сб. "Проблемы кибернетики", вып. 6, М., Физматгиз, 1963.
11. Сб. "Принципы построения самообучающихся систем", Гос. издат. техн. лит. УССР, Киев-1962.- 118 с.
12. Сб. "Проблемы кибернетики", вып. 10, М., Физматгиз, 1963.
13. CertainQuestionsoftheTheoryofMachineSelf-learning// Proc. IFIPCongress- Munich.1962, P. 480-481
14. Б.Н. Малиновский "Академик В. Глушков", Київ, Наук. думка, 1993, 142 с.
15. Э.Ф. Скороходько. Семантические сети и автоматическая обработка текста. – Киев, Наук. думка, 1983. – 213 с.
16. В.П. Гладун. Процессы формирования новых знаний. – София, 1994, 189 с.
Об авторе.
ФИО: Мищенко Надежда Михайловна
степень: кандидат физ.-мат. наук
звание: старший научный сотрудник
место работы (1956-2002):Институт кибернетики им. В.М. Глушкова НАНУ
e-mail: nadmykh@ukr.net
Стаття надрукована у збірнику наукових праць Державного політехнічного музею Національного технічного університету "Київський політехнічний інститут" "Дослідження з історії техніки", Випуск 13, Київ – 2010, стор. 49-65.
