СТРУКТУРНО-ФУНКЦИОНАЛЬНЫЙ АНАЛИЗ 25 страница

Концепция выбора была развита и получила стро* гое матем. обоснование в трудах амер. ученого К. Э. Шеннона (1948). В его теории все разнообразные случаи передачи информации сводятся к абстрактной схеме: «источник сообщений — передатчик — канал — приемник — получатель», а все качественно разно­родные сообщения преобразуются в единую абстракт­ную матем. форму. Это удается сделать всегда, если принять во внимание принципиально ограниченную' разрешающую способность получателя (любой физич. процесс измерения всегда ограничен точностью спо­собов измерения) и те сообщения, к-рые не разли­чаются получателем, рассматривать как одно сообще­ние. Тогда сообщения любых реальных источников информации, дискретных или непрерывных, можно представить конечным набором чисел или кодовых знаков, выбранных нз конечного алфавита. Напр., используя двоичную систему счисления, все сообще­ния можно представить (или закодировать) последо­вательностью из нулей п единиц. В этом случае источ­ник в абстрактной модели схемы связи будет иметь алфавит нз двух символов, но тем не менее Полностью опишет работу реального источника с алфавитом из т. символов, а задача измерения информации сведется к определению минимально необходимого для такого-кодирования числа нулей и единиц. Это число зависит от меры неопределенности выбора символа из алфа­вита. Поскольку процесс создания сообщений источ­ником заключается в последовательном и случайном для получателя выборе символов, неопределенность выбора зависит не только от т, но и от вероятностей выбора символов и вероятностных взаимосвязей меж­ду ними. Поэтому вычисление меры информации бази­руется на вероятностных оценках. Если р,- — вероят­ность выбора j-го символа алфавита s,-, то h ,-= = —log pi есть количество собственной, или инд 'И'в и дуальной, информации в событии появления символа s,-. Но h ,- — Величина случайная, т. к. ее значение зависит от осуществления случай­ного события s,-. Удобнее пользоваться др. оценкой — количеством информации, приходящейся в среднем

на символ алфавита: Н= 2 aPi *< ⁼ — ZjPi 1°8Р<> ^T- ^e-

i = l                t = l

просто матем. ожиданием собств. информации 1г,-. Эта формула усложняется при учете вероятностных свя­зей между символами. Когда состояние неопределен­ности заменяется состоянием полного знания, т. е. вероятности выборов всех символов, кроме одного, равны нулю, а вероятность выбора этого одиночного символа равна 1, то АГ=0. Полное отсутствие знаний, напр., когда выбор производится из неизвестного по­лучателю алфавита, также исключает передачу инфор­мации. Максимум величины Н достигается при равно-

1 вероятных символахр₁=р₂=...=р,_/г = —, что дает меру

Хартли: Я_макс=— log p = log m .

По матем. выражению, мера количества информа­ции совпадает с известной мерой энтропии в статистич. механике, введенной Больцманом. Это дало повод. назвать ее энтропией источника сообщений, или энт­ропией символов. По своему физич. смыслу энтропия источника сообщений — это минимально необходимое число знаков нек-poro кода (определяемого единицей измерения, т. е. выбором основания логарифма а)„

ТЕОРИЯ ИНФОРМАЦИИ

211

 

к-рое надо затратить в среднем на один символ реаль­ного алфавита источника, когда он посредством опе­рации кодирования заменяется своим отображением в абстрактной схеме связи.

Приведенные подходы к оценке информации не яв­ляются единственными в своем роде. Р. А. Фишер (см. его «The design of experiments», 5 ed., Edin. — L., 1949) предложил (1921) принять за меру информации, доставляемой результатом одиночного измерения, в физич. эксперименте величину, обратно пропорцио­нальную дисперсии результатов измерения, когда ошибки измерения подчинены нормальному закону. На возможность иных, не специально статистических, подходов к определению информации указал Колмо­горов (см. сб. «Проблемы передачи информации», т. 1, вып. 1, М., 1965). Так, напр., существуют задачи, в к-рых по заданному объекту А надо построить связанный с ним объект В. Тогда количество информа­ции в объекте А относительно объекта В можно опре­делить как меру сложности алгоритма преобразования А в В. По существу, эта операция сводится к наиболее экономному нумерованию всех символов алфавита, причем номер каждого символа должен в среднем содержать как минимум Н бпт, если принят бинарный код. Надо иметь в виду, что численное значение энт­ропии символов принципиально зависит от свойств получателя различать сообщения и что в реальных системах связи по линиям связи передаются в качестве результатов выбора, конечно, не «кодовые номера», а сами сообщения, преобразованные в фпзич. сиг­налы. Такой мерой служит, в частности, минимально необходимое число операций, или «длина» программы, к-рая указывает, как произвести это преобразование. Этот подход получил название алгоритмиче­ского.

Тополог и ч. подход к оценке информации, когда количество информации определяется как мера топологич. различия структур, т. е. как мера тех различий, к-рые остаются инвариантными при топо­логич. преобразованиях, намечен Рашевским. Даль­нейшим развитием этих подходов явились попытки оценить количество семантич. информации.

В семантической Т.н. пытаются преодо­леть специфику абстрактных подходов и ввести коли­честв, оценки содержательности, важности, ценности и полезности информации, т. е. в известном смысле найти количеств, меру семантич. характеристик сооб­щений (предложений, высказываний). В отличие от матем. Т. п., различные варианты теории семантич. информации пытаются охарактеризовать «меру инфор­мации» гл. обр. с помощью средств логич. семантики, а также логики индуктивной и модальной логики. Хотя ни один из предложенных к наст, времени вариантов теории семантич. информации не претендует на сколь­ко-нибудь исчерпывающее решение проблемы нахож­дения точных оценок семантич. информации, нек-рые из этих подходов уже дали возможность не только развить формальный матем. аппарат (как правило, впрочем, совсем простой; такова, напр., концепция семантич. информации Р. Карнапа п И. Бар-Хпл-лела, сочетающая чисто семантич. рассмотрения, бази­рующиеся на анализе языков прикладных предикатов исчислений, с характерными для шенноновской тео­рии алгебро-комбинаторными схемами, предложенная ими в работе «Semantic information», в журн. «Brit. J. Philos. Sci.», 1953, v. 4, №. 14, p. 147—57), но и применить его к различным логич., лингвистич. и пси-хологич. исследованиям. Примером могут служить работы Д. Харро, посвященные формальному описа­нию процессов коммуникаций с помощью развиваемой им на базе логич. семантики «логики вопросов и отве­тов», работа сов. логика Е. К. Войшвилло, показавшего возможность объединения в рамках единой теории

шенноновской оценки количества информации с се­мантич. интерпретацией Карнапа и Бар-Хиллела. Ряд идей, относящихся к этой развивающейся проблема­тике, выдвинут советскими и иностр. учеными, ра­ботающими над задачами машинного перевода и др. проблемами лингвистики математической. Мно­гие из этих идей предполагают выход из «чисто семан­тических» рамок и привлечение более общих представ­лений семиотики и особенно прагматики. Так, если допустить, что информация собирается для достиже­ния нек-рой цели, то ее ценность естественно считать зависящей от того, насколько она способствует дости­жению этой цели. Отсюда мера ценности может быть выражена через приращение вероятности достижения цели. Продолжая развивать этот прагматич. аспект Т. п., сов. математик Е. С. Вентцель указывает след. путь оценки полезности информации: когда эффектив­ность к.-л. мероприятий можно оценить численно, приращение эффективности (т. е. разность между эф­фективностью проведения мероприятий до и после получения информации об условиях, в к-рых они будут проходить) характеризует важность и ценность полученного сообщения. М. М. Бонгард (см. его «Проблема узнавания», М., 1967) связывает меру по­лезности сообщения с задачей, к-рую решает полу­чатель, с запасом его знаний до прихода сообщения и способом истолкования сообщения. Если наблюда­тель получает извне нек-рое сообщение, изменяющее исходную неопределенность задачи Н₀ на H_lt то по­лезная информация, заключенная в сообщении, есть разность неопределенностей ^_ПОЛезн ⁼ -^о—Hi - Под, неопределенностью задачи понимается выражение H { qlp ) =—2p,log q /, где р(х) есть истинное распределе­ние вероятностей результатов опыта, a q ( x ) — гипо-тетич. распределение результатов опыта, из к-рого исходит в своей деятельности наблюдатель. Заметим, что аналогичное выражение было использовано нем. психофизиком Г. Франком (1953) для меры субъектив­ной информации, получаемой человеком при на­ступлении события S ;, где q ; играли роль «субъек­тивных вероятностей» — величин, отражающих пред­ставления наблюдателя о численной возможности на­ступления события. За нулевой уровень можно при-

нять <7,-=— (t —1, 2, ...,и). В этом случае количество полезной информации, содержащейся в гипотезе о том, что распределение вероятностей результатов опыта есть q ( x ) относительно задачи с распределе­нием вероятностей р(х), есть J_n = H ( q )—Н ( q / p ) = = logn — H ( q / p ).

Новый подход к оценке семантич. информации раз­рабатывается сов. математиком Ю. А. Шрейдером (см. сб. «Проблемы кибернетики», вып. 13, М., 1965). Абстрактная модель системы связи в матем. Т. и. строится в предположении, что получателю известен алфавит источника сообщений. В более общей форму­лировке это требование означает, что для понимания и последующего использования сообщений получатель должен обладать определ. запасом знаний. Знания получателя в ряде случаев, напр. при анализе инфор-мац. содержания в науч. статьях, можно представить в виде списка названий объектов и названий их свойств — слов, в к-ром также указаны смысловые связи между словами. Такой словарь или справочник с заданными связями представляет собой обобщение понятия тезауруса. Под влиянием сообщений, если существует алгоритм для их анализа, тезаурус будет пополняться новыми словами, в него будут до­бавляться новые связи и изменяться старые. При этих условиях количество семантич. информации, со­держащейся в тексте сообщения, естественно измерить степенью изменения тезауруса иод влиянием сообще­ния. Она может быть измерена, напр., числом новых

212

ТЕОРИЯ ИНФОРМАЦИИ

 

слов и связей, числом отброшенных слов и связей и пр. Данный подход существенно отличается от концепции выбора, где предполагалось, что получаемая инфор­мация тем больше, чем меньше априорных сведений имеется об источнике информации. Напротив, мера семантич. информации растет, если один и тот же текст проектировать на все более сложные тезаурусы, т.к. в более сложных тезаурусах, вообще говоря, боль­ше возможностей для изменения. Это хорошо согла­суется с интуитивным представлением о содержат, сто­роне процесса обмена информацией: полное незнание предмета не позволяет извлечь существенное смысло­вое содержание из поступающей о нем информации. Но по мере роста наших знаний растет и извлекаемая информация. После достижения нек-рого максимума семантич. информация в поступающих к нам данных перестает расти и падает до весьма малой величины до тех пор, пока не поступят сведения, обладающие существ, новизной. Поэтому, в частности, элемент новизны в открытиях и изобретениях в любой области знаний оценивается в рамках этого подхода по сте­пени их влияния на сложившиеся представления.

Общим свойством рассмотренных мер информации является то, что они вводятся при наложении на ре­альную ситуацию обмена информацией строго очер­ченной системы абстракций. Как отметил Колмогоров, едва ли удастся такое сложное и многообразное поня­тие, как информация, охарактеризовать во всех слу­чаях с помощью одной числовой величины; поэтому любой подход к количеств, оценке информации пред­ставляет собой, по существу, ту или иную форму экспликации (или ограничения) общего понятия.

Правомерно, однако, анализируя сущность пнфор-' мации как филос. категории, поставить вопрос п о наиболее общем значении и содержании этого поня­тия. Сов. авторы и ряд зарубежных философов-мар­ксистов связывают категорию «информация» с объек­тивными условиями проявления закона отражения. В этом плане информация выступает как свойство материальных объектов и процессов порождать, пере­давать и сохранять многообразие состояний, к-рое посредством той или иной формы отражения может быть передано от одного объекта к другому и запечат­лено в его структуре. Отсюда количество информации в зависимости от уровня процесса отражения связы­вается с мерами упорядоченности, организованности, структурности, сложности материальных объектов, процессов и систем в их взаимодействии между собой. Вне процессов взаимодействия количеств, оценка этого свойства невозможна, поскольку многообразие состояний любого материального объекта, рассматри­ваемого как отдельно взятый источник информации, принципиально неограниченно (особенно если иметь в виду переход от макросостояний к микроструктуре). Конечно, на совр. этапе развития наших представле­ний о свойствах микромира предел различимости микросостояний объекта или физнч. переносчика сообщений устанавливается принципом неопределен­ности (см. Неопределенностей соотношение). Поэтому существует теоретич. возможность «абсолютной» (не зависящей от свойств «получателя») оценки макс, разнообразия, или информационной емкости. Эта ве­личина по аналогии с физич. представлениями может быть названа «потенциальной информацией», но чис­ленная мера количества потенциальной информации, по сути дела, остается величиной относительной, оп­ределяющей своего рода предельные условия взаимо­действия материальных объектов.

Определяя роль и место информации в системе диа-лектико-материалпстич. взглядов, надо иметь в виду, что информац. процессы материальны постольку, по­скольку всегда воплощены в том или ином материаль­ном процессе взаимодействия, даже если это обмен

идеями между людьми. Но статпстич. теория передачи сообщений изучает особые формы взаимодействия. Особенностью их является, во-первых, то, что хотя они и зависят от энергетич. стороны взаимодействия, но не определяются ею, т. к. информация не зависит от типа материального носителя; и, во-вторых, что осн. количеств, мера взаимодействия — энтропия источника сообщений — употребляется в том же смысле, в каком Маркс употреблял термин «мера стоимости» для обо­значения одной из функций денег. В этой функции деньги, в отличие от их чувственно воспринимаемой вещественной формы, существуют лишь в идеальной форме, иначе говоря, существуют лишь в представле­нии (см. К. Маркс и Ф. Энгельс, Соч., 2 изд., т. 23, с. 105—06). Точно так же выражение количества ин­формации в битах в абстрактной схеме связи носит идеальный характер, Т. е. осуществляется лишь в на­шем представлении, п для этой цели применяются лишь мысленно рассматриваемые двоичные (или любые дру­гие по произвольному выбору основания логарифма) единицы информации. В реальных сообщениях, дан­ных, известиях никаких «бит», естественно, не содер­жится. Выражение "«передано 10 бит информации» означает только, что процесс передачи данного сооб­щения, к-рое может иметь сколь угодно сложную форму и быть телевизионным изображением, метео­сводкой или сигналом в нервной сети, эквивалентен в технике связи передаче десяти чередующихся в оп-редел. порядке пауз и токовых посылок. Такова, в сущности, особенность способа измерения, вытекаю­щая из принимаемых при построении абстрактной схемы связи допущений, особенность меры, а не осо­бенность самой природы информации. Именно непра­вильное отождествление способа измерения с самой измеряемой величиной и породило представление об информации как о нематериальном объекте. Но в тех-нич. приложениях Т. и. речь всегда идет лишь о коли­честве информации в абстрактной схеме связи, а не об информации в ее наиболее общем смысле. Поэтому можно говорить лишь об опасности некорректного перенесения этого понятия на др. аспекты инфор­мации и, в частности, о неадекватном использовании его в методологич. работах.

Развитие Т. и. стимулируется взаимным обменом идеями и методами с др. науч. дисциплинами, напр. при решении «информационных» проблем биологии и физиологии, психологии, эстетики, языкознания, физики. Так, физнч. Т. и. изучает проблему соотно­шения информации и энергии. На первый взгляд энергетич. процессы в осн. построениях Т. и. не иг­рают ч роли. Действительно, на оценке и содер­жательности информации не сказываются ни тип пере­носчика, ни физич. способ передачи. Но зависимость информации от энергии все же существует: создание информации, ее переработка и хранение невозможны без затраты энергии. В обычных условиях затраты энергии на получение одного бита информации пре­небрежимо малы (в идеальном случае при очень ши­рокой полосе частот на передачу одного бита надо за­тратить не менее 0,7 кТ джоулей, здесь к — постоян­ная Больцмана, равная 1,37-10^_23 дж/град, Т— тем­пература по шкале Кельвина). Но положение дел меняется, когда, напр., для получения информации приходится производить точные измерения на очень малых расстояниях. Бриллюэн приводит убедитель­ный пример: если длину отрезка требуется измерить с точностью до 10~⁵⁰ мм, то энергии всего лишь одного кванта волны, служащего в этом случае эталоном длины, хватило бы на разрушение всей нашей пла­неты. Общей формулировки ограничений, накладывае­мых на процессы передачи сообщений квантовыми эффектами, в настоящее время не имеется, хотя изучение квантовомеханич. каналов связи, где в ка-

ТЕОРИЯ ИНФОРМАЦИИ— ТЕОРИЯ МАЛЫХ ГРУПП                                                  213

честве прпемо-передающих устройств используются ла­зеры и мазеры,— это важнейшее направление физпч. Т. п., возникшее из запросов космич. связи. Др. на­правление физич. Т. и. — это проблема истолкования матем. тождественности выражений для энтропии в фи­зике и для энтропии в теории сообщений (см. Энтро­пия).

В экспериментальной психологии мера информа­ции, содержащейся в предъявляемых испытуемым сти­мулах, позволяет отвлечься от качеств, разнообразия стимулов и ввести формальные модели процессов вос­приятия информации человеком и процессов памяти, допускающие применение матем. аппарата Т. и. Это стало возможным после того, как Хиком было установ­лено, что время реакций выбора Т„ и энтропия стиму­лов Н связаны между собой простой линейной зависи­мостью: Т=Т₀-\-ЬН, где Т₀ — время простой реак­ции, когда то=1 и выбор отсутствует, а Ъ — величина, обратно пропорциональная макс, скорости перера­ботки информации человеком в данных условиях экс­перимента. Затем последовало большое число работ, в к-рых исследовались особенности переработки ин­формации человеком и условия применимости фор­мулы Хика. Результаты этих исследований зачастую противоречат друг другу, и здесь все еще остается немало спорных моментов, в частности о соотношении статистич. и семантич. аспектов информации в реаль­ной деятельности человека. Все же возможность вве­дения математически описываемых моделей сенсомо-торных процессов, когда человека-оператора рассмат­ривают как канал связи, включенный между двумя технич. блоками системы управления, приобретает огромное практич. значение в инженерной психоло­гии, где без количеств, оценки всех сторон деятель­ности человека нельзя получить критерии эффектив­ности и надежности сложных автоматизиров. систем управления.

---

Дата добавления: 2019-01-14; просмотров: 159; Мы поможем в написании вашей работы!

Поделиться с друзьями:

---

---

Мы поможем в написании ваших работ!