Измерение информации.
Практическое занятие. Измерение количества информации
МЕТОДИЧЕСКИЕ УКАЗАНИЯ
Уфа 2012
УДК 378.144: 004
ББК 74.263.2: 32.81
М 54
Рекомендовано к изданию методической комиссией факультета информационных технологий и управления БГАУ для студентов всех направлений
(протокол № ____ от _________ 20___ г.)
Составитель: старший преподаватель Перегудова М.А
ассистент Саттарова С.Ф.
Рецензент: ст.преподаватель Прокофьева С.В..
Ответственный за выпуск: заведующая кафедрой информатики и информационных технологий к.х.н. доцент Беляева А.С.
г.Уфа, БГАУ, Кафедра информатики и информационных технологий
Цель занятия
Изучение понятия измерения количества информации.
Задачи занятия
Приобретение навыков решения задач по измерению количества информации.
Общие сведения
Понятие информации
Процесс познания окружающего мира приводит к накоплению информации в форме знаний (фактов, научных теорий и т. д.). Понятие информация является одним из фундаментальных в современной науке вообще и базовым для информатики. Информацию наряду с веществом и энергией рассматривают в качестве важнейшей сущности мира, в котором мы живем. Если задаться целью формально определить понятие «информация», то сделать это будет чрезвычайно сложно.
В простейшем бытовом понимании с термином «информация» обычно ассоциируются некоторые сведения, данные, знания и т.п. Информация передается в виде сообщений, определяющих форму и представление передаваемой информации.
|
|
|
Сообщение от источника к получателю передается посредством какой-нибудь среды, являющейся в таком случае «каналом связи». Так, при передаче речевого сообщения в качестве такого канала связи можно рассматривать воздух, в котором распространяются звуковые волны.
В случае, когда параметр сигнала принимает последовательное во времени конечное число значений (при этом все они могут быть пронумерованы), сигнал называется дискретным, а сообщение, передаваемое с помощью таких сигналов – дискретным сообщением. Если же источник вырабатывает непрерывное сообщение (соответственно параметр сигнала – непрерывная функция от времени), то соответствующая информация называется непрерывной. Примеры дискретного сообщения – текст книги, непрерывного сообщения – человеческая речь, передаваемая модулированной звуковой волной.
Непрерывное сообщение может быть представлено непрерывной функцией, заданной на некотором интервале. Непрерывное сообщение можно преобразовать в дискретное, такая процедура называется дискретизацией.
|
|
|
Возможность дискретизации непрерывного сигнала с любой желаемой точностью (для возрастания точности достаточно уменьшить шаг) принципиально важна с точки зрения информатики. Компьютер – цифровая машина, т.е. внутреннее представление информации в нем дискретно. Дискретизация входной информации позволяет сделать ее пригодной для компьютерной обработки.
Использование терминов «больше информации» или «меньше информации» подразумевает некую возможность ее измерения. При субъективном восприятии измерение информации возможно лишь в виде установления некоторой субъективной порядковой шкалы для оценки «больше-меньше». При объективном измерении количества информации следует заведомо отрешиться от восприятия ее с точки зрения субъективных свойств, примеры которых перечислены выше.
Измерение информации.
В информатике используются различные подходы к измерению информации:
Содержательный подход к измерению информации. Сообщение – информативный поток, который в процессе передачи информации поступает к приемнику. Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными Информация - знания человека, сообщение должно быть информативно, т.е. количество информации с точки зрения человека =1. Если сообщение не информативно, то количество информации = 0. (Пример: вузовский учебник по высшей математике содержит знания, но они не доступны 1-класснику).
|
|
|
Вероятностный подход к измерения информации. Все события происходят с различной вероятностью, но зависимость между вероятностью событий и количеством информации, полученной при совершении того или иного события можно выразить формулой которую в 1948 году предложил Шеннон.
формула Шеннона: 
где:
I - количество информации
N – количество возможных событий
pi – вероятности отдельных событий
В случае равновероятностных событий
формула Шеннона переходит в формулу Хартли I=log2N.
Алфавитный подход к измерению информации не связывает кол-во информации с содержанием сообщения. Алфавитный подход - объективный подход к измерению информации. Он удобен при использовании технических средств работы с информацией, т.к. не зависит от содержания сообщения. Кол-во информации зависит от объема текста и мощности алфавита. Ограничений на max мощность алфавита нет, но есть достаточный алфавит мощностью 256 символов. Этот алфавит используется для представления текстов в компьютере. Поскольку 256=28, то 1символ несет в тексте 8 бит информации. 1 бит – такое кол-во информации, которое содержит сообщение, уменьшающее неопределенность знаний в два раза.
|
|
|
Бит (англ. bit - binary, digit - двоичная цифра).- это наименьшая единица измерения информации. 1байт = 8 бит
1Кб (килобайт) = 210 байт = 1024 байт
1Мб (мегабайт) = 210 Кб = 1024 Кб
1Гб (гигабайт) = 210 Мб = 1024 Мб
Дата добавления: 2016-01-04; просмотров: 38; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!