Структурные компоненты мультимедиа
Рассмотрим основные компоненты мультимедийных объектов.
Текст
Текст – это упорядоченный набор предложений, предназначенный для того, чтобы выразить некий смысл. В смысловой цельности текста отражаются те связи и зависимости, которые имеются в самой действительности (общественные события, явления природы, человек, его внешний облик и внутренний мир, предметы неживой природы и т.д.).
Текстовый файл – обычная форма представления текста на компьютере. Каждый символ из используемого набора символов кодируется в виде одного байта, а иногда в виде последовательности подряд идущих двух, трех и более байтов. Особой разновидностью текстовых данных следует считать так называемый гипертекст. Термин «гипертекст» был введен Тедом Нельсоном в 1965 году для обозначения «текста ветвящегося или выполняющего действия по запросу». Обычно гипертекст представляется набором текстов, содержащих узлы перехода от одного текста к какому-либо другому, позволяющие избирать читаемые сведения или последовательность чтения. Общеизвестным и притом ярко выраженным примером гипертекста служат веб-страницы – документы на HTML (гипертекстовом языке разметки), размещенные в интернете.
Аудио
Аудио (от лат. audio –«слышу») – общий термин, относящийся к звуковым технологиям. Как правило, под термином аудио понимают звук, записанный на звуковом носителе, а также запись и воспроизведение звука, звукозаписывающая и звуковоспроизводящая аппаратура.
|
|
|
Таким образом, аудиальный компонент мультимедийной информации предназначен для передачи звуковых данных. Как физическое явление звук изучается в рамках акустики, но при этом акустика является междисциплинарной наукой, использующей для решения своих проблем широкий круг дисциплин: математику, физику, психологию, архитектуру, электронику, биологию, теорию музыки и др. Непосредственное отношение к вопросам мультимедиа-технологий имеют такие направления современной акустики, как музыкальная акустика, электроакустика, акустика речи, цифровая акустика.
По содержанию аудиальный компонент мультимедиа обычно классифицируется на музыкальный и речевой звук. Музыкальный звук обладает следующими характеристиками:
• определенной высотой (обычно от 16 до 4500 Гц);
• тембром, который определяется присутствием в звуке обертонов и зависит от источника звука;
• громкостью, которая не может превышать болевого порога;
• длительностью.
Кодирование звука
Из курса физики известно, что звук представляет собой волну с непрерывно меняющейся амплитудой и частотой. Чем больше амплитуда, тем звук громче. Чем выше частота колебаний, тем выше тон (частота колебаний измеряется в герцах (штук в секунду). Человеческое ухо способно улавливать колебания от 20 Гц до 20 кГц. На рисунке 1 ниже в виде зависимости амплитуды от времени показан фрагмент звуковой волны:
|
|
|
Рисунок 1. Аналоговый звуковой сигнал
Для того чтобы компьютер мог обрабатывать звук, такой непрерывный (аналоговый) звуковой сигнал должен быть преобразован в последовательность электрических импульсов (двоичных нулей и единиц).
Для кодирования непрерывного звукового сигнала производится его дискретизация по времени (временная дискретизация, оцифровка). Непрерывная звуковая волна разбивается на отдельные короткие временные участки, причем для каждого такого участка устанавливается определенная величина амплитуды. Это выполняется устройством, называемым аналогово-цифровым преобразователем (АЦП), который измеряет напряжение поступающего с микрофона звукового сигнала через равные промежутки времени и записывает полученные значения (в виде многоразрядных двоичных чисел) в память компьютера. В результате, непрерывная зависимость амплитуды сигнала от времени заменяется на дискретную последовательность значений уровней громкости. На графике это выглядит как замена гладкой кривой на последовательность «ступенек» (рисунок 2).
|
|
|
Рисунок 2. Дискретизация звукового сигнала
Для того чтобы воспроизвести закодированный таким образом звук, нужно выполнить обратное преобразование, для которого служит цифро-аналоговый преобразователь (ЦАП), а затем сгладить получившийся ступенчатый сигнал (через аналоговый фильтр).
Рисунок 3. Система преобразования звукового сигнала
Каждой «ступеньке» присваивается значение уровня громкости (амплитуды) звука, его код (1, 2, 3, и т. д.). Таким образом, при двоичном кодировании непрерывного звукового сигнала он заменяется последовательностью дискретных уровней сигнала. Уровни громкости звука можно рассматривать как набор возможных состояний. Соответственно, чем большее количество уровней громкости будет выделено в процессе кодирования, тем большее количество информации будет нести значение каждого уровня и тем более качественным будет звучание. Поэтому, как и в случае с графической информацией, при кодировании звука важное значение имеет «глубина» кодирования звука. Например, при 16-битной глубине кодирования (когда каждому значению амплитуды звукового сигнала присваивается 16-битный код) количество обеспечиваемых различных уровней сигнала (состояний) можно определить следующим образом:
N = 216 = 65536.
|
|
|
Итак, процесс преобразования непрерывного аналогового сигнала в последовательность его мгновенных значений (выборок) называется дискретизацией
Компьютерная графика
Данное направление мультимедийных технологий предназначено для передачи пользователю визуальных изображений. Первые вычислительные машины не имели отдельных средств работы с графикой, однако уже использовались для получения и обработки изображений. Существенный прогресс компьютерная графика испытала с появлением возможности запоминать изображения и выводить их на компьютерном дисплее.
По способам построения изображений компьютерную графику можно разделить на двумерную и трехмерную графику.
Двумерная компьютерная графика (2D) классифицируется по типу представления графической информации, и следующими из него алгоритмами обработки изображений.
Известны следующие виды двумерной графики: растровая, векторная фрактальная.
Трехмерная компьютерная графика (3D) оперирует с объектами в трехмерном пространстве. Обычно результаты визуализации трехмерной графики представляют собой плоскую картинку, проекцию. В трехмерной графике все объекты обычно представляются как набор поверхностей или частиц. Минимальную поверхность называют полигоном. В качестве полигона чаще всего выбирают треугольники.
Содержание видов компьютерной графики рассмотрено на лекции 9/1.
Видео
Видео (от лат. video – «смотрю», «вижу») – под этим термином понимают широкий спектр технологий записи, обработки, передачи, хранения и воспроизведения визуального и аудиовизуального материала на мониторах.
Наиболее важные характеристики видеосигнала – это количество кадров в секунду, развертка, разрешение, соотношение сторон, цветовое разрешение, ширина видеопотока, качество. Рассмотрим эти характеристики по отдельности.
Количество кадров в секунду (частота) – это число неподвижных изображений, сменяющих друг друга при показе 1 секунды видеоматериала и создающих эффект движения на экране. Чем больше частота кадров, тем более плавным и естественным будет казаться движение. Минимальный показатель, при котором движение будет восприниматься однородным – примерно 10 кадров в секунду (это значение индивидуально для каждого человека). Компьютерные оцифрованные видеоматериалы хорошего качества, как правило, используют частоту 30 кадров в секунду.
Развертка видеоматериала может быть прогрессивной (построчной) или чересстрочной (интерлейсинг). При прогрессивной развертке все горизонтальные линии (строки) изображения отображаются одновременно, при чересстрочной – показываются попеременно четные и нечетные строки. Чересстрочная развертка была изобретена для показа изображения на кинескопах и используется сейчас для передачи видео по «узким» каналам, не позволяющим передавать изображение во всем качестве.
Любой видеосигнал характеризуется вертикальным и горизонтальным разрешением, измеряемым в пикселах. Обычное аналоговое телевизионное разрешение составляет 720×576 пикселей. Новый стандарт высокоотчетливого цифрового телевидения HDTV предполагает разрешения до 1920×1080 с прогрессивной разверткой.
Соотношение ширины и высоты кадра – важнейший параметр в любом видеоматериале. Старому стандарту, который предписывает соотношение сторон как 4:3, появившемуся еще в 1910 году, на смену приходит более соответствующий естественному полю зрения человека стандарт 16:9, на который сейчас ориентируется цифровое телевидение.
Количество цветов и цветовое разрешение видеосигнала описывается цветовыми моделями, рассмотренными ранее в лекции 9/1. В компьютерной технике применяется в основном RGB и HSV.
Ширина видеопотока или битрейт (от англ. bit rate – частота битов) – это количество обрабатываемых бит видеоинформации за секунду времени. Чем выше ширина видеопотока, тем в общем лучше качество видео. Например, для формата VideoCD битрейт составляет всего примерно 1 Мбит/с, для DVD –около 5 Мбит/с, а для формата HDTV –около 10 Мбит/с.
Качество видео измеряется с помощью формальных метрик, таких, как PSNR или SSIM, или с использованием субъективного сравнения с привлечением экспертов.
Процесс преобразования видеосигнала из внешнего источника в цифровой видеопоток при помощи персонального копмьютера и запись его в видеофайл с целью последующей его обработки, хранения или воспроизведения принято называть захват видео или оцифровка видео.
Внешним источником могут выступать видеокамеры, магнитофоны, DVD-проигрыватели, потоковое вещание в сети, ТВ-тюнеры, ресиверы цифрового телевидения и другие устройства.
В качестве приложений, которые позволяют захватывать видео и записывать его на жесткий диск, используют видеоредактор либо видеорекодер. Так как несжатое видео имеет большой поток данных (270 Мбит/с для SDTV или до 2,970 Гбит/с для HDTV), для его уменьшения применяют сжатие при помощи видеокодеков. Для разных целей настройки и параметры кодеков могут сильно отличаться: для передачи видеопотока в интернет может составлять несколько сотен кбит/с, для целей телевещанияили последующего монтажа достигать десятков Мбит/с.
В случае последующего видеомонтажа основной целью видеозахвата является передача видео с максимальным качеством, при этом предпочтительно использовать алгоритмы сжатия, в которых применияется внутрикадровое кодирование без межкадрового кодирования, что упрощает доступ к каждому отдельному кадру.
Дата добавления: 2019-02-12; просмотров: 885; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!