Составляющие мультимедиа: аудиоряд, видеоряд, текстовый поток.

⇐ ПредыдущаяСтр 2 из 13Следующая ⇒

Аудиоряд может включать речь, музыку, эффекты (звуки типа шума, грома, скрипа и т.д.). Файлы, содержащие цифровую запись аудиоданных (голоса, музыкальных произведений или их фрагментов и других звуков любой природы).

Существуют два основных типа звуковых файлов: с оцифрованным звуком и нотной записью.

Файлы с оцифрованным звуком

Звуковые файлы, в которых исходная непрерывная ("аналоговая") форма сигнала записана в виде последовательности коротких дискретных значений амплитуд звукового сигнала, измеренных ("выбранных") через одинаковые промежутки времени и имеющих между собой весьма малый интервал. Процесс замены непрерывного сигнала последовательностью его значений называют дискретизацией, а такую форму записи - импульсно-кодовой.

Аппаратная реализация обработки оцифрованного звука состоит в том, что АЦП преобразует аналоговый сигнал во множество цифровых замеров, а при воспроизведении ЦАП осуществляет обратный процесс - преобразование цифрового сигнала в аналоговый.

Файлы с оцифрованным звуком бывают двух видов: с заголовком и без заголовка.

Основные понятия, термины и другие данные, связанные с оцифровкой звука.

Выборка, отсчет (звукового сигнала) - дискретное ("мгновенное") значение, соответствующее минимальному фрагменту исходного звукового сигнала. Выборка характеризует амплитуду звукового сигнала и обычно представляет собой целое число (8 или 16 бит). Может производиться по одному каналу (моно), двум (стерео) или большему числу каналов. Процесс разделения сигнала на выборки называется квантованием.

^ Разрядность дискретизации - величина, определяющая количество бит на один канал. Чем выше разрядность дискретизации, тем выше качество записи и воспроизведения звука.

^ Частота дискретизации - величина, которая определяет, сколько раз в секунду производится считывание выборок из аналогового сигнала. При цифровой записи звуков частота дискретизации измеряется в герцах и килогерцах. Чем выше частота дискретизации, тем выше качество звука.

Некоторые форматы звуковых файлов поддерживают произвольную частоту дискретизации (например, VOC-файлы в диапазоне от 5000 до 44100 Гц); другие - только определенные частоты дискретизации (WAV-файлы могут быть оцифрованы с частотами 11 025, 22050, 44100 Гц). Поэтому конвертирование (преобразование) файла одного формата в другой не всегда возможно.

Файлы с заголовком. В заголовке указываются параметры, которые характеризуют оцифрованный звук, включая: частоту дискретизации; количество битов на отсчет (8 или 16); количество каналов - моно (1) или стерео (2); ASCII-символы, описывающие тип файла; длину записанных данных в байтах; номер версии формата; метод компрессии; величину смещения блока данных относительно начала файла и др.

Файлы с нотной записью

Звуковые файлы, которые содержат последовательность команд, сообщающих какую ноту и каким инструментом и как долго нужно воспроизводить в тот или иной момент времени. Формат может предусматривать одновременную игру нескольких музыкальных инструментов, в этом случае говорят о соответствующем количестве голосов. Например, плата Sound Blaster 16 поддерживает 20-голосный синтез.

При воспроизведении файлов с нотной записью могут использоваться следующие виды синтеза звука:

FM-синтез - синтез с использованием частотной модуляции, при которой формируется частота звучания соответствующей ноты. Данный метод позволяет успешно имитировать реальные музыкальные инструменты (пианино, гитару и т.п.);

wavetable-синтез - "Табличный синтез": использует оцифровку нот реальных инструментов. Получение требуемой ноты производится путем оцифровки одной ноты реального инструмента. Исходные оцифровки содержатся в файле с нотной записью или в отдельном файле (такие файлы одновременно являются файлами с нотной записью и содержат оцифрованный звук).

Видеоряд.

Выделяют статический и динамический видеоряды.

Статический видеоряд включает графику (рисунки, интерьеры, поверхности, символы в графическом режиме) и фото (фотографии и сканированные изображения).

Динамический видеоряд представляет собой последовательность статических элементов (кадров).

ЦИФРОВОЕ ВИДЕО

1. Термин, применяемый по отношению к системам и средствам создания, хранения, преобразования, передачи и/или приема (в том числе воспроизведения) движущихся изображений с использованием вычислительной техники. Цифровое видео характеризуется следующими основными показателями:

частотой кадров - измеряется числом сменяемых на экране кадров изображения в сек.;

разрешением экрана - измеряется количеством пикселей в кадре изображения;

глубиной цвета или цветовым разрешением - измеряется количеством передаваемых оттенков цвета и

качеством изображения - комплексным показателем, включающим и указанные выше. Разновидностью цифрового видео является компьютерная анимация.

^ 2. Формат представления видео, используемый для записи и обмена данными между цифровыми видеокамерами, видеомагнитофоном и ПК. Также называется DV-форматом [DV-format]. Для передачи DV используется стандарт IEEE-1394 (FireWire или i.LINK). Он предусматривает коэффициент сжатия видеосигнала - 5:1, скорость передачи сигнала - 3,6 Мбайт/с., разрешение видеокадра для системы PAL - 720х576 и для NTSC - 720х480, поддержку записи и воспроизведения звука по 4-м каналам с частотой дискредитации 32 кГц и разрядностью 12 бит (либо по двум каналам с частотой дискредитации 48 кГц и разрядностью 16 бит).

Некоторые технические средства обеспечения

Плата захвата изображения [capture board, frame grabber] - плата расширения, микросхема или другое устройство, предназначенные для преобразования аналогового сигнала изображения, снимаемого с видеопроигрывающего устройства, видеокамеры, телевизионного приемника и т.п., в цифровую форму и ввода его в память компьютера.

^ SHRC (Super High Resolution Card)* - графическая плата (видеоадаптер) со сверхвысокой разрешающей способностью (1200х800 точек и более). Изготовляется специально для систем мультимедиа, САПР и настольных издательских систем.

VGA-PAL* - плата видеоконтроллера (типа VGA), позволяющая выводить на экран монитора изображения в одном из телевизионных стандартов.

^ Video VGA* - плата видеоконтроллера, обеспечивающая запись видеоизображений в соответствии с требованиями национального ТВ-стандарта США NTSC и отображение на экране монитора с параметрами VGA.

^ VIP (Video Image Processor) - "Процессор видеоизображений (Видеопроцессор)": специализированная микросхема, позволяющая строить изображение с цветовыми тонами, близкими к естественным, управлять воспроизведением каждого элемента изображения, совмещать изображения и т.п. Используется совместно с видеоконтроллерами определенного семейства. Примером может служить прибор VIP 34075 фирмы TI, ориентированный на работу с видеопроцессорами TMS 34010 и TMS 34020.

Web-camera - "Веб-камера": небольшая цифровая видеокамера, предназначенная для видеоконференцсвязи, дистанционного контроля за происходящим в различных помещениях, на улице и т.п. Имеется широкий ряд конструктивных решений Web-камер - от простейших до весьма сложных, предназначенных для разных целей и условий использования. Одним из примеров профессиональной разработки может служить Web-камера 2130 фирмы Axis. Эта камера снабжена автоматическим трансфокатором и системой фокусировки, обеспечивает высокий уровень разрешения и качество цветного изображения предметной области, дистанционное наведение в 2-мерном пространстве, 4Мбайтное ППЗУ для хранения отснятых изображений, подключение к 10- или 100-Мбит/с сети Ethernet и т.д.

АНИМАЦИЯ

Искусственное создание эффекта подвижного изображения путем быстрой смены последовательности кадров, фиксирующих отдельные фазы движения объектов или их состояния, смены сцен и т.п. Для хранения анимационных изображений служат специальные форматы. Наиболее распространенные из них:

^ FLI Animation*, FLI, Flic - анимационный формат, разработанный фирмой Autodesk, является одним из наиболее популярных. Используется для хранения анимационных последовательностей в графических приложениях, системах САПР и компьютерных играх на платформах корпорации Intel. Основные характеристики: поддерживает 256 цветов на кадр (однако возможен их выбор из 16 млн цветов); максимальный размер изображения 320х200, 64К х 64К; использует RLE-сжатие и дельта-кодирование (может работать и без сжатия); поддерживается программами Autodesk Animator и Animator Pro; имена файлов используют расширения *.fli (старая версия формата), *flc (более поздняя версия, поддерживаемая IBM Multimedia Tools Series, Microsoft Video for Windows и Autodesk Animator Pro и др.).

^ ТЕХНОЛОГИЯ FLASH-АНИМАЦИИ

Сравнительно новая и быстро ставшая весьма популярной технология создания анимационных проектов различной сложности, разработанная подразделением FutureWave компании Macromedia. Программа, реализующая эту технологию получила наименование Macromedia Flash. Существуют и многие другие программы, реализующие данную технологию. Достоинствами Flash-технологии являются: высокий уровень интерактивности и мультимедийности, возможность работать с исходными как растровыми объектами, так и векторными (итоговый анимационный продукт имеет векторный формат), высокое качество отображения для просмотра Flash-роликов при любых разрешениях экрана и любом установленном браузере, небольшой размер получаемых анимационных роликов, их быстрая загрузка на экран и, наконец, - доступность создания анимационных объектов не только профессионалам но и любителям.

В Flash-клипах можно использовать звуковые файлы в формате WAV и MP3. Звуки можно привязать к моментам отображения отдельных сцен и к действиям с активными элементами дизайна путем нажатия кнопок и пунктов меню, а также к действиям с активными зонами произвольной формы (движением курсора над каким-либо участком и его уходом из него, нажатием или освобождением кнопки мыши и т.п.).

^ МОРФИНГ

Преобразование формы или объекта в другую форму или объект с использованием компьютерной анимации. Данный метод впервые использован в 1990 г. для создания спецэффектов при производстве фильмов. В отличие от современной компьютерной анимации, ограниченной двухмерным изображением, морфинг позволяет создавать эффекты объемных преобразований. В научных целях морфинг может быть использован для воссоздания целого образа по его части, например, в палеонтологии - черепа ископаемого животного по нескольким его зубам.

^ ВИРТУАЛЬНАЯ РЕАЛЬНОСТЬ

Искусственно созданный мир путем подмены окружающей действительности информацией, генерируемой компьютером. Виртуальная реальность в интерактивном режиме обеспечивается использованием трехмерной графики (см. также "Киберпространство"), стереозвука и других специальных устройств ввода/вывода данных, имитирующих связь человека с воспроизводимым миром и происходящими в нем процессами. В качестве таких устройств, в частности, могут использоваться:

шлемы-дисплеи, позволяющие "видеть" стереоскопическое изображение виртуального мира и передающие в ПК данные о положении и ориентации головы для изменения изображения в соответствии с "изменением" точки обзора;
манипуляторы, манипуляторные устройства в том числе специальные перчатки, передающие данные о движении рук и пальцев и позволяющие "брать" в руки, управлять положением объектов искусственно созданной среды, тактильно "ощущать" виртуальный объект и воздействовать на него и т.п.;
стереоаудиосистемы, аудиостереосистемы, способные не только создавать объемное звучание, но и передавать звуковое давление, например при моделировании ударов;
электромагнитные и пневматические устройства, передающие механические воздействия на человека в процессе имитации моделируемых процессов (например, ускорение, давление и т.п.);
синтезаторы запахов предназначенные для воспроизведения запахов виртуальных объектов (например, цветов, косметики, продуктов питания и т.п.);
синтезаторы вкуса (ведутся разработки, примеры промышленной реализации пока не известны).

Программно-аппаратные комплексы, средства и методы, обеспечивающие эффекты виртуальной реальности, нашли применение при проведении научных исследований и разработок новой техники (преимущественно в работах, выполняемых методами моделирования), в различного рода тренажерах, учебном процессе, а также в индустрии развлечений (компьютерных играх).

В зависимости от предоставляемых пользователям возможностей взаимодействия с искусственно создаваемой средой различаются также следующие виды (типы) виртуальной реальности:

пассивная виртуальная реальность - графическое изображение и его звуковое сопровождение; воспроизводятся компьютером и никак не управляются человеком;

обследуемая виртуальная реальность - возможен выбор и ограниченное управление содержанием предоставляемых пользователям вариантов сценариев изображения и звука;

интерактивная виртуальная реальность - полномасштабная реализация виртуальной реальности. Пользователю предоставляются возможности управления, которые он мог бы или захотел выполнить, если бы действительно находился в созданном искусственном мире.

"^ Расширенная реальность": технологический прием, в соответствии с которым изображение реального объекта дополняется изображением, полученным от компьютера. Другими словами, это реальность, дополненная виртуальной составляющей. Возможны различные области применения расширенной реальности, например в медицине, навигационных системах, системах управления и т.д.

^ СИНТЕЗ ВКУСА

Основан на тех же принципах, что и синтез запахов, путем формирования цифрового кода, определяющего вкус конкретного продукта, и автоматизированного смешивания вкусовых ингредиентов для его передачи на водной или другой основе для воздействия на вкусовые рецепторы человека. Работами в области синтеза вкуса занимается ряд фирм (в том числе Trisenx), однако данных о промышленной реализации результатов этих разработок пока нет.

^ СИНТЕЗ ЗАПАХОВ

Новая технология, основанная на использовании специального картриджа, который содержит некоторое количество различных ароматических веществ. Под управлением ПК производится смешивание исходных ингредиентов синтезируемого запаха подобно синтезу сложной цветовой гаммы с использованием струйного принтера.

Текстовый поток — это последовательность символов. В стандарте С считается, что текстовый поток организован в виде строк, каждая из которых заканчивается символом новой строки. Однако в конце последней строки этот символ не является обязательным. В текстовом потоке по требованию базовой среды могут происходить определенные преобразования символов. Например, символ новой строки может быть заменен парой символов — возврата каретки и перевода строки. Поэтому может и не быть однозначного соответствия между символами, которые пишутся (читаются), и теми, которые хранятся во внешнем устройстве. Кроме того, количество тех символов, которые пишутся (читаются), и тех, которые хранятся во внешнем устройстве, может также не совпадать из-за возможных преобразований.

Дата добавления: 2018-05-13; просмотров: 1978; Мы поможем в написании вашей работы!

Поделиться с друзьями:

⇐ Предыдущая 123 4 5 6 7 8 9 10 Следующая ⇒

Мы поможем в написании ваших работ!