MMS

©Христо Тужаров, 2008

 

РАЗРАБОТКА НА МУЛТИМЕДИЙНИ ОБЕКТИ И СЦЕНИ

 

[Home] [Съдържание] [Бизнес консултации] [За проекта] [За автора] [Асеневци]

 

ПРОЦЕСИ В ММС

РАЗРАБОТКА НА МУЛТИМЕДИЙНИ ОБЕКТИ

КОДИРАНЕ НА ДАННИ

КОМПРЕСИРАНЕ НА ДАННИ

РАЗРАБОТКА НА МУЛТИМЕДИЙНИ ОБЕКТИ И СЦЕНИ

СЪЗДАВАНЕ НА СИНТЕТИЧНИ ОБЕКТИ И ЛИЦА

ПРЕДАВАНЕ НА МУЛТИМЕДИЙНИ ДАННИ

СЪЗДАВАНЕ НА МУЛТИМЕДИЕН КОНТЕНТ

ДОСТАВКА НА МУЛТИМЕДИЙНИ МАТЕРИАЛИ

ИЗПОЛЗВАНЕ НА МУЛТИМЕДИЙНИТЕ МАТЕРИАЛИ

 

Мултимедийни обекти и сцени

MPEG-4  задава правилата за  организация на обектно-ориентирана мултимедийна среда. Той регламентира не само потоци и масиви от мултимедийни данни, но и мултимедийни обекти, което и определя решаващото му значение за развитие на ММС, при реализиране на следните процеси:

  • Създаване на блокове от звукова, видео и аудиовизуална информация, наричани „мултимедийни обекти”. Тези обекти могат да бъдат с естествен или изкуствен произход, което означава, че те могат да бъдат записани с камера или микрофон, но могат да бъдат генерирани и от компютър.

  • Описване композиции от мултимедийните обекти при създаване на съставни обекти, които образуват аудиовизуална сцена.

  • Мултиплексиране и синхронизация на данните, асоциирани с медийните обекти, така че да могат да бъдат предадени по комуникационни канали , осигурявайки QoS ( качествени показатели) , приемливи за природата на специфичните медийни обекти.

  • Взаимодействие на крайните потребители с аудиовизуалната сцена, сформиране на приемната страна.

 

Мултимедийни обекти и сцени

 

Мултимедийна сцена

Сцената се състои от мултимедийни обекти. Тя има своя система от координати, в съответствие с която се разполагат обектите.

 

Звуковите обекти също могат да имат координати в пространствени сцени, благодарение, на което се постигат стерео и „обкръжаващи” ефекти.

 

MPEG-4 предлага стандартизиран път за описание на сцени, позволяващ:

  • Да се поместват обектите на всяко място в координатната система;

  • Да се преобразува геометричния или акустичния вид на обектите;

  • Да се групират примитивните обекти за създаване на съставни обекти.

  • Да се използват потоци от данни за видоизменяне на атрибутите на обектите ;

  • Да се променя интерактивно точката на присъствие на потребителя в сцената.

 

Мултимедийна сцена

 

Сцената се описва с помощта на йерархична структура  Възлите на тази структура се явяват обектите и тя динамично се променя в зависимост от това, как обектите се добавят, премахват или се заменят.

 

Описанието на сцените се строи подобно на създаване на сцени с езика за моделиране на виртуална реалност VRML (Virtual Reality Modeling language).

 

Мултимедийни обекти

 Аудиовизуалните сцени се формират от няколко медийни обекта, организирани йерархично.

 

Видове мултимедийни обекти

Обектите могат да бъдат:

  • Аудио-, видео-, аудиовизуални, графични (плоски и тримерни), текстови.

  •  „Естествени (записани, заснети, сканирани и т. т.), както и  синтетични (изкуствено генерирани).

  • Потокови.

            Описание на мултимедийния обект

Всеки медиа обект има свързани с него набор от дескриптори, където се задават:

  • Всчките му свойства;

  • Операциите, необходими за декодиране;

  • Асоциираните с него потоци от данни;

  • Координатите на разположението му в сцената;

  • Поведение и допустими реакции на въздействие от потребителя.

            Разполагане на мултимедийния  обект

Всеки обект има своя локална система от координати, с помощта на която се управлява в пространството и времето. При разполагане на обекта в сцена се извършва преобразуване на неговата локална система от координати в системата от координати на старшия по йерархия обект или в системата от координати на сцената.

 

            Избор на атрибутите

Обектите се описват чрез атрибути, които дават възможност частично да се контролира тяхното поведение.

 

Пример: промяна на звука, цветността  за синтетичните обекти и т.н.

 

Елементарни (примитивни) мултимедийни обекти

В периферията на йерархията се намират примитивни обекти, такива като:

  • Статически изображения (фон на изображението),

  • Видео-обекти (говорещо лице - без фон)

  • Аудио-обекти (глас на конкретното лице.) и т.н.

 

MPEG-4 стандартизира броя на тези примитивни обекти, способни да представят както естествените, така и синтетични типове съдържание, които могат да бъдат 2 или 3 мерни.

 

            Синтезирани обекти

Освен естествени обекти в сцената могат да бъдат включвани и синтезирани обекти като:

  • текст и графика;

  • говорещи синтезирани глави и асоцииран текст, използван за синтез на реч и анимация на главата.

 

Кодиране на обектите

Стандартът  задава правила за кодиране на различни обекти, тяхната йерархия и начините за композиция при построяване на сцена.

MPEG-4 предлага двоичен език BIFS ( Binary Format for Scene ) за описние на обектите, класовете обекти и сцени, характеризиран като разширение на  „Си++”.

 

С помощта на командите  BIFS може:

  • Да се анимират обектите,

  • Да се променят параметрите на обектите - размери, свойства;

  • Да се задава поведението и реакции на действия на потребителите;

  • Да се променят свойствата на средата;

  • Да се променя и обновява сцената;

  • Да се реализират  2D-геометрични изображения и т.н.

Управление на обектите

Реализира се от системата на две нива

         Високо ниво

Двоичния формат за сцена BIFS (Binary Format for Scenes) описва пространствено-временните отношения на обектите в сцената. Потребителите могат да взаимодействат с обектите, като ги променят или променят своето положение спрямо тях.

 

         Ниско ниво

Дескрипторите на обектите OD (Object Descriptors) определят отношенията между елементарните потоци, имащи отношение към конкретния обект.

OD предоставя и допълнителна информация:

  • URL, необходими за достъпа до елементарните потоци;

  • Характеристики на декодерите, необходими за обработка на потоците;

  • Идентификация на собственика на авторските права и т.н.