Obdelava multimedijskih vsebin

Opis predmeta

Obdelava multimedijskih signalov s kratko ponovitvijo posebnosti digitalne obdelave signalov, časovni in frekvenčni prostor ter osnove vzorčenja. Zajem, značilnosti in digitalni zapis zvočnih, slikovnih in video signalov;

Tipi multimedijskih signalov (tekst, stacionarna grafika, zvok, slika, video, 3d video, haptični signali). Večmodalna narava informacije;

Sodobno pojmovanje signalov v IKT (signali uporabnika in okolja, biosignali, socialni signali, ambientni signali);

Zaznavanje zvoka, slike in videa. Fiziologija in psihologija percepcije vsebin (razumevanje omejitev človeškega percepcijskega sistema, pojem izgubnosti v multimedijskem zapisu);

Pregled eno- in večdimenzionalnih diskretnih postopkov obdelave in transformacij, ki so najpogosteje v uporabi za obdelavo zvočnih in slikovnih signalov (digitalni filtri, unitarne transformacije, diskretna Fourierova transformacija, diskretna kosinusna transformacija, valčne transformacije, analiza lastnih vrednosti, PCA, ICA);

Načini kodiranja in zapisa multimedijskih signalov (brezizgubno zgoščevanje, redundanca, paketizacija, enkapsulacija);

Standardizacija in komercialni zapisi avdiovizualnih gradiv, komercialni kodeki in vsebniki (MPEG,…);

Identifikacija objektov in stanj v multimedijskih sistemih za implicitno interaktivnost v komunikaciji s posredništvom elektronskih naprav;

Algoritmi in postopki za sintezo in integracijo multimedijskih gradiv;

Sistemi za upravljanje z multimedijskimi vsebinami;

Prilagajanje gradiva avdio-video storitev lastnostim prenosnega kanala in terminalne opreme;

Upravljanje s avtorskimi pravicami in nadzor dostopa do vsebin;

Postopki za vrednotenje kvalitete storitev v elektronskih medijih (Kvalitativno in kvantitativno vrednotenje kvalitete in standardizacija, kvaliteta uporabniške izkušnje).

Predmet učimo na programih

Cilji in kompetence

Cilj predmeta Obdelava multimedijskih vsebin je študentu podati znanje za uporabo principov, postopkov in opreme za obdelavo in končno produkcijo multimedijskih vsebin.

Predmet vsebuje področja, ki obravnavajo sodobne postopke za obdelavo modeliranje in kodiranje signalov.

Študent spozna teoretične osnove delovanja postopkov za obdelavo signalov, kot tudi praktična orodja, ki te postopke uporabljajo. Študent je sposoben izbrati primeren postopek ter praktično uporabiti ustrezno orodje za napredno obdelavo in modeliranje signalov.

Študent spozna teoretično osnovo postopkov za precepcijsko zasnovano kompresijo multimedijskih signalov, ki je osnova standardov ter komercialnih rešitev za kodiranje zvoka, slike in videa. Pridobljeno znanje je podlaga za učinkovito izbiro ustreznega standarda za kodiranje multimedijskih vsebin.

Študent obvlada procese digitalne distribucije vsebin s kodiranjem, enkapsulacijo podatkov, zaščito vsebin ter vrednotenjem kvalitete storitev.

Metode poučevanja in učenja

Na predavanjih so študentom predstavljene teoretične osnove obravnavane snovi skupaj s prikazom rešitev enostavnih praktičnih problemov. Študentom je na voljo študijski material s podrobno vsebino.

Praktično delo poteka v okviru laboratorijskih vaj. Te so zasnovane v več delih, v katerih se študentje postopoma poglobljeno seznanjajo s praktičnimi problemi in orodji.

Študentje v okviru predmeta samostojno izdelajo projekt. Projektno skupino sestavljata dva ali trije študentje, ki opravijo nalogo iz nabora predstavljenih nalog, kot npr.: izbira in uporaba postopka za vodno žigosanje ter analiza odpornosti le tega na napade.

Ob koncu semestra študentje poročajo o končnih rezultatih s primerjavo izsledkov iz literature.

Predvideni študijski rezultati

Po uspešno opravljenem modulu naj bi bili študenti zmožni:

– Izbrati problemu ustrezne algoritme in postopke za analizo in rekonstrukcijo digitalnih multimedijskih signalov

– izbrati in uporabiti programska orodja in okolja za obdelavo multimedijskih signalov za različne ciljne platforme in za področja uporabe

– našteti in opisati vse pomembne modalnosti signalov v multimediji

– opisati fiziološke lastnosti zaznavanja zvoka, slike in videa iz vidika obsega podatkov, ki ga človek s svojimi čutili zmore zaznati

– opisati in uporabiti osnovne algoritme za izgubno zgoščevanje zvoka, slike in videa, in izbrati standarde za učinkovit kodni zapis multimedijskih signalov

– našteti, opisati in uporabiti sisteme za digitalno upravljanje z avtorskimi pravicami

– našteti in opisati in uporabiti postopke za vrednotenje kvalitete multimedijske storitve.

Temeljni viri in literatura

1. Saeed V. Vaseghi. Multimedia Signal Processing: Theory and Applications in Speech, Music and Communications. (Wiley) Nov 12, 2007.

2. Murat Tekalp. Digital Video Processing (2nd Edition). (Prentice Hall Signal Processing Series) Jun 28, 2015.

3. John W. Woods. Multidimensional Signal, Image, and Video Processing and Coding, Second Edition. (Elsevier) Jul 1, 2011.

4. Bose, T., Digital signal and image processing, John Wiley and Sons, 2010 (izbrana poglavja).

5. Mandal, M., Multimedia Signals and Systems, Springer, 2012.