Informacija in kodi

Opis predmeta

Uvod: definicija informacije, koda, kodiranja in komunikacijskega sistema.
Entropija: diskretni naključni sistemi, entropija diskretne naključnih spremenljivk, entropija zveznih naključnih spremenljivk.
Informacija: povprečna lastna informacija, povprečna medsebojna informacija diskretnih spremenljivk, povprečna medsebojna informacija zveznih spremenljivk.
Diskretni viri informacije: entropija stacionarnega vira, ergodični stacionarni viri, vir brez spomina, vir s spominom, odvečnost vira.
Kodiranje vira informacije: enakomerni in neenakomerni kodi, Kraft-McMillanova neenačba, Huffmanov kod, aritmetični kod , kod LZW.
Tajno kodiranje: kriptografski sistemi s tajnim ključem, kriptografska sistema DES in AES, kriptografski sistemi z javnim ključem, kriptografski sistem RSA, digitalni podpis.
Komunikacijski kanali I: zvezni komunikacijski kanali, kapaciteta zveznega kanala, diskretni komunikacijski kanali, kapaciteta diskretnega kanala brez spomina.
Komunikacijski kanali II: dekodiranje z odkrivanjem napak, dekodiranje s popravljanjem napak, optimalni postopki dekodiranja, Shannonov izrek o varnem kodiranju, obrat Shannonovega izreka.
Varno kodiranje: linearni bločni kodi, ciklični kodi, Hammingov kod, Golayev kod, kodi Reeda in Mullerja, konvolucijski kodi, Viterbijev algoritem, Turbo kod

Predmet učimo na programih

Elektrotehnika 2. stopnja

Cilji in kompetence

Cilj predmeta je študentu podati znanje o najpomembnejših konceptih in metodah iz teorije informacij, kodiranja virov informacije, kriptografije in kodiranja komunikacijskih kanalov, na katerih temelji načrtovanje in razvoj komunikacijskih vmesnikov, ki so nepogrešljiva sestavina inteligentnih sistemov v avtomatiki. Pridobljeno znanje je podlaga za razumevanje in razvoj tehnologij, ki vključujejo pridobivanje in obdelavo informacije iz okolja.

Metode poučevanja in učenja

Na predavanjih so podane teoretične osnove vseh obravnavanih modelov in metod. Predstavljeni so tudi računski primeri, ki ponazarjajo bistvene značilnosti predstavljenih metod. Študentom je na razpolago učbenik in drugo gradivo v obliki skripte z rešenimi nalogami in drsnice s predavanj. V okviru predavanja študenti dobijo neobvezne domače naloge, ki vključujejo nekaj teoretičnih vprašanj in nekaj računskih nalog, ki študentom omogočajo sprotno preverjanje pridobljenega znanja. Praktično delo poteka v okviru laboratorijskih vaj, kjer študenti rešujejo predvsem zadane programerske naloge. V okviru laboratorijskih vaj študenti izvedejo še izbirne projekte, v okviru katerih udejanjijo izbrane metode s področja teorije informacij in kodiranja. O rezultatih izbirnih projektov poročajo v pisnih poročilih.

Predvideni študijski rezultati

Po uspešno opravljenem predmetu naj bi bili študenti zmožni:

predstaviti osnovne matematične modele, ki opisujejo poglavitne pojave v tehničnih komunikacijskih sistemih,
razložiti mero entropije, informacije in kapacitete kanalov, ki se uporabljajo za kvantitativno opisovanje komunikacijskih sistemov,
uporabiti metode kodiranja informacije za zagotavljanje varnosti in tajnosti komunikacij,
uporabiti digitalna potrdila za preverjanje istovetnosti oseb in drugih virov informacije v različnih komunikacijskih sistemih,
analizirati prednosti in slabosti komunikacijskih sistemov, pri katerih mora biti zagotovljena varna in tajna komunikacija,
zgraditi primere komunikacijskih sistemov, ki zagotavljajo varno in tajno komunikacijo med viri in sprejemniki informacije,
ovrednotiti stopnjo varnosti in tajnosti komunikacij v danih komunikacijskih sistemov.

Temeljni viri in literatura

N. Pavešić: Informacija in kodi, (2. izdaja), Založba FE in FRI, 2010.
V. Štruc, S. Dobrišek: Informacija in kodi : dopolnilni učbenik z vajami. 1. izd., Založba FE, 2016
T. M. Cover, J. A. Thomas: Elements of Information Theory, Wiley-Interscience, New York, 2006.
Roberto Togneri, Christopher J. S. deSilva: Fundamentals of information Theory and Coding Design, Chapman & Hall / CRC, 2002.