Informacija in kodi

Študij: Elektrotehnika, UN 2 stopnja

Smer: Avtomatika in informatika

Izvajanje: 3-2

Letnik: 1 letnik (poletni semester)

Kreditne točke: 6 točk

Predavatelj: izr. prof. dr. Simon Dobrišek

Asistent: doc. dr. Vitomir Štruc


Cilji predmeta

Seznaniti študenta z najpomembnejšimi koncepti in metodami iz teorije informacij, kodiranja vira, kriptografije in kodiranja kanala.

Vsebina

  • Uvod: definicija informacije, koda, kodiranja in komunikacijskega sistema.
  • Entropija: diskretni naključni sistemi, entropija diskretne naključnih spremenljivk, entropija zveznih naključnih spremenljivk.
  • Informacija: povprečna lastna informacija, povprečna medsebojna informacija diskretnih spremenljivk, povprečna medsebojna informacija zveznih spremenljivk.
  • Diskretni viri informacije: entropija stacionarnega vira, ergodični stacionarni viri, vir brez spomina, vir s spominom, odvečnost vira.
  • Kodiranje vira informacije: enakomerni in neenakomerni kodi, Kraft-McMillanova neenačba, Huffmanov kod, aritmetični kod , kod LZW.
  • Tajno kodiranje: kriptografski sistemi s tajnim ključem, kriptografska sistema DES in AES, kriptografski sistemi z javnim ključem, kriptografski sistem RSA, digitalni podpis.
  • Komunikacijski kanali I: zvezni komunikacijski kanali, kapaciteta zveznega kanala, diskretni komunikacijski kanali, kapaciteta diskretnega kanala brez spomina.
  • Komunikacijski kanali II: dekodiranje z odkrivanjem napak, dekodiranje s popravljanjem napak, optimalni postopki dekodiranja, Shannonov izrek o varnem kodiranju, obrat Shannonovega izreka.
  • Varno kodiranje: linearni bločni kodi, ciklični kodi, Hammingov kod, Golayev kod, kodi Reeda in Mullerja, konvolucijski kodi, Viterbijev algoritem, Turbo kod

Literatura

  • N. Pavešić: Informacija in kodi, (2. izdaja), Založba FE in FRI, 2010.
  • V. Štruc, S. Dobrišek: Informacija in kodi : dopolnilni učbenik z vajami. 1. izd., Založba FE, 2016
  • T. M. Cover, J. A. Thomas: Elements of Information Theory, Wiley-Interscience, New York, 2006.
  • Roberto Togneri, Christopher J. S. deSilva: Fundamentals of information Theory and Coding Design, Chapman & Hall / CRC, 2002.

E-učilnica

Več informacij o predmetu najdete v e-učilnici.