For faster navigation, this Iframe is preloading the Wikiwand page for Redundantie (informatietheorie).

Redundantie (informatietheorie)

Uit Wikipedia, de vrije encyclopedie

Redundantie in de informatietheorie is een maat voor het aantal overbodige tekens dat een boodschap bevat. Het begrip is dan ook nauw verwant aan het woord redundant, wat overbodig betekent. Het blijkt logisch dat men voor technische toepassingen de redundantie probeert te minimaliseren. Zo wil men bijvoorbeeld dat een foto niet te veel geheugen van een computer in beslag neemt. De redundantie wordt vaak opgesplitst tussen waarschijnlijkheids- en afhankelijkheidsreduntie.

Discrete informatiebron

Een discrete informatiebron zendt opeenvolgende symbolen uit. Deze symbolen komen uit het bronalfabet A De totale redundantie R in een boodschap M wordt nu gedefinieerd als

Waarbij

  • H(M) de hoeveelheid informatie in de boodschap voorstelt.
  • max(H(M)) de maximale hoeveelheid informatie die een even lange boodschap die gebruikmaakt van hetzelfde bronalfabet kan bevatten voorstelt.

Waarschijnlijkheidsredundantie

De informatiebron zendt ieder bronsymbool met een respectievelijke waarschijnlijkheid uit. De gemiddelde hoeveelheid informatie in één enkel symbool uit A, H(A), wordt nu gegeven door: Het blijkt dat deze uitdrukking maximaal is wanneer alle symbolen even waarschijnlijk zijn. Uit het toepassen van de definitie volgt de waarschijnlijkheidsredundantie.

.

Voor een geheugenloze informatiebron, dit wil zeggen dat twee opeenvolgende symbolen onafhankelijk zijn, is de waarschijnlijkheidsredundantie gelijk aan de totale redundantie.

Afhankelijkheidsredundantie

De afhankelijkheidsredundantie is het deel van de redundantie dat wordt veroorzaakt door het feit dat opeenvolgende symbolen elkaar beïnvloeden. (Zo volgt er in het Nederlands na de Q bijna altijd een U, deze U biedt geen extra informatie. Ze neemt namelijk geen onzekerheid weg.) In dit geval is het signaal dat de informatiebron uitzendt een markov-keten. De afhankelijkheidsredundantie wordt nu gegeven door Hierbij is:

  • de afhankelijkheidsredundantie
  • H(M) de hoeveelheid informatie in de boodschap.
  • maxH(M) is hierbij de hoeveelheid informatie wanneer de bron geheugenloos wordt verondersteld. Dit is dus gelijk aan H(A).

Totale redundantie

De totale redundantie wordt nu gegeven door:

Analoge informatiebronnen

Om voor een analoge informatiebron de redundantie te berekenen is het noodzakelijk om een begrenzing op het signaal te stellen. Zo kan men er bijvoorbeeld voor kiezen om het signaal in amplitude te begrenzen. Voor analoge signalen is de definitie van de totale redundantie gelijkaardig.

  • is de totale redundantie
  • H(A) is de gemiddelde hoeveelheid informatie per bemonstering
  • max(H(A)) is de maximale hoeveelheid informatie die de bron kan genereren binnen de gegeven begrenzing.

Redundantie minimaliseren

Veel coderingsalgoritmes (bijvoorbeeld huffmancodering) hebben als doel de redundantie in een boodschap te minimaliseren. Men wil namelijk zo weinig mogelijk overbodige tekens opslaan of verzenden. Anderzijds is het soms noodzakelijk om overbodige tekens te hebben. Dit wordt duidelijk in geschreven communicatie. Wanneer er een tikfuot (sic) wordt gemaakt kan de ontvanger de boodschap toch decoderen. Als er geen enkele vorm van redundantie zou zijn, dan zou een tikfout leiden tot een zin met verschillende betekenis.

{{bottomLinkPreText}} {{bottomLinkText}}
Redundantie (informatietheorie)
Listen to this article

This browser is not supported by Wikiwand :(
Wikiwand requires a browser with modern capabilities in order to provide you with the best reading experience.
Please download and use one of the following browsers:

This article was just edited, click to reload
This article has been deleted on Wikipedia (Why?)

Back to homepage

Please click Add in the dialog above
Please click Allow in the top-left corner,
then click Install Now in the dialog
Please click Open in the download dialog,
then click Install
Please click the "Downloads" icon in the Safari toolbar, open the first download in the list,
then click Install
{{::$root.activation.text}}

Install Wikiwand

Install on Chrome Install on Firefox
Don't forget to rate us

Tell your friends about Wikiwand!

Gmail Facebook Twitter Link

Enjoying Wikiwand?

Tell your friends and spread the love:
Share on Gmail Share on Facebook Share on Twitter Share on Buffer

Our magic isn't perfect

You can help our automatic cover photo selection by reporting an unsuitable photo.

This photo is visually disturbing This photo is not a good choice

Thank you for helping!


Your input will affect cover photo selection, along with input from other users.

X

Wikiwand 2.0 is here 🎉! We've made some exciting updates - No worries, you can always revert later on