Naar aanleiding van het artikel in De Standaard van 15/3/2014 Wiskundige formule kan vliegtuig helpen vinden, denk ik dat het interessant is om het basisprincipe van deze techniek even toe te lichten.

Het gaat eigenlijk niet zo zeer over een wiskundige formule, maar eigenlijk over een aparte statistische benadering, namelijk Bayesiaanse statistiek.

Bayesiaanse statistiek is gebaseerd op het werk van dominee Bayes An Essay toward a Problem in the Doctrine of Chances dat na zijn dood in 1763 door Richard Price werd gepubliceerd en spijtig genoeg al vlug in de vergetelheid raakte. De grote wiskundige Laplace vond 11 jaar later volledig onafhankelijke het theorema terug uit en stelde het voor in een werk getiteld: Mémoire sur la Probabilité des Causes par les Événements. Laplace werkte de methodiek volledig verder uit en eigenlijk zouden we moeten spreken over Laplaciaanse statistiek in plaats van Bayesiaanse (bijna hetzelfde als met Higgs en Englert).

De grondslag van Bayesiaanse statistiek is het begrip voorwaardelijke of conditionele waarschijnlijkheid. We kennen allemaal het begrip kans, bijvoorbeeld de weerman(-vrouw) zegt dat ermorgen een kans is van 60% dat het regent, de kans op een zes bij een zuivere dobbelsteen is 1/6, enz. Wiskundig drukken we de kans op een gebeurtenis uit door de notatie , de waarschijnlijkheid (probabiliteit) van de gebeurtenis .

In bovenstaand Venn-diagram stellen de cirkels en twee verschillende gebeurtenissen voor. Bijvoorbeeld cirkel stelt de voetbalmatchen voor die FC De Kampioenen heeft gewonnen en cirkel de dagen dat het regende. Waar cirkels en elkaar overlappen stelt de gebeurtenis voor dat FC De Kampioenen won en het ook regende. We stellen dit gezamenlijk voorkomen voor als .

De wet van de voorwaardelijke waarschijnlijkheid stelt nu dat de kans op gebeurtenis nadat gebeurtenis heeft plaatsgevonden, voorgesteld door , gelijk is aan de kans dat de twee gebeurtenissen samen zich voordoen , gedeeld door de kans dat zich voordoet, met andere woorden:

   

Merk op dat anderzijds de kans op het gezamenlijk voorkomen van en kan geschreven worden als: .

Bij Bayesiaanse statistiek stellen en , respectievelijk een te onderzoeken hypothese en de gegevens die verzameld werden om de juistheid van die hypothese na te gaan.

Zeg dat de hypothese is en de bekomen data of gegevens, dan is volgens Bayes de kans op juistheid van de hypothese nadat de data geobserveerd werden, gelijk aan:

   

In deze formule stelt het prior geloof of prior belief voor in de juistheid van onze hypothese, voor er gegevens voorhanden waren.

Een klein voorbeeldje om dit te verduidelijken:

Wat is de kans op winst voor FC De Kampioenen als het regent tijdens de match?
Hypothese FC De Kampioenen wint
Veronderstel dat FC De Kampioenen in het voorbije seizoen 3 matchen gewonnen heeft van de 10 die ze speelden. Dus onze prior waarschijnlijkheid is . Tijdens die gewonnen matchen regende het twee keer, dus .
In totaal regende het 4 keer tijdens de 10 matchen. .
Dan leert ons regeltje dat de kans op winst gegeven dat het regent gelijk is aan:

   

Met andere woorden, door gebruik te maken van de extra informatie (regen) stijgt ons geloof in winst voor FC De Kampioenen van 3/10 naar 1/2.

Een meer algemene vorm van de stelling van Bayes, bekomt men door toepassing Wet van de Totale Kans en af te leiden als: ( is NIET A of A complement, alles in de figuur wat buiten cirkel valt). De Wet op de Totale Kans wordt duidelijk als je ziet dat in het Venn-diagram de totale oppervlakte van cirkel bestaat uit het gebied dat overlappend is met cirkel , dus en het gebied van dat niet door cirkel wordt overlapt, dus .

Als we dan voorstellen als en als , dan bekomen we de algemene vorm van de wet van Bayes:

   

Een klein voorbeeld om dit duidelijk te maken:

Een dokter onderzoekt een kind met koorts. De dokter weet dat de griep in het land is en schat de kans op griepprevalentie in op 70% (P(A)).
Uit handboeken leert hij dat 80% van de grieppatienten koorts vertonen (). En dat slechts 14% van de patienten zonder griep koorts hebben ().
De dokter vraagt zich nu af wat de kans is dat dit kindje griep wanneer hij in acht neemt dat het koorts heeft.

Een kleine berekening toont ons dat de kans op griep na waarnemen van koorts is:

   

Dus na het waarnemen van koorts is de kans dat het kindje griep heeft, gestegen van 70% (de prevalentie) tot 93%.

Tot zo ver heb ik voor de prior echte waargenomen kansen gebruikt, zoals het aantal keer dat FC De Kampioenen in het verleden heeft gewonnen, of de prevalentie van griep tijdens een epidemie. Het leuke aan Bayesiaanse methodes is nu juist dat we deze a priori kans ook door een subjectieve mening, zeg maar een geloof kunnen vervangen. We spreken dan ook in de vakliteratuur van een prior belief. Echt spannend wordt het als je weet dat de posterior kans die we berekenen, terug kan gebruikt worden als prior (belief) en dit proces zich eindeloos kan herhalen, tot uiteraard .

Het is dit principe dat bij de zoektochten naar het vliegtuig wordt toegepast en de techniek zo krachtig maakt. We blijven bewijs verzamelen tot we bijna zeker zijn dat we het hebben gevonden.

Om het voorbeeld uit het artikel in De Standaard van de dobbelsteen nu eens te nemen. Voor een “echte” goede (unbiased in het Engels) dobbelsteen is de kans op een 6 = 1/6 en laat ons nu even onderstellen dat we een dobbelsteen geknoeid noemen als deze kans 1/3 is.
We denken dat er een kans is van 1/10 dat er met de dobbelsteen geknoeid is (prior belief).
We werpen twee keer met de dobbelsteen en bekomen 2 keer een 6.
Vermits:
P (Tweemaal zes | Geknoeid)
P (Tweemaal zes | Niet geknoeid)
P (Geknoeid)
P (Niet Geknoeid)
Dan is:
P(Geknoeid | Tweemaal zes)
Dus als we twee keer een zes werpen is ons geloof in een valse dobbelsteen gestegen van 0.10 naar 0.31.

Laten we nog een derde keer met de dobbelsteen werpen. Het is weer een 6!

Dan gaan we ons geloof bijwerken en wordt 0.31 nu onze prior en krijgen we:

   

als kans op een niet geknoeide dobbelsteen.
En als bij de laatste worp het een ander aantal ogen was geweest, geen 6?
P(Geen zes | Niet geknoeid)
P(Geen zes | Geknoeid)

   

Ons geloof in knoeien met de dobbelsteen is dus terug gedaald.

Fascinerend he die mengeling tussen dat subjectieve element van het prior geloof en de objectieve wiskunde en hoe je mening door de data wordt veranderd.

Nu is het wel zo dat bij echte Bayesian Statististics zelf het allemaal toch nog ietsjes complexer is. We werken dan niet meer met puntsprobabiliteiten, maar met mathematische functies die een redelijk complexe vorm kunnen aannemen. Ons a priori geloof drukken we ook uit in zo een mathematische functie. En die functie wordt dan aangepast door de data, wat ons een posteriorfunctie oplevert. Omdat het op de duur niet meer mogelijk is om dit zuiver wiskundig aan te vatten worden dan bepaalde computerintensieve methoden toegepast. Maar het principe blijft steeds hetzelfde: een posterior kans wordt afgeleid uit een prior geloof en de data; en deze posterior kan dienst doen als nieuwe prior wanneer er nieuwe data tevoorschijn komen. Bayesiaanse methoden werden in WO II ondermeer toegepast door Alan Turing om de Duitse Enigma code te breken, onderzeeërs op te sporen, enz. Meer over dit alles in het boek The Theory That Would Not Die door S.B. McGrayne.