Onderwerp: nog maar eens: harmoniemodel nauwkeurigheid

Gisteren Woensdagavond wedstrijd, toch 1 uur rijden van mijn werk waar mijn team ook zit.

modelrun van 11.15am gaf zeer weinig wind precies tijdens de wedstrijd, dus ik besloot niet te gaan.
Team teleurgesteld en vroegen hoe zeker die voorspellingen waren want misschien 'viel het mee'..

Niet dus.. in bijlage de metingen in actuele metingen in Wilhelminadorp (uit Windfinder) en de voorspellingen van Harmonie om 11.15am erin getekend (zwarte lijn en dunne pijlen).

erg indrukwekkend.. De race was tussen 19 en 22 uur.. :->

Nou daar ben ik het in mijn geval totaal niet mee eens.
Locatie Edam.

Voorspelling Harmonie:



Werkelijke wind:

Minder dan 1 kts verschil en de richting klopt ook, of mis ik iets??
Alleen precies om 8 uur is de waarde afwijkend maar dat is precies het moment dat de wind draait, dat heeft vooral met sample preciesie te maken, als de draai net 10 min eerder valt heb je om 8 uur een andere waarde.

Is toch niet zo slecht dan?

Een meting (van wie eigenlijk) per 3 uur vergelijken met een voorspelling per uur is natuurlijk onzin als het over precisie gaat.

De voorspelling voor gisteravond (NW-afname-draai-ZW-toename) kwam op mijn positie perfect uit.

De praktijk was 10 knopen vrij stabiel en west. Totaal anders dan Harmonie.

Gebruik jij Dis-harmonie?

Joekskapel

Nee Jostie

Ik snap er niets meer van. dat is niet wat je zelf plakte in de tabel met 'werkelijk wind'

Daar zie ik 9 kts Noord en dan afnemend en draaiend.

boeiend schreef :

Die van Windguru had ik gepakt omdat jij daar als vergelijk mee kwam aanzetten. Die was al anders als Harmonie, maar de werkelijkheid was nog meer verschillend.

Let wel ik ben zeer positief over Harmonie, gebruik het wekelijks een aantal keer en veelal klopt het goed.
Ik merk echter de laatste periode dat het er toch ook vaak naast zit, gisteravond significant en dat staat haaks op jou beleving.
Ik vind dat vreemd, zullen daar zulke lokale niet te voorspellen invloeden geweest zijn dan?

Het is bij Volendam, dus daar zijn per definitie al rare invloeden.

Hmmm...

Gisteren, modelrun die om 11.15am beschikbaar is gaf 6 kts vanaf 20 uur met iets toenemede win na 23 uur.
Windfinder app gaf echter de hele avond steady 11kts.

We hebben gevaren en de hele avond steady 11 kts op de windmeter gehad.

Harmonie - Windfinder : 1-1

Onze ervaringen met de Harmonie gribs zijn ook wisselend.

Soms onwaarschijnlijk nauwkeurig, maar soms zit onze WeatherPro app (GFS) weer dichter bij de werkelijkheid. Ik heb derhalve nog geen blind vertrouwen in de Harmonie verwachtingen.

Ik heb tot nu toe eigenlijk alleen maar positieve ervaringen met Harmonie, waarbij ik wel moet noteren dat je er niet blind op moet varen. Door zelf de situatie in de gaten te houden kun je beter inschatten waar de onzekerheden in de verwachting zitten en moet je soms beslissen dat een modelrun eerder dan de meest recente zich waarschijnlijker zal realiseren dan de meest recente.

Zondag ga ik weer een rondje varen, ik zal proberen of ik de Harmonie-runs erbij kan evalueren. Leuk werk.

Alle GFS-modellen sla ik voor ons zeilgebied gevoeglijk over. Ze kunnen soms overeen lijken te komen met de werkelijkheid maar dat berust op toeval.

Er is maar 1 gfs model. Er zijn vele visualisaties van, omdat de data gratis is.

Wrf Modellen kunnen het wel beter, als de resolutie hoog genoeg is. Kijk maar eens bij weerplaza (weerkaarten onder expert). Daar kan je hun eigen Wrf vergelijken met harmonie.

Ik vond mijn eigen Wrf vergelijkbaar aan harmonie (we gebruikten gfs als aandrijving). Helaas is die niet meer publiek toegankelijk, en ik heb geen 32 core server om het even te reproduceren...

Gepost met de officiële Zeilersforum-app

Delphi32 schreef : Als je met eigen meteo analyses de onbetrouwbaarheid van modelruns kunt voorspellen hoort die analyse onderdeel te zijn van het model en kan deze zelf de correctie uitvoeren. Netto komt het er op neer dat de actuele Harmonie prognoses op dit moment ook in jouw ervaring niet per definitie de meest betrouwbare zijn.

Delphi32 schreef : Als dat toeval vaak genoeg optreedt wordt het vanzelf bruikbaar...

Delphi32 schreef : redshift schreef :
Hoe meer ik er van weet als amateur hoe meer ik er achter kom hoeveel ik niet weet. Weers verwachtingen hebben een ware revolutie ondergaan de laatste jaren en is heel ver af komen te staan van wat wij amateurs geleerd hebben over weersvoorspelling.

Vroeger was de beste voorspelling dat het morgen hetzelfde weer zal zijn als vandaag.
Komt verbazend vaak uit

Baasklusje schreef :
Poor man's Kalman filter...

Hans V schreef : Ik snap wat je bedoelt, maar volgens mij werkt het niet zo. Laat ik het aan de hand van een voorbeeld schetsen, puur hypothetisch.

Stel er komt een lagedrukgebied aan. Zit al dagenlang in de voorspelling, de vraag is alleen hoe ver de kern naar het zuiden zakt:
- model run van 48 uur voor het moment waarop je wilt gaan zeilen, projecteert de passage 100 km noord van Den Helder en in Zeeland zien we daardoor een steady wind van zo'n 15 knopen uit 225 die langzaam naar 270 ruimt.
- een model run later projecteert men de kern een stuk zuidelijker: 10 km noord van Den Helder. In Zeeland betekent dat 20 knopen met wind die hard draait van 225 naar 315.

Je weet dus nu de bandbreedte: het wordt ergens tussen die 2 uitkomsten. Daar gaan we rekening mee houden.
Een model run is een doorrekening van de hele weersituatie, waarbij alle onzekerheden vervangen worden door een meest waarschijnlijke uitkomst. Maar let op, de onzekerheden zijn er nog wel! Hoe dichter we bij uur U komen, des te kleiner wordt de onzekerheid uiteraard, maar er zit nog steeds een (laten we zeggen) toevalsfactor in.

Terug naar het voorbeeld. Een model run later ziet men de passage toch weer zo'n 100 km noord van Den Helder. Uit deze 'omslag' in de verwachting kun je afleiden dat er onzekerheden zijn over de daadwerkelijke koers van die depressie. Nog een signaal dat je die vorige model run niet weg moet gooien als achterhaald, maar moet bewaren als 'zou ook nog wel eens kunnen'. Heb je echter 4 runs achter elkaar ongeveer hetzelfde beeld, dan kun je er van uitgaan dat het daadwerkelijke weer zich ook die kant op gaat bewegen. Maar juist met fluctuerende voorspellingen geldt dat je de grote lijnen van de verwachtingen moet zien op te pakken, omzetten naar 2 of 3 waarschijnlijke scenario's en dan, als het moment daar is dat je wilt gaan zeilen, moet gaan kijken welke van die scenario's zich gaat realiseren.

Harmonie is heel goed in het doorrekenen van alle lokale effecten. Maar net als elk ander model is het een aaneenschakeling van waarschijnlijkheden. Je zult je altijd zelf een beeld moeten vormen van het geheel aan verwachtingen, als je voor jezelf een goed beeld wilt hebben van het te verwachten weer.

Maar Hans heeft wel gelijk dat die onzekerheid in principe in het model kan zitten. Dus Harmonie zou een soort nauwkeurigheidsscore kunnen geven.
Het is idd duidelijk dat veel hoge en lage drukgebieden een onstabieler beeld geeft en de voorspelling minder betrouwbaar wordt.
Het is natuurlijk niet moeilijk om dat mee te nemen in het model..
De expertpluim laat dit natuulrijk wel zien, hoe sneller die uitwaaiert, hoe minder betrouwbaar de voorspelling is.

Betrouwbaar zegt alleen iets over de resultaten uit het verleden. Dat met deze verschijnselen, met dit weerbeeld in deze tijd van het jaar onder deze omstandigheden zich in het verleden meestal dit en dat heeft voorgedaan. Hoe vaker iets zich heeft voorgedaan onder die omstandigheden des te waarschijnlijker acht het model dat het zich nu ook zo weer gaat afspelen.

Harmonie doet niks anders alleen met een betere resolutie plus lokale effecten. Maar ook dan is het model gebased op historische gegevens toch?

Bas van Dijk schreef : Ik ben het met je eens dat je een soort betrouwbaarheidscijfer mee zou kunnen nemen, maar feit is dat dat getal er niet is. Een Grib file heeft maar 1 uitkomst, waardoor de indruk gewekt wordt dat deze verwachting (even los van de oorsprong, het model of wat dan ook) dé werkelijkheid gaat wezen.

@Beauty: ik denk dat er, behalve historische data, ook genoeg mathematische/natuurkundige data is die in de modellen zit. In de categorie 'als het aardoppervlak voor 70% uit asfalt bestaat dan is de warmte-afgifte aan de luchtlaag erboven X, terwijl dit voor een watervlakte een afgifte Y betekent'.

Erg leuk voor diegenen die met Expedition werken is de software van www.modelaccuracy.com

Hier een video waar ze kort een voorbeeld van een analyse laten zien:

Delphi32 schreef :
Een tijdje geleden hebben we een topic gehad over een paar van die data, naar aanleiding van een artikel in Meteorologica over Harmonie. zeilersforum.nl/index.php/foru...odel-harmonie#792698

Twee voorbeelden van dit soort data in Harmonie:
- de Leaf Area Index: voor elk vakje (2,5 bij 2,5 km) een getal dat de oppervlakte groene blaadjes in dat vakje aangeeft (in de winter 0, en elke 2 weken bij te stellen)
- de Worteldiepte van de aanwezige beplanting, van een paar cm (gras) tot meters (grote bomen).

Beide zijn belangrijk voor het bepalen van met moment dat inkomende zonnestraling echt het oppervlak gaat verwarmen ipv (eerst) water te verdampen, waardoor er wel damp ontstaat maar geen hogere temp.

Ook interessant is (elke dag) naar de Guidance te kijken, daarin worden verschillen tussen de diverse modellen besproken en zo leer je de foutjes kennen. Er zijn nu de volgende modellen in gebruik: EC (Engeland, ECMW), Hirlam, Harmonie36, Harmonie 38 en Harmonie40, elk met hun eigen sterke en zwakke punten.

Verder het EPS natuurlijk, het Ensemble van 72 voorspellingen met elk een iets andere startsituatie (de metingen die de input zijn iets veranderd). Elke dag feest, die weermodellen

Mijn benadering is eigenlijk heel simpel: in weermodellen probeer je een zo betrouwbaar mogelijke benadering weer te geven van het te verwachten weer (of één aspect daarvan). Daarbij kun je alle factoren meenemen, zowel fysisch/chemisch, trends als historische data om de waarschijnlijkheid (betrouwbaarheid) te verhogen.

Dankzij de toegenomen rekenkracht van computers kunnen in het Harmonie model ook lokale aspecten worden meegenomen in de berekening, maar het blijft een kansberekening waarbij je zoveel mogelijk factoren meeneemt om de betrouwbaarheid van het te verwachten weerscenario te vergroten.

Die trend op grond waarvan Dennis soms de laatste model run negeert kan natuurlijk ook door het model zelf worden gedetecteerd en in de prognose worden verwerkt. Het blijft immers kansberekening en de nauwkeurigheid van de output kan hiermee worden verhoogd. Dat gebeurt nu blijkbaar onvoldoende, anders zou er voor Dennis weinig aan de eindprognose te verbeteren vallen.

Een onzekerheidscijfer is alleen nuttig om aan te geven hoe (on)nauwkeurig (betrouwbaar) je een verwachting uit hebt kunnen rekenen. Hoe groot de kans is dat je verwachting ook echt werkelijkheid wordt. Niet om aan te geven dat je over de mogelijkheid van een nauwkeuriger prognose beschikt.

Het is naar mijn idee niet zo dat metereologen een model ontwikkelen waarin bewust zaken niet meegenomen worden en die de eindgebruiker (zeiler, boer, piloot) dus zelf nog toe moet voegen om tot een waarschijnlijker verwachting te komen. De gedetailleerdheid van het Harmonie model wordt een schijnvertoning als je in een eerdere fase belangrijke factoren zoals trends negeert.