Onderwerp: Logfiles vanuit NavMonPC verwerken

Op suggestie van Koko hier in separaat topic.
De achtergrond hoe deze topic tot stand kwam kun je lezen in: www.zeilersforum.nl/index.php/...cell?start=75#770247

Koko worstelde met z'n logfile uit NavMonPC. Ik heb daar een excel macro tooltje voor gemaakt en downloadable beschikbaar gemaakt.
Bij uitbreidingen zal ik in deze draad nieuwe versies beschikbaar maken.

Versie 0.91: drive.google.com/open?id=0BzsVZI4PDqByc3FHS0REdUkzYm8
Is er trouwens iemand die er plezier van heeft naast mij?
perfSOG; perfSTW; TWA en TWS kunnen nu gefilterd worden volgens bovenstaande simpele regels.
EN: er worden automatisch graphs gemaakt waar je filterinstelling zichtbaar krijgt





Over het filteren/dempen:
Je kunt separaat voor (1) de performance, (2) windrichting ,(3) windkracht een dempingswaarde opgeven van 0 tot.... 200.
Geef je een waarde van 10: dan sommeert de macro de 10 "oudere", "zichzelf" èn de 10 "nieuwere" waardes en deelt dat door 21.
In de graph zie je dan dat ie daardoor geen raad weet met de eerste 10 waardes (lees secondes), maar dat geeft niet vind ik.

De polar kun je zelf aanpassen op het tabblad "Polar".
Tussen de matrix waardes die je ingeeft heb ik een en ander (42000cellen!!) lineair geïnterpoleerd : dat is het enige wat ik eenvoudig kan en daar is volgens mij niet echt veel tegen in te brengen voor normale bootjes.
Er zit ook een klein setje testgegevens (als soort van CSV) bij op tabblad "voorbeeld bestanden" om zelf mee te experimenteren.
Je kunt je eigen logbestanden dan "testen" met de knop "TEST log.txt bestand".
De knop "rapportage" bevolkt het gelijknamige tabblad met een netjes gemaakte tabel vanuit de logfile EN via de polar berekende performance tegen SOG òf STW. Bovendien voegt ie ook de gedempte waardes voor perfSOG; perfSTW; TWS; TWA EN TWD toe tbv de graphs.
Tenslotte maakt de macro dan een aantal graphs.

Een versie 0.92: drive.google.com/open?id=0BzYDELZWraqNSXRTWVhYN2RHVnc
Daarin is correctie gedaan op een melding van Koko mbt TWD en zijn de grafieken iets anders geprobeerd:

Ik toon alleen nog gedempte waardes. En ik probeer perf samen met TWS en TWA af te beelden, wat nog niet echt goed gaat...

Hij wordt echt prachtig Sunday!

Voor wie het nog niet wist: Navmonpc is gratis software waarmee je behalve loggen ook je navigatiedata op verschillende manieren kan tonen tijdens het varen. Zo laat hij alles wat je aan boord hebt zien in een dashboard met klokjes, of grafiekjes. Daarnaast kent het een vrij uitgebreide set mogelijkheden om inkomende data te verdelen over meerdere compoorten. Er zit een AIS pagina inclusief alarm in.

En er is logging mogelijk. Er zijn twee varianten mogelijk. De ene variant is een nmea tekst file waarmee je je tocht later nog eens kan afspelen. Als je dan je navigatiesoftware via de com-uit aan Navmonpc koppelt zie je alles nog een keer gebeuren.

En een CSV file. Daar gaat dit draadje verder over. Er zit een fout in het oorspronkelijke CSV file, dat mbv de macro gemaakt door Sunday wordt hersteld. Maar, zoals je boven kon lezen, de makro doet inmiddels al veel meer. Er zitten een paar graphs in voorgebakken, maar je kan ook je eigen grafieken maken uiteraard.

Voor wie er mee aan de gang wil: Navmon heeft nog een onhebbelijkheidje. Het voegt nieuwe logs gewoon bij de vorige in hetzelfde bestand. Na het maken van een log even het laatste bestand hernormen en je hebt dat niet.
Ik zal nog even experimenteren met de naam. Als ik het goed gezien heb kan je ze al een naam geven voordat je start met loggen, maar dat heb ik nog niet geprobeerd.

Sunday schreef :
Dat lijkt me een goeie!

koko schreef :
Dat onhebbelijkheidje werkt zich uit in een CSV die zodra er een nieuwe log wordt gestart (nieuwe wedstrijd, nieuwe dag..) door NavMonPC er een nieuwe kopregel wordt geschreven in de CSV.
Je kan die in een txt editor makkelijk vinden door te zoeken op "date": dat is eerste woord van de kopregel.
Daarmee kun je CSV waar dan dus twee of meer wedstrijden in gelogd zijn dus scheiden in twee of meer separate CSV's die je elk de naam kunt geven van de wedstrijd of datum die je gevaren hebt.
De separate CSV's kun je dan door de excel gooien.

zomaar even een plaatje uit de makro van Sunday. Blauw is perf op SOG Rood op STW
De filterwaardes staat op 30, het gemiddelde van 61 sec

Het is het eerste uur van de openingsrace dit seioen, zat 23 4 '16.

Je ziet de start in de eerste minuten. We komen van net niet dead still onder zeil over de lijn. Dan gaat de halfwinder er op, doen we blijkbaar iets niet goed, maar als hij eenmaal staat gaat ie als een speer. De performance valt bijzonder hoog uit. Dat komt omdat de polar geen rekening houdt met een halfwinder. Die is een stukkie groter dan de G1 en dat zie je terug. Die flinke piek na een half uur is waarschijnlijk de brug. We raken de wind kwijt, maar glijden nog wel even door.
Een stuk verder op wordt het te hoog om de halfwinder te kunnen houden en gaan we over op de G1. Meer normale performance, en zo op het eerste gezicht lang niet gek. Dicht tegen de 100% aan. De wind (niet te zien op de graph) zakt er dan ook al een beetje uit, en dat kunnen wij beter behappen dan wat meer.

Wat nog meer opvalt is het verschil tussen performance volgens COG of STW. Het is de eerste race en de calibratie van het log niet gedaan. Als ik het met goed herinner liggen we ook over de boeg waar het log altijd iets minder aangeeft (niet helemaal nmidden in het schip).

Helaas mist in dit log de wind over de grond (geen heading).

Nieuwe versie 0.93 drive.google.com/open?id=0BzYDELZWraqNZlpNR3UxYjlOU00

==>div demping formules aangepast: waardes worden nu ook getoond in de startsecondes als kleiner dan de dempingwaarde; ook "Demping_bootsnelheid" geintroduceerd. Versionering getoond op blad "KNOPPEN".

EN: sortering van de CSV toegevoegd, kreeg van een gebruiker een CSV waardoor dat nodig bleek.

Overigens: mocht je de neiging hebben met NavMonPC ook voltage en Amperage te loggen (waarom??): je kunt de CSV dan wel zichtbaar maken met de knop "TEST log.txt bestand" voor eigen analyse, maar ik doe er verder niets mee, gooi evt daarin opgenomen gegevens zelfs weg voor de rapportages en graphs.

Wow, je bent echt los, Sunday! Mooi hoor!

Weet iemand hoe ik twee rijen die niet naast elkaar staan tegelijkertijd kan selecteren? Of hoe ik een grafiek kan maken met twee soorten data ( die niet naast elkaar in de sheet staan).

Dat lukt me..........ohw, ik bedenk wat........kan je een rij verplaatsen?

Je bedoelt kolommen neem ik aan?

Door de een na de ander in de kolomheader te klikken terwijl je CTRL ingedrukt houdt.

Dan maak je een grafiek van 2 kolommen, maar wel met 1 Y-as.
Rechts-klikken in die grafiek en dan kun je in een van de opties een tweedeas (rechter Y-as) kiezen voor de 2e soort data.

Tuurlijk, kolommen ....thanx.

Het valt me op dat in de logfiles die er uit NavMonPC vaak rare waardes staan voor TWA en TWS.
Nu heb ik eens zitten kijken en puzzelen.
Ik heb nu een trigonometrische berekening gemaakt uit de STW samen met de AWA, met inachtneming van de verlijering "leeway", die de TWA en TWS berekend.
Ik kan die functie toevoegen aan de macro's.
Het effect is dramatisch mooi op met name de performance graphs, die immers gebruik maken van de TWS.
Hier de graphs met de gegevens direct vanuit NavMonPC:


En hier nadat ik mijn berekeningen er op heb losgelaten:


Ik heb deze ontwikkel versie nu uitstaan bij twee forumleden, eens kijken wat er uit komt.

Ik ben aan het experimenteren met de laatste versie van de Makro. Niet zo veel als ik zou willen, maar goed. Dat is even niet anders.

Sunday heeft de mogelijkheid ingebouwd om een aantal waarden te dempen om zo een rustiger beeld te krijgen in de Graphs. Dat werkt echt heel mooi. Je kan zelf kiezen hoeveel of weinig je wil dempen en je ziet het resultaat direct terug in de Graphs en cijfers. Heel mooi is dat ook de ongedempte cijfers zichtbaar/bruikbaar blijven in een eigen kolom.

Ik dacht eigenlijk dat het dempen ook van invloed zou zijn op de gemiddelde waardes, maar dat blijkt niet zo te zijn. Bij een rak in de 24uurs kwam uit de ongedempte kolom een gemiddelde van 106%. Pas toen de demping ingesteld stond op 100 (gemiddelde van 100 sec voor en 100 sec na de bewuste seconde) zakte het gemiddelde naar 105%. De grafiek was veel beter leesbaar (minder piekerig).

Ja. Als je heel ver gaat met dat dempen komt er uiteindelijk een vlakke lijn uit, die geen informatie meer bevat. Wat wil je precies dus met deze data: je performance drop/pickup tijdens manouvres monitoren (weinig filteren), kijken hoe goed je gemiddelde trim in 1 rak was (matig filteren) of het gemiddelde van de race bepalen (sterk filteren)?

Ik zou zelf alleen filteren om ruis weg te halen en de trends beter leesbaar te maken. Dan zie je ook nog wat!

Nachtvlinder schreef :
Helder Nachtvlinder!
Voor mij is het zo'n beetje voor het eerst dat ik op deze manier naar dit soort data kijk. Wat exact de consequenties zijn van demping is een ontdekkingstocht. Je post zet me in een denkrichting waar ik niet eens bij stil had gestaan. Een hoop te leren dus! Leuk, leuk, leuk!
Bedankt!

ik filter 'op het oog'. Alle data (1 Hz) in de grafiek, en dan de trends en de details proberen te zien. De hoeveelheid 'ruis' is eigenlijk ook informatie....

Baasklusje schreef :
Over wat voor tijdspanne maak jij je grafieken als je de analyses maakt? Of maak je er meerdere van kortere stukjes voor de analyse?

Ik ben nu de rakken uit de 24uurs aan het opsplitsen. Ongefilterd krijg je dan een plaatje als de bovenste. Nogal grillig in mijn beleving.

Baasklusje schreef :

Wat vertelt de hoeveelheid van wat jij "ruis" noemt jou?

Doel van mijn hele PolarPlot excercitie is om die hoeveelheid "ruis" zo laag mogelijk te brengen, zodat alle data ook "echte" data is, en geen meetruis, veroorzaakt door bv (nu mee aan het spelen) pitch en roll van de boot. Dan hoef ik uiteindelijk minder sterk te filteren, waardoor ik geen (mogelijk nuttige) data hoef te verdoezelen.

Eigenlijk doe ik dat door een (liefst fysisch anders empirisch) model te maken/gebruiken waarbij ik (gemeten of geschatte) verstoringen (helling boot, motion, upwash, drift, gradient, downwind acceleration etc) gebruik om de data zoals die zonder aanwezigheid van deze verstoringen zou zijn gemeten te reconstrueren.

Ben er nog lang niet aan toe de data daadwerkelijk te gebruiken om het zeilen zelf te analyseren. Geeft niets: lees voorlopig met plezier mee met BK's (en straks jouw!) analyses

Nachtvlinder schreef :
Dat hangt van alles en nog wat af...
Sommige data zijn niet zo ruizig: SOG bijvoorbeeld, afhankelijk van 7000 kg massa die moet versnellen of vertragen...
Andere zijn dat wel, zoals WS en WA (true en app) door mastbewegingen. Bij golven en slingeren dan nietzo interesssant, bij licht weer en vlak water juist wel.

Twee grafiekjes van 4 minuten met 1 Hz data uit een downwind stukje in Lelystad.
Eerste is COG (bruin) en TWA (blauw). COG ruist niet(van de GPS) en is dus de werkelijkheid. Dan zie je draaien van 1 graad per seconde, bij de gijp zelfs 2 graden per seconde.
Dat wil je wel weten.
De TWA 'ruist' wat meer: echte winddraai, vuile wind, masttopbeweging. Toch ook interessant, want op sec 180 zie je de TWA weer ruimer worden (150 naar 170), tegelijk met de COG van 80 naar 65. Samen is dat even terug naar heel ruim om de spi alsnog goed te laten gijpen, en daarna weer omhoog voor het afkruisen op TWA 160 (met slingers).


Dan TWS en SOG. Weinig wind, 2,5 tot 5 kts (bruin), SOG rond de 2,5 kts (blauw)
SOG is traag, 7000 kg 'filtering' erop
TWS doet van alles, bij zulk licht weer.
Een toename van 3,5 naar ruim 5 kts moet een 3-voudige verhoging van de voortststuwing geven.
Er komt wel een half knoopje bij, maar daarna stort de SOG in naar 2 kts: iets niet goed gedaan.
Ik vind alle info nuttig, ook die per seconde.....

Trap omhoog: Ik was hier vanavond weer even mee bezig en ben toch wel erg onder de indruk van wat ik toen maakte!
Zijn er inmiddels al anderen die de macro excel gebruiken?

Ben nog steeds onder de indruk van wat je gemaakt hebt!

Momenteel gebruik ik hem niet actief, bootje op de kant levert niet erg interessante data op Ik heb onze 24uurs er mee geanalyseerd. Dat had nogal wat voeten in aarde, maar eenmaal opgeknipt in de gevaren rakken was er al heel wat te zien. Maar ook werd duidelijk dat het bijhouden van je zeilvoering bijv nuttig is om de effectiviteit van die zeilvoering goed te kunnen beoordelen. Het hebben van ervaring met het analyseren van data is ook handig. Ik kijk nog met te grote ogen naar al die data (probeer alles mee te nemen). Dat is nog effe wennen.

Zodra de boot weer in het water ligt gaat hij elke week de analyse van de wedstrijd verzorgen.

Nu we weer vollop aan het zeilen zijn, gebruik ik deze macro ook weer vaker. Zijn er nog meer ZFers die dit kunstwerk van Sunday gebruiken?

Nieuwe versie 0.94 die op melding van Koko verbeterd is in snelheid en prestatie.
Hier gratis te downloaden omdat het kan:
drive.google.com/file/d/0BzYDE...TDQ/view?usp=sharing

Oh, wow. Ik zie het nu pas. Ga morgen ochtend gelijk kijken. Super!