Onderwerp: CSV bestand Navmonpc niet goed in Excell

hier een voorbeeld van de goede kolommen, verkeerde tekenset dus gradenteken wordt rare notatie
beter heb ik dit moment niet voorhanden

Omdat de file erg onregelmatig is qua kolom-indeling en vooral overal die komma's staan is het een beetje knutselen.

Heb het als volgt gedaan:
- klik op de ruwe CSV-log
- excel (2016) opent hem als CSV, met helaas alle gegevens van een record in de eerste kolom omdat de ; voor separation niet aanwezig is (wel fixed kolommen en diverse soorten komma's)
- selecteer alles met CTRL-A
- ga naar Zoeken/Vervangen, en vervang - - - - - door ---- (dus 5 streepjes met spaties ertussen door 4 (NIET 5) streepjes zonder spaties
- sla op ALS CSV (met een nieuwe naam).
- start EXCEL weer op (NIET op de nieuwe file klikken) enn maak een lege werkmap
- lees de nieuwe file in door Gegevens Inlezen Vanuit Tekst te kiezen
- kies je nieuwe file
- in de tekst import wizard, kies Vaste Breedte
- in het volgende scherm geeft Excel zijn import-voorstel, met zwarte lijntjes tussen de voorgestelde kolommen. Door alle komma's en verschuiving is dat zo niet bruikbaar
- voeg dus extra kolomscheidingen toe op elke tabulatie waar dat nodig is.
- zo kun je komma's in aparte kolommen zetten, de nullen afknippen van de graden, enzovoorts. Na een paar keer proberen gaat dat wel lukken; liever veel te veel kolommen dan te weinig.
- voltooi de import
- in excel vervolgens alle kolommen weggooien waar niet iets nuttigs in staat
- en klaar is koko!

Dit is een hobby van mij vanuit mijn werk.
Als jullie het leuk vinden kan ik een macro maken die alles doet en grafiek maakt.
één druk op de knop...

het probleem is dat de logfile erg veel onverwachte onregelmatigheden bevat....
Zo verstoort de - - - - - (5 strepen en 4 spaties) de fixed kolom-opbouw, afhankelijk van wat ervoor of erachter staat wel of niet.....

Een macro kan ongetwijfeld, maar ik heb het maar niet geprobeerd.
Veel kolommen inlezen en weggooien wat niet nodig is duurt ongeveer 30 seconden.
De tweede keer nog maar 20 seconden.....

Een trade-off dus, de lol van een werkende macro maken versus de weken die dat gaat kosten

Baasklusje schreef :
Ja, dat kan zeker kloppen. Je ziet het ritje ee haven uit, de start, het zinloze loefduel, de windwakken en invallende spi in het midden, het reachende rak, het aan de windse rakje, klein spirakje en aan de wind weer terug.

Baasklusje schreef :
Echt waar? zo lang? ik ben er echt héél goed in hoor! Al zou je dat niet verwachten?

ik heb o.m. wat macro's gemaakt om de RWS-boeien-CSV in GPX en WinGPS te krijgen.
Vooral de fouten in de data veroorzaken veel werk: ontbrekende boei-LAT-LON, vaste lichten in de file met drijvend, net even andere spelling van de eigenschappen, etc etc.

Zoals altijd met programmeren is 90% van de code alleen aanwezig voor foutafhandeling....

Maar ga je gang! Koko wil je vast de ruwe logCSV wel even mailen....

koko schreef :
Vaart de Bres dan ook al bij jullie mee

Ik heb een macro gemaakt die de data in een keer goed zet in excel.
Daarop heb ik nu twee grafiekjes gemaakt: "STW" en STW-corr1".
De geleverde STW heeft gaten van 10 tot 20 stuks (dan staat er "- - - - " in de CSV) dat geeft lelijke butsen in de grafiek.
In STW-corr1 "vul" ik de voorkomende gaten met een beste benadering: ik bereken de missende STW' uit de wèl goed gegeven SOG minus het verschil tussen de laatste goed gegeven STW en de daarbij gegeven SOG. Dat is volgens mij een acceptabele werkwijze?
Dat levert dan de volgende 2 grafiekjes:


Vraag aan koko: wat wil je nog meer? Ik kan nog wat grafiekjes inbakken evt.

Dat heb je snel gedaan! een allnighter?

Het mooist is als er een nette excelfile uit komt, dan kan achteraf alles geanalyseerd en gecorrelleerd worden.

Wow, indrukwekkend! Echt super gaaf zeg!

Ik wil de logjes gebruiken om wat meer inzicht te krijgen in snelheid versus ware windhoek & windsnelheid. Ik vaar vrijwel uitsluitend op stilstaand water dus lijkt mij sog, twa en tws de meest interessante. Stw is mooi om ook daar vergelijkingen op te kunnen maken.

Alvast onwijs bedankt. Dit had ik zelf nooit voor elkaar gekregen!

Eerlijk gezegd heeft het me 10 minuten denken en 20 minuten maken gekost.
Ik zal de logica voor de "missende STW" inbakken met een separate knop, dan kun je zelf zien of je daar gebruik van wilt maken.
Ik stuur het vanavond wel op.

Er kan inderdaad heel veel (alles?) met Macro's.
Toen ik nog werkte heb ik er veel gebruik van gemaakt om bijv. vanachter mijn bureau delen van de fabriek te kunnen volgen.
Maar ja , nu ik inmiddels dik 7 jaar met pensioen ben is die kennis heelaas grotendeels verdwenen.
Overigens kun je vrijwel alles redelijk goed vinden via de helpfuncttie(? aanklikken en macro zoeken) van Excel, zo deed ik dat destijds ook altijd want de cursussen die ervoor gegeven worden zijn vrijwel allemaal toegesneden op zaken als financiele administratie en daar heb je in de industrie en ook op bootjes weinig aan.
Ook op de Microsoft website staat veel info: support.office.com/nl-nl/artic...01-b015-3ea70e64937b
Misschien leuk voor koko om ook eens mee te experimenteren. Weer eens wat anders dan zeilen en ook heel geschikt voor een natte of koude winterdag
Ad

@Sunday,

heb je de ruwe CSV van Koko met de macro ingelezen regel voor regel, of eerst een beetje handig Excel laten inlezen en daarna opruimen en uitmesten?

Baasklusje schreef :
Ik hoop natuurlijk op het eerste

Ik weet pas sinds begin dit jaar wat CSV bestand eigenlijk betekent, dat het me uberhaupt gelukt is het bestand in excell comma gescheiden te laten weergeven was al een wonder

Dus Ad, bedankt voor de linkjes

Baasklusje schreef : Ik kwak de hele CSV in excel en heb dan 25macro regels die de boel mooi maken: dat levert dan de correcte excelzoals die "had moeten zijn"
Maak morgenochtend nog wat extra's die met primitieve logica bijvoorbeeld de korte reeksen STW's aanvullen. Dat levert dan een "verbeterde excel.
Ik doe vooralsnog niets met de lat/lon gegevens want de time-stamp is relevanter dan de posities, al ga ik daar nog wel wat mee puzzelen.

@koko,
Geen idee of je in navmonpc de layout van de logrecords zelf kan instellen.
Nu gebruikt navmon een record met vaste posities, maar dat gaat hier en daar fout.
Ook worden naast de vaste posities nog komma's gebruikt. Maar die komen ook voor als decimaalteken.
Allemaal erg onhandig, typisch gevalletje van alles lekker lastig maken voor Windows....
Als je het kan instellen, kies dan puntkomma als scheidingsteken. Dan leest excel die CSV (colon separated values) moeiteloos in.

Ik zal dat eens onderzoeken. Sunday heeft nu natuurlijk een prachtige oplossing gemaakt, maar wie weet.
De posities zijn inderdaad het minst interessant.
Het heeft allemaal geen haast hoor! Ik vind het al heel wat dat je het wil doen.

Het is niet mogelijk het scheidingsteken te kiezen.
Er is een keuze optie waarin je aan kan geven welke data je wil loggen, meer niet.

je kan twee soorten log's maken. Het hier besproken csv log en nog een textlog. Je krijgt dan een kladblokbestand met de data als platte tekst. Die kan je ook weer opnieuw laten afspelen door Navmonpc.

Ik realiseer het me nu pas: in de postings van diverse leden wordt aangegeven het csv file eerst om te zetten naar text. Zou het Navmon textbestand die stap onnodig maken?

Text is vermoedelijk gescheiden met spaties tussen de waarden.
Dat kan excel ook inlezen, ben je met probleem met de 2 soorten komma's (scheiding en decimal) igg kwijt.

Koko, ik heb je een eerste versie gestuurd via mail

En hier voor de liefhebbers:
Aanwijzingen erbij:
maak in W-verkenner een kopie van de CSV. wijzig daarvan de extensie naar "txt". open deze txt in notepad. Ctrl-A / Ctrl-C dit naar excel in blad wat je "gegevens"noemt. Run macro

Sub scheiden()
'
' scheiden Macro
'

'
Sheets("gegevens").Select
Columns("A:A").Select
Selection.Replace What:=", ", Replacement:=";", LookAt:=xlPart, _
SearchOrder:=xlByRows, MatchCase:=False, SearchFormat:=False, _
ReplaceFormat:=False
Columns("A:A").Select
Selection.TextToColumns Destination:=Range("A1"), DataType:=xlDelimited, _
TextQualifier:=xlDoubleQuote, ConsecutiveDelimiter:=False, Tab:=True, _
Semicolon:=True, Comma:=False, Space:=False, Other:=False, FieldInfo _
:=Array(Array(1, 1), Array(2, 1), Array(3, 1), Array(4, 1), Array(5, 1), Array(6, 1), _
Array(7, 1), Array(8, 1), Array(9, 1), Array(10, 1), Array(11, 1), Array(12, 1), Array(13, 1 _
), Array(14, 1), Array(15, 1), Array(16, 1), Array(17, 1), Array(18, 1), Array(19, 1), Array _
(20, 1)), TrailingMinusNumbers:=True
Columns("B:B").Select
Selection.Replace What:=" UTC", Replacement:="", LookAt:=xlPart, _
SearchOrder:=xlByRows, MatchCase:=False, SearchFormat:=False, _
ReplaceFormat:=False
Range("B1").Select
ActiveCell.FormulaR1C1 = "'Time UTC"
Range("F:F,G:G,J:J,M:M").Select
'Range("M1").Activate
Selection.Replace What:=" T", Replacement:="", LookAt:=xlPart, _
SearchOrder:=xlByRows, MatchCase:=False, SearchFormat:=False, _
ReplaceFormat:=False
Range("F1").Select
ActiveCell.FormulaR1C1 = "'COG T"
Range("G1").Select
ActiveCell.FormulaR1C1 = "'Course Run T"
Range("J1").Select
ActiveCell.FormulaR1C1 = "'HDG T"
Range("M1").Select
ActiveCell.FormulaR1C1 = "'TWD T"
Range("A1").Select
End Sub

Ik heb koko dit gestuurd:

Daar zijn grafiekjes uit te maken van SOG en STW door de tijd.
Maar wat kun je er verder mee?
Ik kan de kolommen AWA en TWA bewerken: daar staat nu iets als "82⁰ Stbd" of "90⁰ Port". Ik kan die bewerken naar "82" resp "270" etc.
Hebben we daar iets aan?
Wat zijn er nog meer voor suggesties voor bewerking?

De AWA en TWA moeten gewoon 0-180 blijven, want daarmee (de TWA) zoek je in de polar. SB of BB is niet relevant.

Je kan er de afwijking van het stuurautomaatkompas uit halen door COG en HDG voor alle koersen te vergelijken; heb je een deviatietabel van de fluxgate (helaas bij onbekende helling).

Je kan winddraaiingen plotten obv de TWD

En het leukste: je kan, als je ook de polar erbij hebt, achteraf performance uitrekenen!
Dat zou voor elke gebruiker van NavmonPC mooi zijn.

Hoe:
- een separaat tabblad met de polar (kolommen voor de TWA-hoeken, rijen voor de TWS, net als op de meetbrief)
- dan per regel obv de TWA en TWS in de log een lookup in de polar en een interpolatie doen tussen de windhoeken en TWS'en om een Target Speed te berekenen bij TWA xxx TWS yy,y
Vervolgens voor deze regel de performance uitrekenen: SOG / Target Speed
En dan de volgende regel, etc.

Op deze manier kan iedereen uit zijn log de gevaren performance uitrekenen zonder mux of Tactictool.

Leuk klusje...!

@koko: heb jij een polar van je boot? Liefst niet een diagram (zo'n grafiek) maar een dataset. Die kan ik dan verwerken en ;aten rekenen met je logfiles.

polar inmiddels in je mailbox.

Ik heb de polar van de ORC meetbrief gestuurd. Die lijkt mij het meest bruikbaar voor de toekomst (bijvoorbeeld nw meetbrief=nieuwe polar). Of is er een beter alternatief? De berekeningen die we gebruikt hebben bij de 24uurs waren wel akelig goed, maar hier en daar afwijkende windhoeken. Dat lijkt me voor de toekomst gewoon minder handig.(?)


Het is voor mij echt onvoorstelbaar dat iemand zoiets kan maken. Werkelijk in 8 stappen (stapjes) het rommelbestand van Navmon gecorrigeerd en wel op een rijtje. Echt fantastisch! En zelfs een absoluut beginner als mijzelf kan er mee aan de gang. Magic Sunday.