menu

arrow_back Uttrekk av Lotus Notes med SpectralCore Fullconvert

av
(24 poeng) 1 1 4
i Elektroniske arkiver
1.3k visninger
1 stemme

Skal ta uttrekk av en Dominoserver med Notes som kjøres på en virtuell W2003. Tanken er å kjøre opp en kopi av server her lokalt og så foreta uttrekket. Ser at SpectralCore vil ha en ODBC-kobling mot server for å gjøre jobben. Har noen gjort denne jobben og har tips/erfaringer e.l.? Fant ikke noen henvisninger om ODBC til Domino (eller Notes ) i ODBC-manager på server forøvrig.

1 kommentar

0
Hiver meg på her. Dette er noe jeg også kunne tenkt meg å vite mer om!

3 Svar

Akseptert svar
2 stemmer

Laget i en tidligere jobb et program som automatisk konverterte Notes-baser til Sharepoint så vet dette er fullt mulig.
Har dessverre ikke den koden tilgjengelig og kan dele den, men er mulig å gjenskape det jeg gjorde den gangen.
Tok utgangspunkt i dette prosjektet: https://github.com/UziTech/NSF2SQL
For kun uttrekk trenger en bare ekstra kode for å eksportere rtf-dokumentene i Notes-basene.
Det er ekstremt vanskelig fordi en i Notes kan embedde hva som helst inn i disse dokumentene.
Endte opp med å bruke dette kommersielle biblioteket for det: https://www.n2pdf.de/en/
Det er tilgengelig for en enkeltbruker for en rimelig penger. Ville ellers måtte brukt månedsvis på å kode det selv.

av
(78 poeng) 1 5
redigert av
Akseptert svar
1 stemme

Dette tilsier at det er vanskelig å få til SIARD-uttrekk fra Notes-systemer. Selv om vi er åpne for å ta imot SIARD-filer fra relasjonsdatabaser, er vi skeptiske til å benytte metoden som er beskrevet her, særlig når resultatet ble såpass dårlig.

Fra "10.2.2. Forsøk på SIARD-uttrekk" i "Prosjektrapport - Farvel DBS. Utredning av metoder for datahøsting fra private databasesystemer". Finnes her. Dette var av personer fra Arkivverket direkte, i stedet for arkivskaper, med brukerveiledning for hvordan ODBC-driveren fra IBM skulle kunne brukes. Feilmeldinger kan ses i rapporten.

Nærmeste jeg kommer er en artikkel som har kommet til senere (oktober 2020), spesifikt for Lotus Domino Server. Finnes her.

av
(117 poeng) 1 1 5
Akseptert svar
1 stemme

Det finnes et GitHub repository i fagmiljøet vårt:
https://github.com/KDRS-SA/lotus-notes-data-exporter

Dette er et Lotus Notes Script for Lotus Notes klient som fungerer i parallell med Lotus Domino databaser (databasefiler .nsf som igjen ofte er basert på databasemaler .ntf).

Jeg har kjørt noen jobber her på Lotus Notes/Domino v5.n og 6.n, men nyere versjoner av Lotus Notes skal kunne kjøre scripts bakoverkompatibelt, mulig med noen justeringer. Mener jeg har ISO av programvare for begge nevnte versjoner her.

Fordelen med å bruke Lotus Notes sitt eget programmerings-script Lotus Script er at man da kan gå direkte på Lotus Domino designelementer og innhold og være sikker på at det man eksporterer er komplett ut i fra det som finnes i databasen.

En Lotus Notes database kan finnes på en server eller på en klient eller som replica flere steder av server/klienter. For bevaring, altså for å kunne ta uttrekk av Lotus Notes-databasene er det avgjørende å ha god nok tilgang, dvs. enten ha en Lotus Notes bruker som har høy nok tilgang eller at databasen eller lokal replica av databasen har satt standard tilgang til høy nok. Kopi i depot er best å ha høyeste tilgang i ACL (Access Control List). I noen tilfeller er det best å ha tilgang til systemet slik det er på serveren, men i det fleste tilfeller er en lokal replica på en klient av databasene tilstrekkelig for vårt bevaringsformål.

Data og Design er helt adskilt i en Lotus Notes database og det er da en rekke designelementer å ta stiling til i bevaring. De mest sentrale er Form (skjema med felter av ulike typer satt opp) som eventuelt har SubForms lagt inn (et SubForm kan gjenbrukes i flere skjema f. eks. adressefelter). Der er views som setter betingelser for hvilke typer Form's som skal vises, samt hvilke kolonner, sortering, Knapper/Actions og scripts. Videre har man Scripts og Actions, Agents (for manuell eller tidsstyrt/repeterende kjøring). I tillegg finnes det noen Layouts for bruk både i Lotus Notes klient, samt også brukt noe i nettsideløsninger.

Data lagres alltid i et dokument som igjen er basert på et spesifikt Form, typisk samlet i et eller flere views. For uttrekk har jeg som oftest laget et eller flere views som tar med alt innhold i databasen og så parser jeg gjennom alle elementer og eksporterer etter behov.

Data-elementer for bevaring fra Lotus Notes er i hovedsak
1. Lotus Notes Dokument som da trekkes ut med sine felter av type
- form navn
- tekst, tall, dato (mulig et par til jeg har glemt) => Kan lagres rett til xml felt
- RichText med rik tekst som kan he stor variasjon av innhold => Kan kreve litt behandling, men til XML også
2. Attachments: Lotus Notes Dokumenter kan ha et antall filer lagt ved til dokumentet => Lagres som vedleggsfiler og må knyttes opp til Lotus notes dokumentes xml-representasjon over

Det var en generisk strategi på bevaring av elementer kategorisert på form type, felter og attachment filer. Det er selvsagt mulig å gjøre system-spesifikke bevarings og uttrekksstrategier, f. eks. identifisere sak, journalpost og dokument elementer via views og selektering og gruppere et uttrekk direkte fra scriptet. Men det er et godt stykke arbeid, så jeg vurdere det mest hensiktsmessige med en generisk dump av alt innhold, og så heller etter-prosessere det strukturelt med hensiktsmessige verktøy før bevaring (og ev. validering før det igjen).

ODBC har jeg selv ikke noe erfaring med, men finnes der muligheter som gjør at man får komplett alle elemeter ut via den veien så prøver jeg også gjerne den muligheten. Men før jeg ser at det virker selv i praksis komplett med data ut, så bruker jeg Lotus Script-metoden.

Det var kjapt fra det jeg husker i farten. Olav Mjelde og jeg samarbeidet om Lotus Script her i dette repositoriet, ser her i commits tilbake fra 2012. Mens i det siste har Rolf Holte laget utvidelse tilpasset nyere behov. Jeg har et par jobber i bevaring som jeg må kjøre snart, så jeg skal ta frem denne koden.

av
(423 poeng) 1 3 11

4 Kommentarer

2
Testet faktisk denne før jeg laget egen løsning nevnt i svar over og så at den ikke klarte å hente ut alle data.
Laget etter det egen Lotusscript-kode for uttrekk som klarte å hente ut mer men fortsatt hadde to problemer: Ble for treg for store uttrekk og klarte ikke hente ut alle embedded-elementer i rtf-dokumentene som alltid finnes i Notes-baser. C#-koden i svaret mitt følger ellers metodikk nevnt her (bare med C# heller enn Lotusscript) for å hente ut data fra Notes-basen og kopierer så disse inn i en mysql-database som en så kan gjøre uttrekk fra på vanlig måte.
0
Jeg må sette av tid til å teste ditt forslag til løsning her Morten, det høres veldig interessant ut.
0
Virket faktisk veldig bra. Migrerte ca 100 baser med den koden.
Har ikke tid til å gjenskape koden selv , men kan være behjelpelig hvis dere setter i gang noe.
0
Jeg har tatt scriptet videre men ikke kjørt det tilbake som egen branch. Mener jeg har tatt scriptet såpass at det fortjener egen gren. Jeg tok med mye mer (meta)data, men ikke ole object, fordi det krever at orginalprogrammet finnes og brukes til å hente ut. Det var også flere ting med scriptet som at det i liten grad tok hensyn til at feltene kunne være mulitvariable og at feilmeldinene ble lagret i minne, slik at den bombet ut pga for lite minne. Stod også ved korsvei, skal man ta ut dokumentene som om de var i ett kvasi sak/arkiv slik som Olav/Torbjørn gjorde i scriptet, eller være tro mot dataene og ta de ut i den formen de er internt lagret ref objekt modell med attributter. På grunn av tid og at det var lagt ned mye i først nevnte, gjorde jeg meg ferdig med scriptene i den formen som Olav/Torbjørn startet med, selv om jeg personlig ville ha foretrukket siste. Det er ekstremt enkelt å reformatere xml med XQuery, eller dumpe xmlene inn i en sql base og kjøre sql for å joine objektene og få ut relevant info. Jeg får ikke tid til å legge inn en branch i git hub før i juli

Velkommen!

Søk etter svar, still spørsmål og bidra med kunnskap sammen med norges felleskap på felter som arkiv, konservering og formidling. Alle er velkomne som medlemmer! Her er terskelen for å spørre veldig lav.


Kunngjøringer :

Artikkelmodulen vil snart bli tilgjengelig!