Kunnskapsforum - Siste spørsmål og svar

Arkivpakke i flere deler

Mon, 12 Oct 2026 15:27:42 +0000

Fylkeskommunen ønsker å dele opp en avlevering i 2 deler:

Tieto er nå klare til å starte deponering av Noark-uttrekk av gamle
Vestfold fylkeskommune sin Public 360. I den forbindelse er jeg bedt
om å informere om at uttrekket er delt opp i 2 stk arkivpakker, hvorav
den ene inneholder arkivdelen Elev/Lærling 2011-2019 og den andre
inneholder de øvrige arkivdelene. Disse vil ha hver sin xml-infofil og
hver sin tar-fil. Tieto lurer på hvordan de skal merke dette. Skal de
merkes likt eller ha ulike merkinger?

Vi har fulgt standard ala 0700_006 Public 360 (2011-2019) før, Noen som har fått oppsplitta arkivpakke, Bruker vi bare A, B Del I, Del II etc? Noen tanker?

Besvart: veraPDF - hva virker/virker ikke per februar 2026?

Tue, 08 Sep 2026 06:53:22 +0000

Arkade 5 kjører på dotnet, og siste versjon av biblioteket til veraPDF ble oppdatert for snart 3 år siden, finnes her: https://www.nuget.org/packages/Codeuctivity.PdfAValidator

Dette er et skall over veraPDF-kjernen, som ligger inkludert som zip her, på github.com:
VeraPdf.zip, Bumped VeraPdf -> 1.24.1, 3 years ago

veraPDF, også på github, har oppdatert sin kjerne til v1.30.2, og gjengir her kun validering-rettinger:

Version 1.30.2 (June 3, 2026)
- (PDF/UA-1) fixed missing validation error for the initial use of H (or Hn) structure element if Hn (resp. H) is located later in the document (commit)
- (PDF/UA-2, WTPDF-1) permitted Link and Markup annotations to be Artifacts (commits 1 2)
Version 1.30 (April 21, 2026)
- (PDF/A-2,3,4, PDF/UA-1,2, WTPDF-1) fixed misprint in three names of predefined CMaps (commit)
- (PDF/A-2,3,4, PDF/UA-1,2, WTPDF-1) relaxed the requirement for the presence of the (3,1) cmap in non-symbolic TrueType fonts in case of a font used solely in rendering mode and no embedded font program (commits 1 2)
- (PDF/A-4, PDF/UA-2) added validation of pdfaid:rev and pdfuaid:rev (commit)
- (PDF/UA-2, WTPDF-1) permit math to be not necessarily an immediate child of Formula structure element (commit)
- (PDF/UA-2, WTPDF-1) limited PDF/UA-2 8.10.1 and 8.10.2 clauses to Widget annotations used as appearance of interactive form fields (commit)
- (PDF/A) fixed issue with Default ColorSpace not taken into account for the alternate CS of a DeviceN CS of an Image XObject (commits 1 2)
- (PDF/A-1) fixed matching date validation in case of any of the dates missing in the XMP metadata (commit)
- (PDF/UA-1,2, WTPDF-1) permitted top left cells with no Scope in Table structure element (commit)

per februar 2026

Version 1.28.2 (July 15, 2025)
- (PDF/UA-2, WTPDF-1) disabled rule about multiple link annotations that target the same location (commit)
- (PDF/UA-2, WTPDF-1) fixed structure destination validation (commit)
- fixed validation of Unicode for several flavours (commit)
Version 1.28 (April 30, 2025)
- (PDF/UA-1,2, WTPDF-1, ISO 32005) added rules to require Marked=true entry in MarkInfo dictionary
- (PDF/UA-2, WTPDF-1, ISO 32005) fixed parent-child rules for NonStruct, Part and Div
- (PDF/UA-2, WTPDF-1, ISO 32005) fixed exception during table validation in cases of invalid table structure
- (PDF/UA-2, WTPDF-1) fixed mismatch of structure destinations in Link annotations
- (PDF/UA-2, WTPDF-1) fixed rule about alternative text for signature graphic content with no text
- (PDF/UA-2, WTPDF-1) fixed checking ToggleNoView flag for annotations
Version 1.26 (May 16, 2024)
- (PDF/UA-2) added support for PDF/UA-2 (draft)
- (PDF/UA-1) detect and report structure elements with missing parent
- (PDF/UA-1) fixed checks related to role maps between standard and non-standard tags
- (PDF/UA-1) fixed rules related to annotations in structure tree
- (PDF/UA-1) added checks for XMP prefixes in the identification metadata
- (PDF/A-1,2,3,4) added check for valid values of BitsPerComponent
- (PDF/A-2,3,4) apply the rule on identical tint transform also to /All and /None
- (PDF/A-1) added check that the document does not use xref stream
- (PDF/A-1) Fix syncing XMP with Info dictionary in case of multiple creators
- (PDF/UA-2) supported named structured destinations in goto actions
- (PDF/UA-1) fixed rules about annotations
- (PDF/UA-2) include ISO 32005 rules to PDF/UA-2 profile
- (PDF/UA-2) added rule about Ref entry of Note structure element
- (PDF/UA-2) supported validation of Open Action destination
- (PDF/UA-2) disabled ActualText and Alt validation for non-real content
- (PDF/UA-2) fixed checking of role mapping structure types to the same namespace

Annet som kort er verdt å nevne er

Sikkerhet, bl.a.
- Potential XXE (XML External Entity Injection) vulnerability in veraPDF CLI, løst med 1.26.5,
- "thread safety issues",
- "vulnerable dependencies"
lisensendringer
- veraPDF Rest API: changed license to MIT
Eller Java-støtte (11 -> 25)

Noark 5 testuttrekk for deling?

Fri, 21 Aug 2026 09:48:41 +0000

Vårt fagmiljø validerer og godkjenner Noark 5-uttrekk fra arkivskaper.
Det er behov for gode testsett med data slik at vi kan lage rutiner, automatisere og dokumentere prosessene.

Oppfordrer til å dele eventuelle Noark 5-testuttrekk med fagmiljøet for digitalt depot.

Godkjente lagringsformater etter ny arkivlov

Mon, 10 Aug 2026 10:29:51 +0000

I den nye arkivlovgivningen er det ikke lenger fastsatt konkret hvilke filformater som skal brukes for langtidsbevaring, og vi står i prinsippet fritt til å selv vurdere hvilke formater som er egnet. Hos oss (Bærum kommune) følger vi, inntil videre og på kort sikt, samme praksis som tidligere.

Det kunne vært interessant å høre om det er noen som har begynt å gjøre seg tanker og vurderinger rundt dette? Har dere startet å arbeide med, eller planlegger dere å utarbeide, anbefalinger om filformater som vurderes som egnet for langtidsbevaring?

Besvart: Uttrekk fra WIS "standalone"

Mon, 02 Mar 2026 13:19:42 +0000

I WIS Skole skal det være en data-mappe under programinstallasjonsfolder. Denne inneholdet ADI, ADT og ADM-filer. Dette er en Sybase Advantage fil-database.

Bruk FullConvert og velg Sybase Advantage. Velg Direct som metode og oppgi mappesti frem til data-folder. Velg character set 1252 for norsk tegnsett.

Kan benyttes for direkte konvertering til SIARD.

Vurdering av Arkade 5 v2.12.5 release 13.02.2026

Thu, 19 Feb 2026 08:22:11 +0000

Arkade 5 v2.12.5 med release 13.02.2026
- Verktøyet er et av de viktigste for elarkivaren, både i kommunal og statlig sektor
- Samtidig som Arkivskaper og leverandør alltid må bruke Noark 5-testen inkludert

Hva er nytt?
- Retter problemer med automatisk arkivtype deteksjon, uklart om det er type arkiv som Noark 5 eller SIARD som er deteksjonen her eller PRONOM PUID filformatdeteksjon (Siegrfried 3. part) det er snakk om. Uansett så er hovedpoenget notert at det er rettet slik at Arkade ikke stopper/krasjer i noen situasjoner her.
- Midlertidig tatt vekk PDF/A-validering i verktøykassen (pga. veraPDF 3. parts-problemer, uten at problemet er konkretisert)

Arkade 5 ros
- Fortsatt det kvantespranget for prosessen i pakking og innlevering/deponering av uttrekk fra arkivskaper til depot som det ble laget for å være
- Fortsatt et godt Noark 5 testverktøy i valderingsprosessen
- Kan brukes til SIARD-test, med de begrensinger som DBPTK 3. parts verktøy har i sine tester

Arkade 5 ris
- Begrensninger i forhold til å legge til administrative_metadata (derunder repository_operations) og descriptive_metadata i pakkeprosessen
- Noark 5 testrapport er en broket samling av krav testet, opptellinger og annen informasjon, som i sum ikke er egnet for f. eks. arkivleder/arkivskaper å forstå, og elarkivar i depot må også bruke tid og krefter for å gå gjennom og forstå og vurdere for konklusjon informasjonen. Stort forbedringspotensiale i å strukturere testresultatet og gjøre det bedre maskinlesbart egnet for automatisering av valideringsprosessen inklusiv lage rapporter og lagre testene systematisk
- 3 nye GitHub Issues, av ikke-kritiske elementer (workaround mulig)

Fint om vi kan ha en diskusjon i tråden under på erfaringer ved bruken av Arkade 5.

Arkade 5 lenker inklusiv GitHub og noen nye issues

Krav til bevaring av system og uttrekk iht. ny arkivlov med forskrift?

Wed, 11 Feb 2026 10:25:59 +0000

Spørsmålet er
1. Hva står i ny arkivlov med forskrift om arkivskaper (kommune) krav om bevaring av bevaringsverdige data?
2. Altså fra systemets database, uavhengig av papirarkiv?

Regelen har vært at hvis der er bevaringsverdige data i databasen som ikke er på papir så skal databasen bevares gjennom uttrekk, med mindre man har fattet et kassasjonsvedtak. Der man i forkant har gjort en Bevarings- og Kassasjons--vurdering iht. kommunens BK-plan.

Tekst basert på gammel arkivlov og forskrift

Hjemmelsgrunnlag for test, validering, godkjenning eller avvisning

Depot ivaretar arkivdepotfunksjonen for papirarkiv og elektronisk skapt arkiv for Arkivskaper med hjemmel i § 18 i ”Forskrift om offentlege arkiv”. Det er med utgangspunkt i dette hjemmelsgrunnlaget at Depot vil foreta en gjennomgang av denne innleveringen av System.

Gjennomgang av innleveringen mot regelverket

For innlevering av eldre og avsluttet elektronisk arkiv til kommunalt arkivdepot gjelder følgende regelverk:

A. "Forskrift om utfyllende tekniske og arkivfaglige bestemmelser om behandling av offentlige arkiver (riksarkivarens forskrift) (https://lovdata.no/dokument/SF/forskrift/2017-12-19-2286). Fastsatt av Riksarkivaren 19. desember 2017 med hjemmel i lov 4. desember 1992 nr. 126 om arkiv § 12, forskrift 15. desember 2017 nr. 2105 om offentlege arkiv § 3, § 4, § 5, § 6, § 7, § 11, § 12, § 13, § 16, § 18, § 19 og § 20.

B. Normalinstruks for arkivdepot i kommunar og fylkeskommunar. Gitt med hjemmel i arkivforskriften § 5-12 av Riksarkivaren 01.06.2002.

C. Egne instrukser/retningslinjer, iht. normalinstruksen.

I arbeidet med å få til et så godt som mulig vern av elektronisk arkivmateriale skapt av Depot sine eierkommuner, følger Depot de statlige bestemmelsene i "Bestemmelser om elektronisk arkivmateriale som avleveres eller overføres som depositum til Arkivverket" så langt dette er hensiktsmessig. Depot vil derfor sjekke innleveringen fra Arkivskaper av data fra System opp mot paragrafene § 5-6 t.o.m. § 5-32 i A. (nevnt ovenfor). De første 5 paragrafene er ikke relevante som testpunkt for en innlevering.

Besvart: Hvordan bør et depot håndtere store uttrekk på over 1 TB?

Tue, 27 Jan 2026 13:51:56 +0000

Pr. januar 2026 har vi håndtert arkivpakke på litt over 2TB. Det er imidlertid lite praktisk å jobbe med!

Dokumentere "endring av bruk"

Thu, 31 Jul 2025 14:16:00 +0000

I hvilken grad er dokumentasjon rundt endring av bruk nyttig for arkivert materiale?

Har hørt hvordan felter er synlige eller skjulte avhengig av system-versjon og sett hvordan endring av spørringer har signifikant betydning for presentasjon og tolkning. Men de fleste av disse gjelder "end-of-life" tolkning av informasjonen, og i noen grad hvordan det var opprinnelig tenkt. Selv ved større migrasjoner mellom forskjellige leverandører, blir dette dokumentert med "tatt i bruk versjon X fra dato B".

Men så enkel beskrivelse som hvorfor det ble endret, f.eks. aldri brukt, eller bedre tolkning finnes sjeldent/aldri. Tidligere har andre tatt opp utfordringen, fra leverandør-siden. "Når vi tar imot materiale eller gjør oppdateringer, hvordan vil dere ha det dokumentert for å skille på danning innen f.eks. en arkivperiode". Eller hvordan et ønske fra en kunde gjorde det lettere å gjøre videre søk i andre systemer (navn mot navn og fødselsnummer eller org-nummer).

Ønsker å høre fra andre som har tanker om ikke bare et slutt-produkt eller øyeblikksbilde, men under danningen.

Besvart: Hvilke verktøy og i hvilket format dokumenterer vi best en samling med filer i en mappestruktur?

Fri, 22 Mar 2024 13:52:38 +0000

Excel kan lese inn filer/mapper via M-PowerQuery. (Fane:Data Hent data.. fra... mappe)
Før i gamle dager brukte jeg Cathy til å lage innholdsfortegnelse https://cathy.en.lo4d.com for å lage en ultra lett katalog oversikt

Besvart: Hvilke verktøy kan vi bruke for å validere pdfa i store uttrekk uten krasj midt i testen?

Fri, 08 Mar 2024 14:29:01 +0000

Jeg spurte ChatGPT.

Spørsmål 1:
Hvorfor krasjer veraPDF når vi kjører pdfa validering av mapper som også inneholder zip filer?

Chat GPT 3.5 svar:

veraPDF er primært designet for å validere enkeltstående PDF/A-filer, ikke mapper som inneholder zip-filer eller andre filtyper. Når du prøver å validere en mappe som inneholder zip-filer, kan veraPDF oppleve feil eller uventet atferd fordi den ikke er konstruert for å håndtere slike typer inndata direkte.

Når du gir en mappe som inneholder zip-filer til veraPDF, er det sannsynlig at veraPDF ikke gjenkjenner formatet eller strukturen til inndataene, noe som kan føre til krasj eller feilmeldinger. veraPDF forventer PDF/A-filer som inndata for validering, og den er ikke konstruert for å håndtere nestede zip-filer eller mapper som inneholder zip-filer som standard.

For å løse dette problemet, kan du først trekke ut PDF/A-filene fra zip-arkivene innenfor mappen, og deretter validere dem individuelt ved hjelp av veraPDF. Alternativt, hvis zip-filene inneholder PDF/A-filer, kan du skrive et skript eller bruke et verktøy for å trekke ut PDF/A-filene automatisk og deretter validere dem med veraPDF.

I oppsummering, krasjing av veraPDF når du forsøker å validere mapper som inneholder zip-filer, skyldes sannsynligvis at den ikke er designet for å håndtere slike inndata. For å unngå disse krasjene, må du forebehandle inndataene for å trekke ut PDF/A-filene eller justere arbeidsflyten din for å imøtekomme veraPDFs krav til inndata.

Spørsmål 2:
Har veraPDF minneproblemer i java?

Chat GPT 3.5 svar:

Ja, som med mange Java-applikasjoner, kan veraPDF oppleve minnerelaterte problemer avhengig av størrelsen på PDF-filene den behandler og minneinnstillingene som er konfigurert for Java Virtual Machine (JVM).

Hvis veraPDF brukes til å behandle store PDF-filer eller en stor mengde PDF-filer samtidig, kan det oppstå minnelekkasjer eller uttømming av minne hvis JVM ikke har tilstrekkelig minne tildelt til den. Dette kan føre til ytelsesproblemer eller til og med krasj av applikasjonen.

For å løse eller minimere slike minneproblemer, kan du justere minneinnstillingene til JVM ved å bruke parametere som -Xmx og -Xms for å angi henholdsvis maksimalt og startminne for heapen. For eksempel:

java -Xmx2g -Xms512m -jar verapdf.jar [ytterligere parametere]

Dette vil tildele 2 GB maksimalt minne og 512 MB startminne til JVM. Juster disse verdiene etter behov basert på størrelsen og kompleksiteten til PDF-filene du jobber med og den tilgjengelige systemressursen.

Det er også anbefalt å overvåke minnebruken til JVM under utførelsen av veraPDF ved hjelp av verktøy som VisualVM eller JConsole for å identifisere og håndtere eventuelle minnerelaterte problemer.

Spørsmål 3:
Hva er årsaken til verapdf feilmelding "Invalid CEN header (bad entry name)"?

Chat GPT 3.5 svar:

Feilmeldingen "Invalid CEN header (bad entry name)" i veraPDF indikerer vanligvis et problem med en fil som er inkludert i en ZIP-arkivfil innleiret i PDF-dokumentet. Denne feilen oppstår når navnet på en fil i ZIP-arkivet ikke er gyldig i henhold til ZIP-spesifikasjonen.

Det er flere potensielle årsaker til denne feilen:

Ugyldig filnavn: Navnet på en fil i ZIP-arkivet kan inneholde tegn eller sekvenser som ikke er tillatt ifølge ZIP-spesifikasjonen. Dette kan inkludere spesialtegn, styringskoder eller tegn som er reservert for spesielle formål.
Feilkonvertering: Det kan være problemer med konverteringen av filnavn til riktig tegnsett eller kodestandard. Dette kan føre til at filnavnene blir feilfortolket eller ikke kan gjenkjennes korrekt av veraPDF.
Korrupt ZIP-fil: ZIP-arkivfilen som inneholder den aktuelle filen, kan være korrupt eller skadet. Dette kan føre til ugyldige eller uleselige filnavn, noe som resulterer i feilen.
Feil plassering eller format: Filen som forårsaker feilen, kan være plassert feil i ZIP-arkivet, eller det kan være feil med arkivets struktur eller formatering.

For å løse denne feilen, kan du prøve følgende tiltak:

Sjekk filnavnene og sørg for at de overholder ZIP-spesifikasjonen og ikke inneholder ugyldige tegn eller sekvenser.
Kontroller integriteten til ZIP-arkivet og sørg for at det ikke er korrupt eller skadet.
Forsøk å ekstrahere filen manuelt fra ZIP-arkivet og inspiser filnavnet for eventuelle ugyldige tegn eller problemer.
Verifiser at ZIP-arkivet er riktig plassert og strukturert innenfor PDF-dokumentet.
Hvis feilen vedvarer, kan det være lurt å rapportere problemet til veraPDF-utviklingsteamet, slik at de kan undersøke nærmere og eventuelt utbedre eventuelle feil eller begrensninger i programvaren.

Skal vi lagre en SIP.tar fil inne i en AIP.tar fil i depotforvaltningssystemet eller pakke ut SIP innhold før pakking AIP?

Fri, 08 Mar 2024 12:47:01 +0000

Problemstilling og valg i depot:
1. Skal vi lagre DIAS .tar SIP i en DIAS.tar AIP, f. eks. i en DIAS AIP arkivpakke i depotforvaltningssystemet?
2. Eller skal vi pakke ut .tar SIP til mapper med filer og så pakke disse igjen i en DIAS AIP arkivpakke i depotforvaltningssystemet?

Eksempel der SIP.tar har et Noark 5-uttrekk
1. [DIAS].tar\content[SIP].tar
2. [DIAS].tar\content[f. eks. Noark 5-uttrekk med arkivstruktur.xml m.m. og \dokumenter undermappe]

Problemstilingen er den samme om det er SIAS SIP og AIP eller andre pakkestandarder som ligger til grunn for bevaringen.

Jeg har i dag spurt både Microsoft Bing Copilot med GPT-4 og ChatGPT 3.5 om hvor robust en .tar fil er for ytre bit-endringer
Interessant nok kom to helt forskjellig svar som vist under.

Spørsmål:
Siden en tar fil er en bytestrøm samling av flere filer, vill en bitfeil i selve tar filen da kun skade den ene fillen som berøres av den ytre bitfeilen?

ChatGPT 3.5

Ja, i en tar-fil, som er en samling av flere filer pakket sammen, vil en bitfeil vanligvis bare påvirke den spesifikke filen som er berørt av feilen. Når du pakker filer inn i en tar-fil, blir hver fil normalt komprimert og lagt til i tar-arkivet separat. Derfor, hvis det oppstår en bitfeil i tar-filen, vil kun den ene filen som er berørt av feilen, være skadet.

Men det er viktig å merke seg at dette er tilfelle under forutsetningen om at feilen ikke fører til en feil i selve strukturen til tar-filen. Hvis det oppstår en feil i selve strukturen til tar-filen, for eksempel en feil i filoverskriften eller filstrukturen, kan det føre til at flere filer blir utilgjengelige eller skadet. Men i de fleste tilfeller, hvis det er en feil i selve tar-filen, vil det mest sannsynlig bare påvirke den spesifikke filen som er berørt av den feilen.

Microsoft Bing Copilot med GPT-4

Tar-filer er en populær metode for å komprimere og arkivere filer i Unix- og Linux-miljøer. La oss utforske bitfeil og feiltoleranse i forbindelse med Tar-filer:

Bitfeil:
- Bitfeil refererer til uønskede endringer i dataene på bitnivå. Dette kan oppstå under lagring, overføring eller behandling av filer.
- Tar-filer i seg selv gir ingen innebygd mekanisme for å oppdage eller rette bitfeil. Hvis en bitfeil oppstår i en fil som er pakket inn i en Tar-fil, vil den feilaktige filen bli inkludert uten noen spesifikk feilhåndtering.
- For å beskytte mot bitfeil, kan du vurdere å bruke andre verktøy eller metoder, for eksempel checksums, paritetskontroll eller redundans.
Feiltoleranse

Feiltoleranse: Feiltoleranse handler om å minimere risikoen for at systemfeil fører til driftsstans eller tap av data.
Tar-filer kan være en del av en feiltolerant strategi, men de alene gir ikke full feiltoleranse.
For å øke feiltoleransen når du bruker Tar-filer, kan du vurdere følgende tiltak:
Redundans: Lagre flere kopier av Tar-filer på separate steder eller enheter.
Backup: Regelmessig sikkerhetskopiering av Tar-filer til eksterne lagringsenheter.
Overvåking: Overvåk integriteten til Tar-filer ved hjelp av verktøy som md5sum eller sha256sum.
Distribusjon: Distribuer Tar-filer over flere servere eller lagringssteder for å unngå ett enkelt punkt for feil.
RAID: Bruk RAID-konfigurasjoner for å beskytte mot fysiske diskfeil.

Husk at feiltoleranse bør være en helhetlig tilnærming som inkluderer flere lag av beskyttelse, og Tar-filer kan være en del av denne strategien, men ikke den eneste løsningen

Besvart: Hvor robust er lagring av DIAS tar arkivpakker?

Fri, 08 Mar 2024 12:35:02 +0000

Denne problemstillingen er knyttet til en konkret vurdering i depot:

Eksempel der SIP.tar har et Noark 5-uttrekk
1. [DIAS].tar\content[SIP].tar
2. [DIAS].tar\content[f. eks. Noark 5-uttrekk med arkivstruktur.xml m.m. og \dokumenter undermappe]

Stiller dette som et eget spørsmål lenket til denne tråden...

Hvordan koble seg til Firebird database direkte mot kopi av fil-database .FDB?

Mon, 22 Jan 2024 10:06:21 +0000

Spørsmålet i denne artikkelen er:
- Hvordan koble seg til Firebird database direkte mot kopi av fil-database .FDB?
- Det er behov for å transformere et felt til en god BLOB-type (se forklaring under)

Uttrekk av Firebird kan gjøres med verktøyet Spectral Core Full Convert.
- Target = SIARD for standard uttrekk i vår produksjonslinje
- Target = f. eks. PostgreSQL for test migrering
- Target = f. eks. sqLite for alternativ

Vi har erfart noen problemer med noen systemer som bruker Firebird
- Mulig årsak: Binære verdier er blitt lagret i tekstfelt (BLOB-verdi lagret i CLOB-felt)
- Anne mulig årsak: Full Convert håndterte et BLOB-felt som CLOB (skal teste Target = annen database her)

Full Convert gjør dette rett fram uten problemer og uten å måtte ha Firebird installert lokalt
- C:\Program Files\Spectral Core\Full Convert\fbclient.dll
- Sannsynligvis har de skrevet denne selv eller gjenbrukt den fra annen kilde

Vi har problemer med å koble oss til Firebird .FDB lokalt via de andre verktøy vi har
- dBeaver: unsupported on-disk structure for file C:... \database.FDB; found 11.1, support 13.1
- FlameRobin: Cant find or load FMEMBED.DLL, FBLIENT.DLL or GDS32.DLL
- IBExpert: Client Library is missing or invalid: gds32.dll

Hva må gjøres steg for steg for å koble seg til en lokal .FDB databasefil for å kunne gjennomføre nødvendige transformasjoner før uttrekk?

Besvart: Firebird SIARD-uttrekk med Full Convert BLOBs blir lagret som CLOBs?

Mon, 22 Jan 2024 09:47:18 +0000

Konkret for verktøyet Spectral Core Full Convert
- Vil teste Database migrering fra Firebird til PostgreSQL
- Slik at vi får verifisert om problemet over kun er når Target = SIRAD eller om det også er ved Target = andre databaser

Besvart: Hvilke programvarer har vi, og hva brukes de til?

Thu, 11 Jan 2024 16:13:01 +0000

Visual Studio Code

Siste versjon: 1.85.1
Pris: Gratis

Beskrivelse:
Visual Studio Code, også ofte referert til som VS Code, er en kildekode-editor utviklet av Microsoft for Windows, Linux og macOS. Funksjoner inkluderer støtte for feilsøking, syntaksutheving, intelligent kodefullføring, kodebiter, kodeomskrivning, og innebygd Git. Brukere kan endre tema, tastatursnarveier, preferanser, og installere utvidelser som legger til funksjonalitet.

I Stack Overflow sin 2023 Developer Survey, ble Visual Studio Code rangert som det mest populære utviklermiljøverktøyet blant 86 544 respondenter, med 73,71% som rapporterte at de bruker det. Undersøkelsen fant også at Visual Studio Code ble brukt mer av de som lærer å kode enn av profesjonelle utviklere (78% vs. 74%).

Erfaring:
Kan ikke leve uten dette programmet

Besvart: Får ikke åpnet siard av IST i Keep/DBPTK

Thu, 11 Jan 2024 14:25:46 +0000

Feilmeldingen indikerer at det er en uoverensstemmelse mellom forventet og faktisk element i metadata.xml-filen. Det ser ut som om filen din er en SIARD 2.0-fil (som indikert av uri:"http://www.bar.admin.ch/xmlns/siard/2/metadata.xsd"), men systemet ditt forventer en SIARD 1.0-fil (som indikert av <{http://www.bar.admin.ch/xmlns/siard/1.0/metadata.xsd}siardArchive). Sørg for at versjonen av Keep/DBPTK du bruker støtter SIARD 2.0.

Besvart: Hva konkret må et Excel xlsx regneark inneholde for å være et Gyldig arkivformat iht. Arkivforskriften?

Thu, 11 Jan 2024 14:21:43 +0000

TL;DR: Du vil ha denne i verktøykassa for å validere OOXML.

OOXML er et arkivformat*, til forskjell fra PDF, som etter min mening er et formidlingsformat. Tidligere har jeg selv vært tilbakeholden med å akseptere flere formater, men har etter en del lesing kommet til at filer i OOXML er mer bevaringsvennlige, på lik linje med f.eks.: Typst og LaTeX. Altså, formater som kan kompileres til vilkårlige formidlingsformater uten uønsket tap av informasjon.

En gyldig OOXML-fil er en fil som følger IEC 29500. Du kan manuelt validere dette ved å åpne en docx-fil i f.eks. 7zip eller PKZip. Docx er egentlig bare en arkivpakke som inneholder word-dokumentet fordelt på flere xml, bilder og andre medietyper du har inkludert, la meg forklare:

Office Open XML-dokumenter er lagret i Open Packaging Conventions (OPC)-pakker, som er ZIP-filer som inneholder XML og andre datafiler, sammen med en spesifikasjon av relasjonene mellom dem. Avhengig av dokumenttypen, har pakkene forskjellige interne katalogstrukturer og navn. En applikasjon vil bruke relasjonsfilene for å finne individuelle seksjoner (filer), med hver seksjon som har tilhørende metadata, spesielt MIME-metadata.

* Dersom filen inneholder essensielle elementer som skrifttype i ISO/IEC 14496-22:2007 format osv.

Utrolig lang forklaring:

En grunnleggende pakke inneholder en XML-fil kalt [Content_Types].xml i roten, sammen med tre kataloger: _rels, docProps, og en katalog spesifikk for dokumenttypen (for eksempel, i en .docx tekstbehandlingspakke, ville det være en word-katalog). Word-katalogen inneholder document.xml-filen som er kjernen i innholdet i dokumentet.

[Content_Types].xml
Denne filen gir MIME-type informasjon for deler av pakken, ved å bruke standarder for visse filutvidelser og overstyringer for deler spesifisert av IRI.

_rels
Denne katalogen inneholder relasjoner for filene i pakken. For å finne relasjonene for en spesifikk fil, se etter _rels-katalogen som er et søsken av filen, og deretter etter en fil som har det opprinnelige filnavnet med .rels som filformat. For eksempel, hvis filen for innholdstyper hadde noen relasjoner, ville det være en fil kalt [Content_Types].xml.rels inne i _rels-katalogen.

_rels/.rels
Denne filen er hvor pakkerelasjonene er lokalisert. Applikasjoner ser her først. Ved å se i en teksteditor, vil man se at den beskriver hver relasjon for den seksjonen. I et minimalt dokument som bare inneholder den grunnleggende document.xml-filen, er de detaljerte relasjonene metadata og document.xml.

docProps/core.xml
Denne filen inneholder kjernepropsene for ethvert Office Open XML-dokument.

word/document.xml
Denne filen er hoveddelen for ethvert Word-dokument. Det er her all teksten ligger.

Relasjoner

Et eksempel på en relasjonsfil (word/_rels/document.xml.rels) er (hentet fra wikipedia):

<?xml version="1.0" encoding="UTF-8" standalone="yes" ?>
<Relationships xmlns="http://schemas.microsoft.com/package/2005/06/relationships">
     <Relationship Id="rId1"
             Type="http://schemas.microsoft.com/office/2006/relationships/image"
             Target="http://en.wikipedia.org/images/wiki-en.png"
             TargetMode="External" 
    />
     <Relationship Id="rId2"
             Type="http://schemas.microsoft.com/office/2006/relationships/hyperlink"
             Target="http://www.wikipedia.org"
             TargetMode="External" 
    />
</Relationships>

Slik sett, kan bilder som er referert i dokumentet finnes i relasjonsfilen ved å se etter alle relasjoner som er av typen http://schemas.microsoft.com/office/2006/relationships/image.

Følgende XML viser et eksempel på inline markup for en hyperlink:

<w:hyperlink r:id="rId2" w:history="1"
     xmlns:r="http://schemas.openxmlformats.org/officeDocument/2006/relationships"
     xmlns:w="http://schemas.openxmlformats.org/wordprocessingml/2006/main"
>

I dette eksempelet er Uniform Resource Locator (URL) i relasjonens «target»-attributt referert gjennom relasjonsidentifikatoren, rId2. Lenkede bilder, maler og andre elementer refereres på samme måte.

Bilder kan være innebygde eller lenket ved hjelp av en tag:

<v:imagedata w:rel="rId1" o:title="example" />

Dette er referansen til bildefilen. Alle referanser håndteres via relasjoner. For eksempel har en document.xml en relasjon til bildet. Det er en _rels-katalog i samme katalog som document.xml, inne i _rels er det en fil kalt document.xml.rels. I denne filen vil det være en relasjonsdefinisjon som inneholder type, ID og plassering. ID-en er den refererte ID-en brukt i XML-dokumentet. Typen vil være en referanseskjemadefinisjon for medietypen og plasseringen vil være en intern plassering i ZIP-pakken eller en ekstern plassering definert med en URL.

Dokumentegenskaper

Office Open XML bruker Dublin Core Metadata Element Set og DCMI Metadata Terms for å lagre dokumentegenskaper. Dublin Core er en standard for tverrdomene informasjonsressursbeskrivelse og er definert i ISO 15836:2003.

Et eksempel på en dokumentegenskapsfil (docProps/core.xml) som bruker Dublin Core-metadata, er:

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<cp:coreProperties xmlns:cp="http://schemas.openxmlformats.org/package/2006/metadata/core-properties"
    xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:dcterms="http://purl.org/dc/terms/"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
>
     <dc:title>Office Open XML</dc:title>
     <dc:subject>File format and structure</dc:subject>
     <dc:creator>Wikipedia</dc:creator>
     <cp:keywords>Office Open XML, Metadata, Dublin Core</cp:keywords>
     <dc:description>Office Open XML uses ISO 15836:2003</dc:description>
     <cp:lastModifiedBy>Wikipedia</cp:lastModifiedBy>
     <cp:revision>1</cp:revision>
     <dcterms:created xsi:type="dcterms:W3CDTF">2008-06-19T20:00:00Z</dcterms:created>
     <dcterms:modified xsi:type="dcterms:W3CDTF">2008-06-19T20:42:00Z</dcterms:modified>
     <cp:category>Document file format</cp:category>
     <cp:contentStatus>Final</cp:contentStatus>

</cp:coreProperties>

Dokumentmarkeringsspråk

En Office Open XML-fil kan inneholde flere dokumenter kodet i spesialiserte markeringsspråk som tilsvarer applikasjoner i Microsoft Office. Office Open XML definerer flere vokabular ved bruk av 27 navneområder og 89 skjemamoduler.

De primære markeringsspråkene er:

WordprocessingML for tekstbehandling
SpreadsheetML for regneark
PresentationML for presentasjoner

Delt markeringsspråkmateriale inkluderer:

Office Math Markup Language (OMML)
DrawingML brukt for vektortegning, diagrammer, og for eksempel tekstkunst (tillegg, selv om det er avskrevet, støttes VML for tegning)
Utvidede egenskaper
Egendefinerte egenskaper
Varianttyper
Egendefinerte XML-datategenskaper
Bibliografi

I tillegg til de ovennevnte markeringsspråkene, kan egendefinerte XML-skjemaer brukes til å utvide Office Open XML.

Ned i kaninhullet

Patrick Durusau, redaktøren av ODF, har sett på markeringsstilen til OOXML og ODF som representasjon av to sider av en debatt: «element-siden» og «attributt-siden». Han bemerker at OOXML representerer «element-siden av denne tilnærmingen» og peker ut KeepNext-elementet som et eksempel:

<w:pPr> 
    <w:keepNext/> 
     … 
</w:pPr>

I kontrast bemerker han at ODF ville bruke et enkelt attributt fo:keep-next, i stedet for et element, for samme semantikk.

XML-skjemaet til Office Open XML legger vekt på å redusere lastetid og forbedre parsinghastighet. I en test med applikasjoner gjeldende i april 2007, var XML-baserte kontordokumenter tregere å laste enn binære formater. For å forbedre ytelsen bruker Office Open XML veldig korte elementnavn for vanlige elementer, og regneark lagrer datoer som indeksnumre (startende fra 1900 eller fra 1904). For å være systematisk og generisk, bruker Office Open XML typisk separate barneelementer for data og metadata (elementnavn som slutter på Pr for egenskaper) i stedet for å bruke flere attributter, noe som tillater strukturerte egenskaper. Office Open XML bruker ikke blandet innhold, men bruker elementer for å sette en serie tekstkjøringer (elementnavn r) inn i avsnitt (elementnavn p). Resultatet er kortfattet og sterkt nøstet i kontrast til HTML, for eksempel, som er ganske flatt, designet for mennesker å skrive i tekstredigerere og er mer hyggelig for mennesker å lese.

Navngivningen av elementer og attributter i teksten har trukket noe kritikk. Det er tre forskjellige syntakser i OOXML (ECMA-376) for å spesifisere fargen og justeringen av tekst avhengig av om dokumentet er en tekst, regneark eller presentasjon. Rob Weir (en IBM-ansatt og medleder av OASIS OpenDocument Format TC) spør «Hva er den tekniske begrunnelsen for denne skrekken?». Han kontrasterer med OpenDocument: "«ODF bruker W3C's XSL-FO vokabular for tekststil, og bruker dette vokabularet konsekvent».

Noen har argumentert for at designet er basert for nært på Microsoft-applikasjoner. I august 2007 publiserte Linux Foundation et blogginnlegg som oppfordret ISO nasjonale organer til å stemme «Nei, med kommentarer» under internasjonal standardisering av OOXML. Det sa,

«OOXML er en direkte port av en enkelt leverandørs binære
dokumentformater. Den unngår gjenbruk av relevante eksisterende
internasjonale standarder (f.eks. flere kryptografiske algoritmer,
VML, etc.). Det er bokstavelig talt hundrevis av tekniske feil som bør
adresseres før standardisering av OOXML inkludert fortsatt bruk av
binær kode knyttet til plattformspesifikke funksjoner, formidling av
feil i MS-Office til standarden, proprietære enheter, referanser til
proprietære/konfidensielle tagger, uklare IP- og patenrettigheter, og
mye mer».

Versjonen av standarden som ble sendt til JTC 1 var 6546 sider lang. Behovet og hensiktsmessigheten av en slik lengde har blitt stilt spørsmål ved. Google uttalte at "ODF-standarden, som oppnår det samme målet, er bare 867 sider".

Uansett, det er mye å dykke ned i rundt OOXML. Det finnes også flere programvarer som kan validere om noe er OOXML, blant annet er det en plug-in til vscode, eller denne .NET CLI-pakken fra samme utvikler.

Besvart: Hvordan og med hvilket verktøy migrere xml-filer/uttrekk til database?

Tue, 17 Oct 2023 12:28:30 +0000

Vi benytter er XML-databasen BaseX og xquery-spørringer for å hente ut rapporter. Dette gjør vi både med SIARD og Noark-uttrekk som vi mottar - så lenge det ikke er brukt alt for mange xml-schema i datasettet. Jeg antar at andre XML-databaser også kan fungere fint.

Noen eksempler på bruksområder:

Anonymisering av datasett
Fjerne skjermede data fra Noark-uttrekk
Hente unike data fra et bestemt felt i et SIARD-uttrekk
Sammenstille data i SIARD-uttrekk

Når vi jobber med SIARD-filer bruker vi metadata.xml-filen aktivt, slik at spørringene forholder seg til de opprinnelige tabell- og feltnavnene. Tabell- og kolonnenummer som etableres ved migrering til SIARD-formatet har vi opplevd som ustabile. Dette kan være på grunn av at det blir brukt forskjellige verktøy for å produsere SIARD-uttrekkene, men også fordi databaser fra samme fagsystem kan ha variasjoner.

Hvordan feilsøke DBPT Desktop feil i innlasting viewer?

Tue, 17 Oct 2023 11:35:42 +0000

Hvordan feilsøker vi DBPT Desktop når imort til viewer feiler?

Utgangspunkt
- DBPT Desktop v2.7.1 som siste versjon pr. 17.10.2023
- SIARD uttrekk er tatt med DBPTK Desktop v2.7.1 med Internal LOBs

Prøvde et par uttrekk, andre gangen uttrekk uten BLOBs-kolonnen med med de 235 000 binære filer i den tabellen.

DBPTK Desktop v2.7.1 => SIARD Validation av eget uttrekk ga 1 feil
- T_6.0-2: [OK]
- T_6.0 - Requirements for table data
- T_6.0-1: [ERROR] - Failed to validate due to an exception on Requirements for table data - Please check the log file for more information
- Requirements for table data [FAILED]

=> Det er en stor mangel i valideringsrapport at det ikke angis hvilket skjema, tabell og rad/felt som feilsituasjonen oppstår på. Da blir det umulig å finne ut av det. Check log feil... hvilken logg og de loggfilene er meget store, er som å leite etter nåla i høystakken.

Bilde 1)
- IllegalArgumentException: empty argument

Bilde 2 og 3)
- JavaScript Exception (typeError): Cannot read properties of null (reading 'tf')

Besvart: Hvordan lage SHA-1 og andre hash av en mappestruktur?

Thu, 28 Sep 2023 02:29:49 +0000

Langt på vei enkleste og involverer et verktøy de fleste allerede har i skuffen, er Siegfried. Siegfried kan, i tillegg til format-identifisering, lage sjekksummer i rapporten.

sf -csv -hash md5 DIR > results.csv

*md5 som eksempel, andre sjekksum-algoritmer er tilgjengelige. Hvis du ikke vil ha med format-informasjon, er det mulig

There may be occasions where you'd like to access some of the ancillary functionality of sf (listing contents of directories, listing contents of compressed files, computing file hashes, etc.) but not perform any identification.

Doing this sort of thing will be quicker with an empty identifier. You can create such a signature file by adding a non-puid limit, e.g.:

roy build -limit null -name empty empty.sig
[note due to a roy bug you'll need to add the -noreports flag to this line unless you are on >= sf 1.3.1]

Another way to do this is to do an -exlude on all the puids. The all.json sets file is your friend here:

roy build -exclude @all -name empty empty.sig

Either way, you can now access the ancillary functions of sf and skip the identification step, e.g.:

sf -sig empty.sig -z -csv -hash crc DIR

Angående etterprøving av sjekksum; Arkade 5 har i dag blant annet mulighet til å etterprøve sjekksum for Noark 5-uttrekk, fordi den vet hvilke felter som skal leses. Det er startet et arbeid med å gjøre det samme for fagsystemer (register+dokumenter, f.eks. siegfried-analyse), grunnet økte mengder "annet enn Noark som kommer med dokumenter", i form av prosessene sjekksum og ekstra/mangler.

Hvilke verktøy kan validere en pakket fil (tar, zip, rar osv.) mot utpakket innhold?

Wed, 27 Sep 2023 06:53:44 +0000

Depot har mange arbeidsoperasjoner i produksjonslinjene som involverer å pakke inn og pakke ut filer og mappestrukturer i en pakket fil. Filformater til pakkede filer er f. eks.:
- tar
- zip
- 7zip
- rar
- osv...

I depot kan det ofte være riktig/nødvendig å validere en utpakket filstruktur mot den pakkede filen av innholdet.

Spørsmål
1. Hvilke verktøy finnes med mulighet for å validere en pakket fil mot utpakkede filer og mappestrukturer? (seinere i linjen)
2. Hvilke verktøy validerer automatisk at utpakket/pakket innhold er identisk med sin opprinnelige form før jobben startet? (idet pakking/utpakking utføres)

Arkade 5?
- Kan validere en DIAS IP (i verktøykassen), men kan den validere generelt pakket fil mot utpakket?

TeraCopy?
7zip?
PkZip?
Andre?

Besvart: Hvordan validere deponerte uttrekk i csv format (tegnseparerte filer) ?

Sun, 24 Sep 2023 10:56:33 +0000

Arkade kan gjøre 1-3 og deler av 4.

I en addml-fil kan du spesifiere antall poster/rader med informasjon i csv-filen, relasjon til andre filer, kolonnetittel-nivå (Ifor å unngå valideringsfeil), minste og største lengde, unikhet for verdi i kolonne, om felt kan mangle verdi, kode-bruk i felt (verdi / forklaring), korrekt tegnsett, post- og feltskille (system-avhengig og løsning-avhengig), anførselstegn (egendefinert eller standard csv), lesing av spesielle tegn-verdier (om noen har brukt et tastatur-oppsett med annen verdi for æøå), feltformat (Arkade følger Arkivverkets profil med string, integer, decimal, date, boolean, link), tekstjustering med fyll-tegn og angivelse av null-verdier.
Støttede prosesser finnes her, hvor det meste fra punkt 2 til 4 kontrolleres, med fokus på lesbarhet og definisjon. Det er ikke støtte for statistikk som gjennomsnitt, kun behandling av verdi (minste/største, korteste/lengste, mangler, antall forekomster og mangler definisjon).
Det er støtte for feltformat, enten i form av forhåndsdefinerte koder (fødselsnummer - fnr/organisasjonsnummer - org/kontonummer - knr), ellerdefinert form (nn.nn for å definere punktum som desimaltegn, n.nnn for å definere som tusenskille, nnE+exp for eksponentielle verdier, år-måned-dag potensielt med time-minutt-sekund med eller uten millisekund og tidssone - dd.MM.yyyyTHH:mm:sszzz, bolske verdier - J/N).

Konkrete eksempler på validering med Arkade 5 og addml gjøres ved ytterligere interesse.

Besvart: Hva er korrekt filtype på CLOB-fil som har kontrolltegn?

Mon, 21 Aug 2023 16:10:42 +0000

Det er flere kontrolltegn i Unicode:

0xC2 83 = NBH = No Break Here
0xC2 8C = PLU = Partial Line Backward
0xC2 9F = APC = Application Program Command

https://www.compart.com/en/unicode/category/Cc

Siste steg i ETA er Transfer IP - bomber ut med for lite diskplass

Sat, 29 Jul 2023 19:32:32 +0000

Pakke jeg jobber med er på 370GB.

Jeg har økt VDI disken fra 400GB til 1000GB uten at det hjalp. Diskområde hvor (Prepare)/Shared/Transfer ligger har 889GB ledig.
Lenge siden jeg har rotet med linux. Trenger litt hjelp

Når ETA sin Transfer IP krasjer kan det ligge igjen noe som jeg må manuelt slette med SHH inn i ETA?
(Har satt opp portforwarding og testet at jeg kommer inn i linux-boksen. Logger jeg inn på bosken med bruker navn og passord får jeg ikke opp i GUI som gjør at jeg kan bruke GUI'et til Centos

IOError at /transfer/transferiplist/
[Errno 28] No space left on device
Request Method:	POST
Request URL:	https://localhost:12443/transfer/transferiplist/
Django Version:	1.8.4
Exception Type:	IOError
Exception Value:	
[Errno 28] No space left on device
Exception Location:	/ESSArch/pd/python/lib/python2.7/shutil.py in copyfileobj, line 52
Python Executable:	/usr/bin/python
Python Version:	2.7.10
Python Path:	
['/ESSArch/pd/python/lib/python2.7/site-packages/ESSArch_TA',
 '/ESSArch/pd/python/lib/python2.7/site-packages/ESSArch_EPP',
 '/ESSArch/pd/python/lib/python2.7/site-packages/ESSArch_EPP/workers',
 '/ESSArch/config',
 '/ESSArch/pd/python/lib/python27.zip',
 '/ESSArch/pd/python/lib/python2.7',
 '/ESSArch/pd/python/lib/python2.7/plat-linux2',
 '/ESSArch/pd/python/lib/python2.7/lib-tk',
 '/ESSArch/pd/python/lib/python2.7/lib-old',
 '/ESSArch/pd/python/lib/python2.7/lib-dynload',
 '/ESSArch/pd/python/lib/python2.7/site-packages',
 '/ESSArch/pd/python/lib/python2.7/site-packages/ESSArch_TA',
 '/ESSArch/config']
Server time:	Sat, 29 Jul 2023 18:27:28 +0200

Er VDI disken vi legger til egentlig tom slik at om jeg oppretter en ny starter jeg med en ren "hardisk"?

Er transfer IP egentlig nødvendig?
Jeg har brukt Arkade 5, og lagd en pakke, Bruker så ETA, logger noe, og går videre.
Alt den gjør slik jeg ser deet er å opprette en ny UUID katalog for AIC'en, kopier UUID katalog fra pakke og dumper tar fra arkade inn i content, og plasserer info.xml på samme nivå (øverst) med UUID katalogen til arkade (ertt under UUID - AIC).

Når jeg kjører transfer IP på ETA pånytt må jeg slette eller endre navn på UUID AIC'en fordi om den finnes krasjer det også med feilmelding at fil finnes. Det er samme UUID på AIC hver gang. Min tanke er at jeg bare kopierer/flytter innholdet på egenhånd via filsystemet enn at essarch skal bruke timer/dager til å kopiere via essarch.

Tenker jeg feil, vil jeg mangle noe om jeg overstyrer. EPP så ikke noe feil i mottak, ikke ennå ihvertfall?
Har egentlig 2 pakker 370+120, startet med å trikse til transfer IP, og testet EPP før hele maskin fikk en omstart og ble trolig ikke helt ferdig med mottaket.

Må jeg trolig rydde opp i EPP og fjerne det som er startet i mottak?
Noen måte å se om den ble ferdig i løpet av kvelden før hele DepotPC tok omstart?

[root@essarch-ta ~]# ***lsblk***
NAME                               MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0                                 11:0    1 1024M  0 rom
sda                                  8:0    0   60G  0 disk
├─sda1                               8:1    0  500M  0 part /boot
└─sda2                               8:2    0 59,5G  0 part
  ├─vg_essarchtools-lv_root (dm-0) 253:0    0  450G  0 lvm  /
  ├─vg_essarchtools-lv_swap (dm-1) 253:1    0    2G  0 lvm  [SWAP]
  └─vg_essarchtools-lv_home (dm-2) 253:2    0  7,6G  0 lvm  /home
sdb                                  8:16   0 1000G  0 disk
└─vg_essarchtools-lv_root (dm-0)   253:0    0  450G  0 lvm  /


[root@essarch-ta ~]# ***df -h***
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/vg_essarchtools-lv_root
                      443G  421G   17M 100% /
tmpfs                 2,0G     0  2,0G   0% /dev/shm
/dev/sda1             477M   97M  355M  22% /boot
/dev/mapper/vg_essarchtools-lv_home
                      7,3G   44M  6,9G   1% /home
Shared                7,0T  6,1T  889G  88% /media/sf_Shared
Transfer              7,0T  6,1T  889G  88% /media/sf_Transfer
Shared                7,0T  6,1T  889G  88% /ESSArch/data/eta/reception/shared
Transfer              7,0T  6,1T  889G  88% /ESSArch/data/gate/reception

[root@essarch-ta ~]# sudo fdisk -l

Disk /dev/sda: 64.4 GB, 64424509440 bytes
255 heads, 63 sectors/track, 7832 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0004a1d3

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          64      512000   83  Linux
Partition 1 does not end on cylinder boundary.
/dev/sda2              64        7833    62401536   8e  Linux LVM

Disk /dev/sdb: 1073.7 GB, 1073741824000 bytes
255 heads, 63 sectors/track, 130541 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000


Disk /dev/mapper/vg_essarchtools-lv_root: 483.2 GB, 483179626496 bytes
255 heads, 63 sectors/track, 58743 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000


Disk /dev/mapper/vg_essarchtools-lv_swap: 2113 MB, 2113929216 bytes
255 heads, 63 sectors/track, 257 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000


Disk /dev/mapper/vg_essarchtools-lv_home: 8095 MB, 8095006720 bytes
255 heads, 63 sectors/track, 984 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Besvart: Spec av pc til produksjonslinje

Tue, 25 Jul 2023 02:09:08 +0000

Jeg tviler på at du vil finne noe bra hyllevare som passer til arbeidsoppgavene i vår bransje. Ei heller tror jeg du vil like prisene på tilpassede maskiner fra f.eks. Nextron.

Her er et eksempel på komponenter som kan være av interesse, de tar høyde for små filer, masse data, databaser og mye flytting/innlasting
Jeg tar ikke høyde for pris eller tilgjengelighet her

Hovedkort
Et hovedkort med gode ekspansjonsmuligheter er et bra valg.
Da kan du utvide med nye kontrollerkort (om du trenger masse diskplass, gpu-er eller andre nyttekort som nettverk, spesialkort som floppy, cdrom eller for andre typer medium.
Dette er mitt drømmekort

Prosessor
En CPU med mange kjerner som også har høy frekvens vil være et godt valg i en sånn maskin. Du beskriver at du trenger til virtualisering, blant annet. Jeg ville gått for AMD, mye fordi du da kan sitte på samme sokkel (fra hovedkortet) men oppgradere til en nyere CPU senere. Denne er helt rå, og passer til hovedkortet

Minne
Om du behersker Python, eller et annet programmeringsspråk, så ville jeg gått for så mye minne som overhodet mulig. Da kan du lese inn hele pakker i minnet og jobbe med dem direkte på RAM. I alle andre situasjoner tror jeg 128GB eller 256GB er størrelser som kommer til å vare i mange, mange år. Uansett bør du velge ECC-minne, så slipper du å tenke på korrupsjon av data under flytting eller håndtering.

En annen faktor med minne, er kanaler. Desto flere kanaler, jo bedre.

Arbeidsdisk
Disken du bruker til å jobbe med data på. Disse diskene bør ha veldig høy IOPS (Input-Output Operations per Second), sånn at du kan bruke dem til databaser, millioner av små filer og reformatering når det er behov for det. Om du skal eksponere disker til Linux er dette også en god måte å jobbe med masse små filer på, siden du f.eks. kan bruke Reiser4, Btrfs eller ZFS som håndterer blokkunderallokering (som er utmerket for masse små filer).

En annen ting å tenke på her, er at disken må være utrolig rask for de største XML-filene - husk bare å konfigurere OS til å ha TMP-mappene på diskene i dette settet for en utrolig respons.

Uansett, så anbefaler jeg deg å kjøpe et PCIe kort som støtter flere NVMe disker. Som du så kan softraide for mest IOPS. Jeg anbefaler 2-4TB total lagringskapasitet på disse diskene, og de bør har 6-7GBs skrivehastighet (Gen4 eller Gen5 når det blir litt billigere - da får du nesten RAM-hastighet) Ett sånn her sammen med fire 4TB SSD av denne typen vil nok gjøre susen, om du setter dem i raid 0 :)
OS kan installeres på en god NVMe ssd. 512GB er nok i massevis for en arbeidsstasjon med mye programvare.

Mellomlagring
Bortsett fra kaldlager og varmlager på en server i infrastrukturen, så ville jeg også hatt noen gode og store HDD-disker i JBOD-konfigurasjon. Det er billige disker nå opp i 18TB, men du finner masse bra (og veldig stabile) 4-8TB HGST disker på markedet nå. Disse er arbeidshester du kan stole på. Jeg ville ikke kjøpt standard WD eller Seagate. Men HGST 4TB eller Toshiba (eller WDC om du går 14-16TB) har gode tall på levetid og stabilitet)

Grafikkkort
Kraftige GPU (om du skal bruke hashcat på krypterte dokumenter vil den billigste løsningen være et par kraftige nvidia-gpuer). Dette avhenger selvsagt om du vil tilby en sånn tjeneste. De sterkeste på markedet nå er RTX4090. En moro fakta om disse: gir du 8 stk. RTX 4090 til hashcat, vil den kunne knekke alle åtterlengdepassord på 48 minutter (det er 2.2 billioner passord). Som er vanligst lengde av det jeg har sett på krypterte filer. Ett kort klarer det på ca seks og en halv time

Strømforsyning
Det som kanskje er viktigst, er å kjøpe Seasonic PSU, gjerne en Prime 1000W Titanium som muligens er verdens beste strømforsyning, eller 1600w om du skal ha flere GPU. Disse PSU-ene holder i 20 år og gir maskinen stabil juice som ikke skader maskinvaren. Jeg kan ikke få sagt det nok hvor viktig det er med kvalitet på strømforsyningen. Seasonic leverer forøvrig Prime-serien med 12 års garanti. Dette er en billig forsikring for resten av utstyret i datamaskinen, og enkelt å forsvare.

Nettverk
Selv om du nå i Windows 11 må «fikle» litt når du skal sette opp en LACP-gruppe, så vil du spare deg for mye venting mot en server om du har 20 Gbit/s tilkobling direkte til lagringsserveren. Jeg laster ned TB-pakker fra backup på under 10 minutter. Du kan slippe unna med mye lokalt arbeid om du har en rask tilkobling.

Besvart: Nye felter i Arkade5 v 2.10

Fri, 19 May 2023 15:14:54 +0000

Bra innspill, utdyper/komplementerer fra egne tester og analyser av Arkade 5 v2.10.0 (og tidligere versjoner), samt DIAS SIP og AIP generelt:
- Arkade 5 brukes til pakking av systemer for bevaring og metadata er "pakkseddelen" og må derfor pertentlig korrekte
- Dokumentasjonen av hvilke metadata Arkade 5 har og hvor disse lagres i info.xml og DIAS pakke METS-elementer må være entydig
- Alle programmerte betingelser som Arkade 5 benytter må dokumenteres og ikke være gjenstand for gjettelek (behov for reverse engineering)

Nevnte felt "Arkivsystemtype" er som foreslått best løst ved at KAI-miljøet går sammen og bruker samme verdier

KDRS Produksjonslinje benytter f. eks. tidligere kartlegginger som KAI-miljøet har gjennomført sammen med Arkivverket
- KAISA, Kommunalarkivinstitusjonenes standardisering av arkivbeskrivelse
- Kartlegging Digitalt skapt materiale i kommunal sektor 1985 til 2010
- De 2 nevnte lenkene er vist i praktiske eksempler i lenken til Innlegg om "Kategorisering av systemer" under
- KDRS Produksjonslinje vedlikeholder og deler også en liste over alle kjente systemer, med utgangspunkt i kartleggingen av systemer som Arkivverket gjorde mot kommunal sektor for noen år siden
- Alle systemer har der en Unik ID, et Unikt navn og en Kategori som nevnt henvist til basert på Kaisa og Kommunal systemkategori prosjektet

Lenker til en artikkel om Arkade 5 v2.10.0 metadata, Arkade 5 GitHub Issue mangel dokumentasjon og Innlegg om kategorisering systemer
- Arkade 5 v2.10.0 oversikt alle metadata input og posisjon i METS
- Arkade 5 v2.10.0 mangler i dokumentasjon #167
- Hvordan kategoriseres elektroniske systemer for bevaring i depot og formidling av kataloginformasjon på Arkivportalen?

KAISA 9 hovedkategorier (Asta og Arkivportalen)

Elarkiv 20 system-kategorier

Besvart: Arkivering /innhøsting fra e-post konto

Wed, 03 May 2023 11:19:50 +0000

Vi kjøpte samme verktøyet som Abark bruker for Exchange (pst filer - Total Outlook Converter Pro) som er besvart i annen tråd https://lok.as/245/hvilke-muligheter-har-man-far-a-eksportere-fra-pst-filer?show=259#a259

Hva og hvordan kan arkivskaper og depot gjøre av endringer og feilrettinger i avluttede og bevarte systemer?

Wed, 08 Mar 2023 11:09:45 +0000

Arkivskaper bruker Noark-systemer i arkivdanningen i sakarkivet, fordelt på arkiv, arkivdeler, mapper (saker), registreringer (journalposter), dokumentbeskrivelser og dokumentobjekter. Og andre mulige struktur-inndelinger i henhold til Noark 5 og tidligere Noark 4 og 3.

I ett gitt tilfelle kan vi ha
1. Et aktivt fullelektronisk Noark 5-system med det antall arkivdeler som er aktive i dag, og arkivdeler som er avsluttet, men opprettet i dette systemet
2. Arkivdeler som historisk base fra forrige system, som også var fullelektronisk Noark 5, men som ble oppgradert fra Noark 4 i systemets levetid.
3. Arkivdeler som historisk base fra systemet før forrige system, som var papirarkiv og historiske baser i forrige system

Hva kan, skal eller skal ikke arkivskaper og depot gjøre av endringer og feilrettinger i avsluttede og bevarte systemer?
Generelt og og i tilfellene over?

Papirarkiv
- Punkt 3 over har papirarkiv som juridiske dokumenter
- En vanlig praksis er å flytte dokumenter som er i feil mappe til sin korrekte mappe, og legge kopi av dem i den som var feil, med henvisninger begge mapper på hva som er oppdaget og gjort?
- Hva kan arkivskaper gjøre i sitt aktive system, der denne arkivdelen er en avsluttet og historisk base?
- Kan der legges til metadata, f. eks. henvisninger som kobler f. eks. feil sak/jp/dok ev. mappe for personalarkiv med rettelsene?
- Depot kan ikke gjøre noen endringer etter at uttrekk er tatt og bevart i depot, men rettelser og korrigeringer kan meldes inn fra arkivskaper til depot og bevares som tillegg til opprinnelig pakke?

Fullelektronisk arkiv
- Punkt 1. og 2. over har fullelektroniske dokumenter
- Aktive arkivdeler kan endres i metadata og saker/journalposter kan gjenåpnes og elementer flyttes til korrekt plassering
- Det anbefales god bruk av merknader ved behov for å dokumentere den feilaktive saksbehandling/midlertidig feil arkivering, hvis det er nødvendig for forståelse av kontekst i ettertid? Hvis ikke kan elementer flyttes?
- Avsluttede arkivdel som allerede er tatt uttrekk av og bevart i depot, må man være forsiktig med å gjøre endringer i, slik at det som finnes for historisk oppslag og gjenbruk av arkivskaper ikke er annen informasjon enn det som er bevart i depot?

Hvordan kan slike endringer og rettelser forvaltes på en god måte både for Arkivskaper og for Depot?
Uten å bryte nødvendige og gode arkivfaglige prinsipper i arkivdanning og bevaring?

Besvart: Hvor sikker er BitLocker kryptering i Windows 10 og Windows 11?

Tue, 07 Mar 2023 11:40:35 +0000

Ved bruk på Windowsmaskiner er BitLocker en relativt sikker løsning. Den har sett flere oppdateringer gjennom årene. Nåværende løsning har proprietære deler som kun kan gjennomgås av utvalgte partnere etter signert NDA. Bitlocker følger Kerchhoffs prinsipp, selv etter mye press fra blant annet Storbritannia og FBI i USA.

Bitlocker bruker AES128 eller AES256 med mulighet for TPM 1.2. Det er mulig å lese noen bitlocker-krypterte medier med f.eks Linux, men det er ikke en garanti for at det funker i alle situasjoner.
AES er, ved bruk av gode passord, urimelig vanskelig å bryte og for mellomlagringsformål er det en løsning som er godkjent av f.eks NIST (USAs svar på NSM). Den er i senere tid også blitt FIPS-godkjent med XTS.

Besvart: Er filer produksjonsformatene fra MS Office 365 også Godkjent arkivformat?

Fri, 17 Feb 2023 12:23:10 +0000

Om vi i fremtiden ønsker å håndtere et økende antall filformater er det sikkert greit. Men for min egen del så ser jeg bare fordeler ved å forholde oss til færrest mulig formater og bare velge nye formater om det gir mening for å skape helhetlig informasjon.

I min verden er ikke noen office-formater gyldige arkivformater. Jeg synes alle dokumenter skal lagres i klartekst som f.eks. tex, sty eller cls filer, men jeg har innsett at dette er en ønsketenkning.

Besvart: Hvordan detektere at binære BLOB data er lagret i tekstfelt CLOB?

Fri, 17 Feb 2023 09:54:47 +0000

Som hovedregel, mener jeg at databasedesignere bør unngå å lagre binære data i tekstfelt som CLOB, ettersom dette kan føre til problemer som beskrevet i spørsmålet. Når binære data lagres i et tekstfelt, kan det føre til at dataene blir korrupt på grunn av filtre eller koding som ikke støtter binær data.
For å finne ut om binære data er lagret i CLOB-felter, kan man utføre en analyse av databasen. Dette kan gjøres ved å inspisere tabellene og felttypene som brukes til å lagre dataene. For eksempel kan man bruke SQL-spørringer for å finne alle tabellene som inneholder CLOB-felt og deretter inspisere dataene i disse feltene for ugyldige bytes.

Her er eksempelkode for MSSQL:
Disclaimer: Jeg har ikke en klient tilgjengelig og jeg er super-rusten på dette, så jeg kan ikke verifisere at koden er helt korrekt. Om noen med databasekunnskaper kan korrigere meg, så hadde det vært veldig fint.

SELECT TABLE_NAME, COLUMN_NAME, DATA_TYPE
FROM INFORMATION_SCHEMA.COLUMNS
WHERE DATA_TYPE = 'text' OR DATA_TYPE = 'ntext'

Dette skal returnere en liste over tabellnavn, kolonnenavn og datatyper for alle tabeller som inneholder CLOB-felt. Du kan deretter inspisere dataene i disse feltene for ugyldige bytes ved hjelp av en annen spørring, for eksempel:

SELECT *
FROM [table_name]
WHERE PATINDEX('%[' + CHAR(0) + '-' + CHAR(31) + CHAR(127) + ']%', [column_name]) > 0

Denne spørringen vil returnere alle rader i tabellen [table_name] der kolonnen [column_name] inneholder ugyldige bytes. CHAR(0) til CHAR(31) og CHAR(127) representerer ASCII-tegn som ikke kan vises i vanlig tekst og som derfor kan indikere tilstedeværelse av ugyldige bytes.

Vi har i våre rutiner inkludert en instruks som sier at Uttrekksansvarlig hos Leverandør skal hente ut binære data fra databasene og erstatte disse med filreferanser til en mappe på utsiden. Både for å sikre mot problemene du nevner, men også for å gjøre database-filene (siard eller dmp f.eks.) lettere å jobbe med i depot.

Besvart: Kvalitet på deponeringspakke

Thu, 16 Feb 2023 17:11:07 +0000

Det jeg kan si er at deponering av data er en kompleks oppgave som krever grundig planlegging og gjennomføring. Det er flere faktorer som må tas i betraktning for å sikre kompletthet, pålitelighet, integritet og autentisitet på datafangst fra originale databaser og helhetlige systemer generelt. For å sikre kompletthet og pålitelighet, kan det være lurt å lage interne rutiner som beskriver hvordan man skal utføre tester og kvalitetskontroller på dataene. Dette kan inkludere sjekker for dataintegritet, pålitelighet av metadata, sammenheng mellom forskjellige datakilder, konsistens i dataene og kontrollere andre relevante faktorer som overhold av konkrete instrukser for leverandørene og arkiveiere. Det kan også gjelde kontroll av fremsatte krav til innhold, som dere sammen med deres eiere forfatter.

Hos Arkiv Øst snakker vi om en forsendelse som et komplett set med data, som samlet sett utgjør en deponering og dermed også arkivmateriale (med tilhørende metadata og dokumentasjon) fra en unik herkomst. En forsendelse kan inneholde mange deponeringspakker (eller komponenter) som vi deretter kontrollerer og bruker for å produsere en helhetlig arkivpakke for deponering i vårt depot. Slike forsendelser kan komme i perioder, og det kan også tilføres nye informasjonspakker til en AIP på et senere tidspunkt. Slike supplement kan være f.eks. instruksjoner for formidling, stilsett eller maler som ikke kom med i hovedforsendelsen. Det kan også være nye perioder fra originalsystemet.

Vi fremsetter krav til alle ledd av produksjonslinjen og har laget tilhørende instrukser, skjemabeskrivelser og en veileder som skal bistå alle involverte aktører med sine fastsatte arbeidsoppgaver. Dette strekker seg fra planlegging av datafangst, til tilgjengeligjøring i innsynsløsninger. Vi har blitt nevnt som særdeles strenge hva angår prosessene våre, men det har gitt utrolige resultater så langt.

Vi har også instrukser som sier at en arkiveier bør opprette prosjektgrupper for hver datafangst som skal gjøres. Slik sikrer vi at mest mulig informasjon og dokumentasjon blir innhentet om et gitt system før det fanges.

Her er noen komponenter i fagsystemer dere som arkivdepot kan vurdere instrukser for, eventuelt fremsette krav om, for å garantere for et bestemt nivå av kvalitet:
Listen er ikke komplett og dere må selv lage kriterier som passer til deres organisasjon. Dette avhenger av arkiveierne dere jobber med.

Database
Datafangstens hovedgrunnlag. Oftest trukket ut av en databaseteknologi med verktøy som Full Convert (Spectral Core) eller DBPTK.
Filtyper: .siard, .sqlite, .sql .db, .xml
Påkrevd: JA
Oppføring*: NEW

Dokumenter
Arkivformater skal foreligge i egen mappe (digital files, documents, dokumenter) sammen med database eller i egen deponeringspakke. Det skal kun ligge referanser til dokumentene i grunnlagsdatabasen. Produksjonsformater skal alltid ligge i separat deponeringspakke.
Filtyper: Se §5.17 for aksepterte formater. Det er ingen spesielle krav til produksjons-formater.
Påkrevd: JA
Oppføring: SUPPLEMENT

Dokumentasjon
Dokumentasjon av datarelasjoner, system i bruk og originalsystemets funksjoner og bruksområder. Det skal samtidig foreligge beskrivelser som indikerer forskjell på systemtabeller og brukergenerert innhold i grunnlagsdatabasen.
Filtyper: PDF, CSV og XML.
Påkrevd: NEI*
Oppføring*: SUPPLEMENT

Logger
Logger fra produksjonsmiljø som vedrører innholdet (oppføring, oppdatering, endring og sletting). Det kreves her at disse loggene er riktig referert i grunnlagsdatabasen.
Dette krever ofte gjennomgang av teknisk ansvarlig.
Filtyper: .siard, .sqlite, .sql .db, .xml eller .csv
Påkrevd: NEI*
Oppføring*: SUPPLEMENT

Beskrivelser
Ofte dokumentasjon som beskriver hvilke tabeller som er benyttet for dette formålet. Har det vært tilgangsstyring i et system skal det medfølge konkret informasjon som gjør det mulig å avgrense innholdet.
Filtyper: PDF, CSV og XML.
Påkrevd: NEI*
Oppføring*: SUPPLEMENT

Malsett
Om originalsystemet kunne produsere utskrivbare dokumenter, skal malene som er benyttet for slike utskrifter legges ved. Det kan være maler for f.eks. karakterutskrifter, utgående brev eller vedtak.
Filtyper: f.eks. .dotx, .potx, .tex, .cls, .sty (Makrodokumenter er ikke tillatt)
Påkrevd*: NEI*
Oppføring*: SUPPLEMENT

** Man bør ikke garantere for kvalitet eller fremtidig muligheter for innsyn og oppslag om denne informasjonen ikke foreligger.

For å måle kvaliteten på deponeringspakkene i en forsendelse, må man bruke ulike metoder, for eksempel sjekklister dere selv lager basert på egne behov, eller retningslinjer fra standarder som OAIS.

Vi deponerer ikke til KDRS, så der kan jeg ikke uttale meg. Vi har egne rutiner med bruk av tape-bibliotek og andre sikkerhetshensyn jeg ikke ønsker å snakke om i offentligheten.

Håper dette kan bidra noe.

Besvart: Konvertering av *.pages filer

Thu, 16 Feb 2023 16:24:29 +0000

Du kan bruke subprocess i python på en mac:

import subprocess

# Erstatt banen og filnavnet med din .pages-fil
pages_file = "/path/to/your/file.pages"

# Erstatt banen og filnavnet med ønsket utgangs-PDF-fil
output_file = "/path/to/your/output/file.pdf"

# Bruk automator-verktøyet til å konvertere .pages-filen til PDF
subprocess.run(["automator", "-i", pages_file, "-o", output_file, "/System/Library/Automator/Convert to PDF.action"])

Besvart: Relevant utdanning for IT-arkivarer?

Thu, 16 Feb 2023 16:19:47 +0000

Jeg vil foreslå en 3-årig bachelor i informatikk eller informasjonssystemer og kanskje et årsstudie på Oslo Met med dokumentforvaltning eller arkivfag.

Besvart: Hva finnes av (norske) tjenesteleverandører av backup lagring?

Thu, 16 Feb 2023 16:00:14 +0000

En kandidat kan være Jottacloud i Oslo. De vet jeg leverer det du beskriver. Ellers vet jeg om DataBackup AS også med tilholdssted i Oslo. De leverer tjenester til blant annet Helsenett.

Besvart: Binære filer i databasefelt beregnet på tekst

Tue, 08 Nov 2022 16:47:41 +0000

Ved IKA Rogaland oppdaget vi i forbindelse med en innsynsak at at skriptet som ble laget i Sandnes kommune (se ovenfor) skapte en ny feil i siard-uttrekket. Det opprinnelige skriptet som Sandnes kommune laget førte til at vi fikk ut dokumentene uskadd slik at de lot seg konvertere til arkivformat ved hjel av programmet Documaster Decom og LibreOffice. Det var også kobling mellom metadata og dokument i uttrekket, men pga. følgende setningen

[DokId] [int] IDENTITY(1,1) NOT NULL,

i skriptet ble feil dokument koblet til metadata. Det virket som om dokumentene var tilfeldig koblet til metadata pga. denne feilen i CREATE TABLE kommandoen.

Ved IKA Rogaland gjorde vi en del grundige undersøkelser omkring feilen som det første skriptet skapte, spesielt i samarbeid med IKT-tjenesten og arkivtjenesten i Hå kommune. Vi fant og dokumenterte feilen og hvordan den kunne rettes. Til slutt ble skriptet revidert og ved IKA Rogaland prøvde vi ut hele produksjonslinja på ei back-up file vi fikk fra Hå kommune. Denne back-up fila satt vi opp på en lokal MSSQL server ved IKA Rogaland. Vi kjørte det reviderte skriptet mot denne kopi databasen. Vi laget et nytt siard-uttrekk ved hjelp av SpectralCore fullConvert (SIP). Vi laget ny arkivpakke AIP) i Documaster Decom som inkluderte konvertering av tilhørende dokument til arkivformat. Den endelige siard-fila lastet vi så opp på en MariaDB (MySQL) plattform. Til slutt koblet vi programmet DataBase Preservation Toolkit (DBPTK) opp mot MariaDB versjonen av FlyVo og laget et nytt siard-uttrekk som skal brukes til innsyn i dette elektroniske arkivmaterialet. På denne innsynsløsingen kontrollerte vi så med stikkprøver at riktig dokument var koblet til metadata, og dette stemte. Vi testet ut på 8 klienter og koblingen mellom dokument og metadata knyttet til person stemte.

Det reviderte skriptet er slik:

USE [VFlyktning]
GO

--lager ny tabell

CREATE TABLE [dbo].[rDokument2](
[Dato] [smalldatetime] NULL,
[DokId] [int] NULL,
[DokumentTekstRTF] [varbinary](max) NULL,
[Gruppe] [nvarchar](10) NULL,
[UserId] [nvarchar](100) NULL,
[DokDir] [nvarchar](255) NULL,
[DokNavn] [nvarchar](50) NULL,
[DokPass] [nvarchar](50) NULL,
[DokEkst] [nvarchar](5) NULL,
[DokumentTekst] [ntext] NULL,
[UtsjekketAv] [nvarchar](100) NULL,
[UtsjekketDato] [datetime] NULL
)

--kopierer data fra den gamle

INSERT INTO [dbo].[rDokument2]
([Dato],
[DokId],
[DokumentTekstRTF],
[Gruppe],
[UserId],
[DokDir],
[DokNavn],
[DokPass],
[DokEkst],
[DokumentTekst],
[UtsjekketAv],
[UtsjekketDato])

select

Dato, DokId,

cast(cast(rDokument.DokumentTekstRTF as varchar(max)) as varbinary(max)),

Gruppe, UserId, DokDir, DokNavn, DokPass, DokEkst, DokumentTekst, UtsjekketAv, UtsjekketDato
FROM [VFlyktning].[dbo].[rDokument]

USE [VFlyktning]
GO

-- Finner avhengigheter

SELECT
OBJECT_NAME(f.parent_object_id) TableName,
COL_NAME(fc.parent_object_id,fc.parent_column_id) ColName
FROM
sys.foreign_keys AS f
INNER JOIN
sys.foreign_key_columns AS fc

  ON f.OBJECT_ID = fc.constraint_object_id

INNER JOIN
sys.tables t

  ON t.OBJECT_ID = fc.referenced_object_id

WHERE
OBJECT_NAME (f.referenced_object_id) ='rDokument'

-- Fjerner avhengigheter og dermed relasjoner på original database

ALTER TABLE [dbo].[rBrevJournal]
DROP CONSTRAINT [FK_rBrevJournal_rDokument]
GO

ALTER TABLE [dbo].[rDokument]
DROP CONSTRAINT PK_rDokument

-- Sletter den gamle tabellen

DROP TABLE [dbo].[rDokument]
GO

-- Gir den nye det samme snavn som den gamle

EXEC sp_rename 'rDokument2', 'rDokument';

Besvart: Hvilke muligheter har man får å eksportere fra .pst filer?

Fri, 21 Oct 2022 10:48:54 +0000

Til info: Vestfoldarkivet valgte å kjøpe oss ut av utfordringen med Total Outlook Converter Pro, som også Arbark bruker.

Vedlegg lagres som i egen katalog for hver epost, og siden disse kan inneholde virus er det tryggest opsjon, antivirus fanger mange "skumle filer" .
Har også frakoblet PC i VM'et fra nettverk. VM instans skrotes trolig etter konvertering av vedleggene til PDF er utført, just in case

Rutine for sletting av mottatt data og arbeidskopi

Wed, 19 Oct 2022 12:59:28 +0000

Oppfølgingsspørsmål på forrige "Kvalitet på deponeringspakke".

Vi jobber med mottatt data i en server. Vi har mottatt data, arbeidskopi og endelig AIP på serveren.
Har dere rutiner for sletting av slike data?
Hvilke kriterier har dere i rutine for sletting?

Vi tenker slik at når vi er 100% sikker på "AIP er komplett og har tilstrekkelig kvalitet" sletter vi mottatt data, arbeidskopi og endelig AIP på serveren.
Men hvordan måler vi kompletthet og tilstrekkelig kvalitet, og dermed blir sikker på vi sletter slike ting...

Besvart: Hvordan automatisere SQL-spørringer mot databaser?

Mon, 17 Oct 2022 11:56:35 +0000

DROP procedure CheckN4;

/* Etter oppretting, startes prosedyra: call CheckN4(); */

DELIMITER //

CREATE PROCEDURE CheckN4() 

BEGIN
/* N4.04.01 Antall rader i tabell journpost */
select concat ('N4.04.01 Antall rader i journpost: ', cast( (select count(*) from journpost) as char) );

/* N4.04.02 Antall journalposter per status */
select JP_STATUS_JS, count(*) from journpost group by JP_STATUS_JS order by JP_STATUS_JS;

/* N4.04.03 Antall journalposter per arkivdel */
select SA_ARKDEL_AD, count(*) from journpost join noarksak on JP_SAID=SA_ID group by SA_ARKDEL_AD order by SA_ARKDEL_AD;

/* N4.04.04 Antall journalposter per aar */
select JP_JAAR, count(*) from journpost group by JP_JAAR order by JP_JAAR;
END //

DELIMITER ;

Besvart: veraPDF krasjer og lukker seg - memory problem og løsning?

Thu, 22 Sep 2022 15:16:15 +0000

Utfordringen ved testing av store dokumentsamlinger har vært at VeraPDF ikke genererer rapport dersom den krasjer før siste fil er testet. Vi har omgått dette ved å teste enkeltfiler. Deretter har vi samlet samtlige testrapporter i en XML-database (BaseX) for å hente ut oversikt over hva som feiler og hvilke filer som er godkjent.

Besvart: Hva finnes av Noark 5 anbudsdokumentasjon i form av dokumenter, prosesser og verktøy?

Thu, 01 Sep 2022 15:01:58 +0000

Etter mitt spørsmål har no KDRS åpnet opp igjen følgende tjeneste

Noark 5 kravspec
- https://kravspec.kdrs.no

Denne fungere med nettleser Chrome, men ikke med Firefox.

Opprett ny bruker
Opprette nytt prosjekt
Velg det nye prosjektet
Etter dette skal funksjonalitet være selvforklarende.

Besvart: Hvilke program brukes til å joine/merge LOB'r

Mon, 29 Aug 2022 12:23:13 +0000

ESA og Kontor 2000 har begge en dokumentstruktur der dokumentene, på grunn av datidens teknologi, ble splittet opp i 32 kB biter. Altså inntil 32 kB størrelse på BLOB-element pr. rad lagret i dokument-tabellene.

Viktige momenter mht. ditt spørsmål
- ESA kan ha hvilke som helst filformater lagret i BLOBs, så at et eksempel har Word Perfect-filer er sådan irrelvant for andre instanser av systemet
- En PRONOM filanalyse av de oppsplittede BLOB'ene gir dårlig resultat, du vil da kanskje få treff på de radene med BLOKKNR 1, samt kanskje også den siste med blokknr = n. Alle andre vil vise som binære filer sannsynligivs
- Man må altså sette sammen dokumenter til hele filer for at PRONOM analyse skal gi mening

Vi har laget en C#-kode for å ta utgangspunkt i et SIARD-uttrekk av ESA/Kontor 2000, der vi erstatter radene BLOKKNR 1-n med en rad (altså blokknr 1), der da FILESIZE er hvor stor antalle slicer totalt sett var 1-n satt sammen til en fil. Denne koden er ikke rett fram klar til deling, så vi må finpusse litt på den før vi formelt kan dele i GitHub (men vi kan dele litt mer uformelt om noen vil vite logikken).

Detaljer om fil og rader for tabeller med dokumentfiler
- Hver enkelt rad til en fil har samme FILID i tabellene for dokumenter.
- Så vil delene av filen ha BLOKKNR = 1 til n for n antall slicer av 32 kB der alle unntatt siste = 32 kB i størrelse, og den siste så langt fila rekker til EOF.
- FILESIZE er da altså 32 kB for alle n untatt siste
- FIL er BLOB rådata binært

Dokument-tabeller
- DGDOKLAGER0 .. DGDOKLAGERn
- POSTKASSE

name type typeOriginal nullable
FILID VARCHAR(40) VARCHAR2(40) USANN
BLOKKNR DECIMAL(38) NUMBER(38) SANN
FILSIZE DECIMAL(38) NUMBER(38) SANN
FIL BLOB LONG RAW SANN

Besvart: Anbefalte kurs i datasikkerhet og etisk hacking?

Thu, 18 Aug 2022 23:16:10 +0000

Hei,

Jeg kan varmt anbefale disse kursene fra Nathan House hos Udemy i Irland:

The Complete Cyber Security Course : Hackers Exposed!
The Complete Cyber Security Course : End Point Protection!
The Complete Cyber Security Course : Network Security!
The Complete Nmap Ethical Hacking Course : Network Security

Eventuelt disse:
Website Hacking / Penetration Testing
Network Hacking Continued - Intermediate to Advanced
Prof. K's Ethical Hacking - Capture the Flag Walkthroughs v1, v2 ...

Sikring er enklere når du forstår hvordan ting fungerer: her er noen kule:
Hands-on Network Programming with Python
Reverse Engineering and Malware Analysis Fundamentals
Build Undetectable Malware Using C Language: Ethical Hacking
Learning Salt

De tar deg gjennom haugevis av need-to-knows og er godt strukturert. Om du velger å prøve deg på noen av disse, pass på at du handler dem når Udemy har tilbudsdager, da koster de en brøkdel.

Besvart: Graderte dokumenter i ESA før 2003/04

Mon, 08 Aug 2022 08:54:29 +0000

Det hjelper nok ikke deg i ditt tilfelle siden du ikke har en operativ installasjon, men ESA har verktøy for å kopiere ut (og eventuelt dekryptere) filer fra databasen. Ellers ryktes det at krypteringsmekanismen ikke er spesielt avansert, uten at jeg kjenner de tekniske detaljene.

Besvart: Kan du gjerne nevne andre verktøy i forhold til analyse filformat?

Mon, 27 Jun 2022 13:26:44 +0000

Fagmiljøet vårt bør vedlikeholde en erfaringsbase på filformater og analyserverktøy.

MIME-analyse som er nevnt er utilstrekkelig for arkivdepot sine analyser av filer, siden det kun angis PDF der PRONOM PUID angir detaljert hvilken PDF-variant man har.

The National Archives - The tecnical registry PRONOM
- DROID Signature File V104 (2022-03-10)
- Container signatures (2022-03-11)

Jeg kjenner ikke Siegfried godt nok, men den angir jo også PRONOM PUID, så jeg antar den bruker de samme 2 definisjonsfiler (med ev. oppdateringer fortløpende).

Poenget mitt er at vi må teste ulike filtyper og forekomster av disse med de ulike verktøy, og så kvalitetsikre hvorfor enkelte filer ikke virker med verktøyet. Det kan være spesifikke innholdselementer i fila som er problemet, det kan være at filformatet støttes. Det kan også være feil i definisjonsfilene som gjør at man ikke får treff. Eller det kan være bugs osv.

Derfor bør vi lage oss en oversikt som vi oppdaterer fortløpende etter erfaring i depot. Dette i stedet for at hvert enkelt depot sitter og gjør sine egne erfaringer uten at vi deler.

Infodoc Plenario - bevaringsvurdering av EDI-tabeller

Fri, 17 Jun 2022 11:47:57 +0000

Ved IKA Rogaland begynte vi å arbeide med et innlevert siard-uttrekk fra fagsystemet InfoDoc Plenario fra Tysvær kommune i april 2022. Systemet ble brukt ved et kommunalt legekontor i perioden 2004-2020. Den 14. april startet vi en konverteringsprosess i Documaster Decom og LibreOffice. Denne prosessen var ferdig 4. mai 2022. Konverteringsprosessen gikk altså i flere uker og endte opp med følgende resultat:

IN_PROGRESS: 0
FAILED: 113
SUCCESSFUL: 55558
IDLE: 0
NOT_CONVERTED: 1061790

Ved IKA fant raskt ut at svært mange av filene som ikke ble konvertert var kryptert, komprimertt (zip) eller passordbeskyttet. Vi så derfor raskt behov for å finne ut mer om hva som lå bak disse tallene. Det ble derfor gjort en bevaringsvurdering knyttet til de tabellene som inneholdt BLOB- og CLOB-elementer i dette InfoDoc uttrekket.
(Denne detaljerte bevaringsvurderingen kan du få ved å henvende deg til IKA Rogaland.)

Vi fant ut at svært mange av de BLOB- og CLOB-elementene som Documaster Decom og LibreOffice ikke konverterte var knyttet til såkalt elektronisk datautveksling (EDI) mye basert på bl.a. det som kalles Advanced Message Queuing Protocol (AMQP) som er en åpen standart for meldingsorientert mellomvare. Hele EDI forholdet går på sikring av automatisert kommunikasjon inn og ut av fagsystemet. Denne teknologien har en tendens til å logge svært mye i systemet og bli svært volumiøs, og den har ikke direkte med saksbehandling eller klientbehandling å gjøre. Det er funksjonalitet som transporterer informasjon på en sikker måte inn og ut av systemet og logger dette. I systemdokumentasjonen heter det om EDI funksjonaliteten i systemet: "Program for elektronisk sikker kommunikasjon av pasientdata. Programmet mottar og dekrypterer meldinger og krypterer og sender meldinger". Ved IKA vurderer vi dette som dokumentasjon som kan arkivbegrenses i forbindelse med overføring til arkivdepot iht. §14 i arkivforskrifta.

På grunnlag av denne bevaringsvurderingen konkluderte vi at i arkivdepotpakken (AIP) trenger ikke EDI elementene å tas med. De blir derimot liggende i arkivpakken IKA mottok fra Tysvær kommune (SIP). IKA laget derfor en ny siard-file med SpectralCore FullConvert hvor alle EDI tabellene ble sløyfet. Denne ble så behandlet i Documaster Decom og utgjør AIP.

Behandlingen av den nye siard-fila i Documaster Decom viser at volumet av BLOB- og CLOB-elementer knyttet til EDI funksjonen til systemet er svært volumiøs. Følgende tall illustrerer dette. I det opprinnelige uttrekket som IKA mottok fra Tysvær kommune var det 1117461 BLOB- og CLOB-elementer. Etter å ha fjernet alle EDI-tabellene fra uttrekket og laget ei ny siard-file startet vi en ny konverteringsprosess i Documaster Decom og LibreOffice. Denne viser at antallet BLOB- og CLOB-elementer er redusert til 261001. Dette betyr at i dette konkrete uttrekket er 856460 BLOB- og CLOB-elementer arkivbegrenset med utgangspunkt i den ovenfor nevnt bevaringsvurderingen.

Konsekvensvurdering av resultater fra VeraPDF valideringsprosess

Thu, 21 Apr 2022 12:07:11 +0000

VeraPDF gjennomfører mange tester opp mot PDF/A standardene, men det er ikke alltid like tydelig ut fra testrapporten hva som er konsekvens av de forskjellige feilene. For svært mange dokumenter har det liten betydning om det kommer et fargeavvik når dokumentet skal vises, men det kan være mer dramatisk dersom filen ikke lar seg åpne på grunn av feil komprimering eller at skrifttyper ikke er tilgjengelig. Har noen gjennomført en konsekvensvurdering av de forskjellige feilmeldingene fra testverktøyet?

Jeg er også nysgjerrig på om det er gjort en vurdering av hvilke feil som kan korrigeres i etterkant. Jeg tenker i utgangspunktet at det kan være mulig å legge til manglende skrifttyper, mens det er svært vanskelig/umulig å legge til en korrekt fargeprofil dersom det ikke ble gjort ved innskanning.

Testkriteriene brukt av VeraPDF er dokumentert på https://docs.verapdf.org/validation/

KDRS Innsyn - Piql Insight søk, indeksering og intelligent analyse datakvalitet

Fri, 11 Mar 2022 11:24:34 +0000

Hvordan kan vi bruke KDRS Innsyn - Piql Insight søk for indeksering og intelliget analyse av datakvalitet?

Utgangspunkt er KDRS Innsyn - Piql Insight utviklet av KDRS med støtte fra Arkivverkets utviklingsmidler
- KDRS Innsyn - Piql Insight v1.0.0 mot Noark 5
- Siste versjon Piql Insight v1.1.0 med støtte for flere formater og funksjonalitet
- Siste beta Piql Insight v1.2.0 beta3

Eksempel her tar utgangspunkt i importert Noark 5 v3.1 arkivstruktur.xml

Piql Insight gir opsjon etter import uttrekket eks
- "37703 vedlegg funnet (totalt 12135 MB). Skal de gjøre søkbare?"
- Svarte JA her og får da totalt 37198 .txt filer i en undermappe "\vedlegg"
- De fleste dokumenter ser ut til å ha fin tekst
- En del dokumenter har kryptiske tegn
- En del dokumenter er åpenbart nestet tom for innhold
- En del dokumenter er helt tomme = 0 kB

Spørsmål
1. Hvilke verktøy kan vi bruke i Depot for validering og dokumentasjon av datakvalitet på tekstlig innhold av disse .txt filene? Her er intelligent datanalyse interessant, i stedet for at vi bare må ta stikkprøver å se manuelt et utvalg av indeksfilene!
2. Hvilke kriterier bruker Piql Insight på indeksering fra filer som finnes i uttrekket inn mot indeksering? Tar man kun PDF/A filer, alle PDF filer, andre utvalg av filformater, basert på filendelse eller analyse av filtypen eller tas alle filer som finnes tilgjengelig?

KDRS Innsyn - Piql Insight

Besvart: Hva er sikker nok kryptering av zip og 7zip uttrekk som sendes til depot?

Thu, 03 Mar 2022 10:19:20 +0000

Jeg kan bare svare med egne erfaringer.

Hvor sikker er en slik kryptering?
Bruker du anbefalt algoritme (AES-256), så har du lite å bekymre deg for i dag.
Hvor langt passord og med hvilke krav til tegnfordeling må vi stille til avsender?
Jeg anbefaler 32 tegn bestående av [a-Z+ÆØÅ] [0-9] og ["#¤%&/(!)=?@] for svært sensitive data.
Hva skal til for å knekke krypteringen med programvare og datamaskinkraft?
Det er bare å glemme, innen vi har verktøy til å penetrere AES-256 vil innholdet i våre arkiver være foreldet. NSA bruker AES-256 for høyeste sikkerhetsnivå.
Hvor stor risiko er det at avsender tar med info.xml = .xml i kryptert pakke? Da siden denne kan være fritt tilgjengelig og at det er lettere å knekke et zip/7zip passord hvis man har tilgjengelig en av filene i kryptert pakke?
Jeg ser ikke noe problem med dette, men det kan jo være en ide å sende informasjonsfilen på innsiden av forsendelsen (bak kryptering). Vi har jo Informasjon om deponering som jeg vil anta er nok som pakkevedlegg?
Hvilke andre alternativer har vi til PKZIP og 7zip pakkerformater?
Selv mener jeg at det handler mer om hva som er bredt tilgjengelig hos de som skal pakke og motta filene. men 7z og zip er begge gode formater.

Her er mine anbefalinger:

Bruk AES-256 som valg i 7zip når du komprimerer tar+info og følg rådene fra NSM for passord.
Om du vil sikre mot kompleksitet ved bitråte eller annen korrupsjon bør du velge 7z med "Non-Solid" blokkstørrelse, sånn at alle filer blir lagret separat i filen.
Om du ønsker å komprimere, så har jeg fått gode resultater med følgende innstillinger, på store pakker:
Compression level: Ultra
Compression method: LZMA2
Dictionary Size: 1024MB (Når vi snakker store pakker)
Word Size: 96
Solid Block Size: 1GB (Dette mener jeg kun egner seg til transportfiler)
Så mange tråder du kan gi.

Følger du rådene fra NSM og samtidig bruker AES-256 kan du nok vinne i lotto et par tusen ganger før du klarer å gjette passordet gjennom brute force av algoritmen. Den er trygg nok. ZipCrypto er bredt støttet, men er mye svakere enn hva AES-256 er. Om du bruker sistnevnte, må begge parter ha muligheten til å bruke 7zip. Om du vil grave deg ned i hvorfor ZipCrypto er svakere, kan du lese A Known Plaintext Attack on the PKZip Stream Cipher