Kunnskapsforum - Siste spørsmål og svar i Programvare

Besvart: Uttrekk fra WIS "standalone"

Mon, 02 Mar 2026 13:19:42 +0000

I WIS Skole skal det være en data-mappe under programinstallasjonsfolder. Denne inneholdet ADI, ADT og ADM-filer. Dette er en Sybase Advantage fil-database.

Bruk FullConvert og velg Sybase Advantage. Velg Direct som metode og oppgi mappesti frem til data-folder. Velg character set 1252 for norsk tegnsett.

Kan benyttes for direkte konvertering til SIARD.

veraPDF - hva virker/virker ikke per februar 2026?

Fri, 20 Feb 2026 08:23:48 +0000

Nasjonalarkivet har notert i ny release Arkade 5 v2.12.5 den 13.02.2026 at det er problemer med 3. parts verktøyet veraPDF.

Per februar 2026, hva er det i veraPDF som virker og som ikke virker?
- Ta gjerne med erfaringer fra tidligere versjoner

Lenker

Vurdering av Arkade 5 v2.12.5 release 13.02.2026

Thu, 19 Feb 2026 08:22:11 +0000

Arkade 5 v2.12.5 med release 13.02.2026
- Verktøyet er et av de viktigste for elarkivaren, både i kommunal og statlig sektor
- Samtidig som Arkivskaper og leverandør alltid må bruke Noark 5-testen inkludert

Hva er nytt?
- Retter problemer med automatisk arkivtype deteksjon, uklart om det er type arkiv som Noark 5 eller SIARD som er deteksjonen her eller PRONOM PUID filformatdeteksjon (Siegrfried 3. part) det er snakk om. Uansett så er hovedpoenget notert at det er rettet slik at Arkade ikke stopper/krasjer i noen situasjoner her.
- Midlertidig tatt vekk PDF/A-validering i verktøykassen (pga. veraPDF 3. parts-problemer, uten at problemet er konkretisert)

Arkade 5 ros
- Fortsatt det kvantespranget for prosessen i pakking og innlevering/deponering av uttrekk fra arkivskaper til depot som det ble laget for å være
- Fortsatt et godt Noark 5 testverktøy i valderingsprosessen
- Kan brukes til SIARD-test, med de begrensinger som DBPTK 3. parts verktøy har i sine tester

Arkade 5 ris
- Begrensninger i forhold til å legge til administrative_metadata (derunder repository_operations) og descriptive_metadata i pakkeprosessen
- Noark 5 testrapport er en broket samling av krav testet, opptellinger og annen informasjon, som i sum ikke er egnet for f. eks. arkivleder/arkivskaper å forstå, og elarkivar i depot må også bruke tid og krefter for å gå gjennom og forstå og vurdere for konklusjon informasjonen. Stort forbedringspotensiale i å strukturere testresultatet og gjøre det bedre maskinlesbart egnet for automatisering av valideringsprosessen inklusiv lage rapporter og lagre testene systematisk
- 3 nye GitHub Issues, av ikke-kritiske elementer (workaround mulig)

Fint om vi kan ha en diskusjon i tråden under på erfaringer ved bruken av Arkade 5.

Arkade 5 lenker inklusiv GitHub og noen nye issues

Besvart: Hvilke verktøy kan vi bruke for å validere pdfa i store uttrekk uten krasj midt i testen?

Fri, 08 Mar 2024 14:29:01 +0000

Jeg spurte ChatGPT.

Spørsmål 1:
Hvorfor krasjer veraPDF når vi kjører pdfa validering av mapper som også inneholder zip filer?

Chat GPT 3.5 svar:

veraPDF er primært designet for å validere enkeltstående PDF/A-filer, ikke mapper som inneholder zip-filer eller andre filtyper. Når du prøver å validere en mappe som inneholder zip-filer, kan veraPDF oppleve feil eller uventet atferd fordi den ikke er konstruert for å håndtere slike typer inndata direkte.

Når du gir en mappe som inneholder zip-filer til veraPDF, er det sannsynlig at veraPDF ikke gjenkjenner formatet eller strukturen til inndataene, noe som kan føre til krasj eller feilmeldinger. veraPDF forventer PDF/A-filer som inndata for validering, og den er ikke konstruert for å håndtere nestede zip-filer eller mapper som inneholder zip-filer som standard.

For å løse dette problemet, kan du først trekke ut PDF/A-filene fra zip-arkivene innenfor mappen, og deretter validere dem individuelt ved hjelp av veraPDF. Alternativt, hvis zip-filene inneholder PDF/A-filer, kan du skrive et skript eller bruke et verktøy for å trekke ut PDF/A-filene automatisk og deretter validere dem med veraPDF.

I oppsummering, krasjing av veraPDF når du forsøker å validere mapper som inneholder zip-filer, skyldes sannsynligvis at den ikke er designet for å håndtere slike inndata. For å unngå disse krasjene, må du forebehandle inndataene for å trekke ut PDF/A-filene eller justere arbeidsflyten din for å imøtekomme veraPDFs krav til inndata.

Spørsmål 2:
Har veraPDF minneproblemer i java?

Chat GPT 3.5 svar:

Ja, som med mange Java-applikasjoner, kan veraPDF oppleve minnerelaterte problemer avhengig av størrelsen på PDF-filene den behandler og minneinnstillingene som er konfigurert for Java Virtual Machine (JVM).

Hvis veraPDF brukes til å behandle store PDF-filer eller en stor mengde PDF-filer samtidig, kan det oppstå minnelekkasjer eller uttømming av minne hvis JVM ikke har tilstrekkelig minne tildelt til den. Dette kan føre til ytelsesproblemer eller til og med krasj av applikasjonen.

For å løse eller minimere slike minneproblemer, kan du justere minneinnstillingene til JVM ved å bruke parametere som -Xmx og -Xms for å angi henholdsvis maksimalt og startminne for heapen. For eksempel:

java -Xmx2g -Xms512m -jar verapdf.jar [ytterligere parametere]

Dette vil tildele 2 GB maksimalt minne og 512 MB startminne til JVM. Juster disse verdiene etter behov basert på størrelsen og kompleksiteten til PDF-filene du jobber med og den tilgjengelige systemressursen.

Det er også anbefalt å overvåke minnebruken til JVM under utførelsen av veraPDF ved hjelp av verktøy som VisualVM eller JConsole for å identifisere og håndtere eventuelle minnerelaterte problemer.

Spørsmål 3:
Hva er årsaken til verapdf feilmelding "Invalid CEN header (bad entry name)"?

Chat GPT 3.5 svar:

Feilmeldingen "Invalid CEN header (bad entry name)" i veraPDF indikerer vanligvis et problem med en fil som er inkludert i en ZIP-arkivfil innleiret i PDF-dokumentet. Denne feilen oppstår når navnet på en fil i ZIP-arkivet ikke er gyldig i henhold til ZIP-spesifikasjonen.

Det er flere potensielle årsaker til denne feilen:

Ugyldig filnavn: Navnet på en fil i ZIP-arkivet kan inneholde tegn eller sekvenser som ikke er tillatt ifølge ZIP-spesifikasjonen. Dette kan inkludere spesialtegn, styringskoder eller tegn som er reservert for spesielle formål.
Feilkonvertering: Det kan være problemer med konverteringen av filnavn til riktig tegnsett eller kodestandard. Dette kan føre til at filnavnene blir feilfortolket eller ikke kan gjenkjennes korrekt av veraPDF.
Korrupt ZIP-fil: ZIP-arkivfilen som inneholder den aktuelle filen, kan være korrupt eller skadet. Dette kan føre til ugyldige eller uleselige filnavn, noe som resulterer i feilen.
Feil plassering eller format: Filen som forårsaker feilen, kan være plassert feil i ZIP-arkivet, eller det kan være feil med arkivets struktur eller formatering.

For å løse denne feilen, kan du prøve følgende tiltak:

Sjekk filnavnene og sørg for at de overholder ZIP-spesifikasjonen og ikke inneholder ugyldige tegn eller sekvenser.
Kontroller integriteten til ZIP-arkivet og sørg for at det ikke er korrupt eller skadet.
Forsøk å ekstrahere filen manuelt fra ZIP-arkivet og inspiser filnavnet for eventuelle ugyldige tegn eller problemer.
Verifiser at ZIP-arkivet er riktig plassert og strukturert innenfor PDF-dokumentet.
Hvis feilen vedvarer, kan det være lurt å rapportere problemet til veraPDF-utviklingsteamet, slik at de kan undersøke nærmere og eventuelt utbedre eventuelle feil eller begrensninger i programvaren.

Besvart: Hvor robust er lagring av DIAS tar arkivpakker?

Fri, 08 Mar 2024 12:35:02 +0000

Denne problemstillingen er knyttet til en konkret vurdering i depot:

Problemstilling og valg i depot:
1. Skal vi lagre DIAS .tar SIP i en DIAS.tar AIP, f. eks. i en DIAS AIP arkivpakke i depotforvaltningssystemet?
2. Eller skal vi pakke ut .tar SIP til mapper med filer og så pakke disse igjen i en DIAS AIP arkivpakke i depotforvaltningssystemet?

Eksempel der SIP.tar har et Noark 5-uttrekk
1. [DIAS].tar\content[SIP].tar
2. [DIAS].tar\content[f. eks. Noark 5-uttrekk med arkivstruktur.xml m.m. og \dokumenter undermappe]

Stiller dette som et eget spørsmål lenket til denne tråden...

Hvordan koble seg til Firebird database direkte mot kopi av fil-database .FDB?

Mon, 22 Jan 2024 10:06:21 +0000

Spørsmålet i denne artikkelen er:
- Hvordan koble seg til Firebird database direkte mot kopi av fil-database .FDB?
- Det er behov for å transformere et felt til en god BLOB-type (se forklaring under)

Uttrekk av Firebird kan gjøres med verktøyet Spectral Core Full Convert.
- Target = SIARD for standard uttrekk i vår produksjonslinje
- Target = f. eks. PostgreSQL for test migrering
- Target = f. eks. sqLite for alternativ

Vi har erfart noen problemer med noen systemer som bruker Firebird
- Mulig årsak: Binære verdier er blitt lagret i tekstfelt (BLOB-verdi lagret i CLOB-felt)
- Anne mulig årsak: Full Convert håndterte et BLOB-felt som CLOB (skal teste Target = annen database her)

Full Convert gjør dette rett fram uten problemer og uten å måtte ha Firebird installert lokalt
- C:\Program Files\Spectral Core\Full Convert\fbclient.dll
- Sannsynligvis har de skrevet denne selv eller gjenbrukt den fra annen kilde

Vi har problemer med å koble oss til Firebird .FDB lokalt via de andre verktøy vi har
- dBeaver: unsupported on-disk structure for file C:... \database.FDB; found 11.1, support 13.1
- FlameRobin: Cant find or load FMEMBED.DLL, FBLIENT.DLL or GDS32.DLL
- IBExpert: Client Library is missing or invalid: gds32.dll

Hva må gjøres steg for steg for å koble seg til en lokal .FDB databasefil for å kunne gjennomføre nødvendige transformasjoner før uttrekk?

Besvart: Firebird SIARD-uttrekk med Full Convert BLOBs blir lagret som CLOBs?

Mon, 22 Jan 2024 09:47:18 +0000

Konkret for verktøyet Spectral Core Full Convert
- Vil teste Database migrering fra Firebird til PostgreSQL
- Slik at vi får verifisert om problemet over kun er når Target = SIRAD eller om det også er ved Target = andre databaser

Besvart: Hvilke programvarer har vi, og hva brukes de til?

Thu, 11 Jan 2024 16:13:01 +0000

Visual Studio Code

Siste versjon: 1.85.1
Pris: Gratis

Beskrivelse:
Visual Studio Code, også ofte referert til som VS Code, er en kildekode-editor utviklet av Microsoft for Windows, Linux og macOS. Funksjoner inkluderer støtte for feilsøking, syntaksutheving, intelligent kodefullføring, kodebiter, kodeomskrivning, og innebygd Git. Brukere kan endre tema, tastatursnarveier, preferanser, og installere utvidelser som legger til funksjonalitet.

I Stack Overflow sin 2023 Developer Survey, ble Visual Studio Code rangert som det mest populære utviklermiljøverktøyet blant 86 544 respondenter, med 73,71% som rapporterte at de bruker det. Undersøkelsen fant også at Visual Studio Code ble brukt mer av de som lærer å kode enn av profesjonelle utviklere (78% vs. 74%).

Erfaring:
Kan ikke leve uten dette programmet

Besvart: Får ikke åpnet siard av IST i Keep/DBPTK

Thu, 11 Jan 2024 14:25:46 +0000

Feilmeldingen indikerer at det er en uoverensstemmelse mellom forventet og faktisk element i metadata.xml-filen. Det ser ut som om filen din er en SIARD 2.0-fil (som indikert av uri:"http://www.bar.admin.ch/xmlns/siard/2/metadata.xsd"), men systemet ditt forventer en SIARD 1.0-fil (som indikert av <{http://www.bar.admin.ch/xmlns/siard/1.0/metadata.xsd}siardArchive). Sørg for at versjonen av Keep/DBPTK du bruker støtter SIARD 2.0.

Hvordan feilsøke DBPT Desktop feil i innlasting viewer?

Tue, 17 Oct 2023 11:35:42 +0000

Hvordan feilsøker vi DBPT Desktop når imort til viewer feiler?

Utgangspunkt
- DBPT Desktop v2.7.1 som siste versjon pr. 17.10.2023
- SIARD uttrekk er tatt med DBPTK Desktop v2.7.1 med Internal LOBs

Prøvde et par uttrekk, andre gangen uttrekk uten BLOBs-kolonnen med med de 235 000 binære filer i den tabellen.

DBPTK Desktop v2.7.1 => SIARD Validation av eget uttrekk ga 1 feil
- T_6.0-2: [OK]
- T_6.0 - Requirements for table data
- T_6.0-1: [ERROR] - Failed to validate due to an exception on Requirements for table data - Please check the log file for more information
- Requirements for table data [FAILED]

=> Det er en stor mangel i valideringsrapport at det ikke angis hvilket skjema, tabell og rad/felt som feilsituasjonen oppstår på. Da blir det umulig å finne ut av det. Check log feil... hvilken logg og de loggfilene er meget store, er som å leite etter nåla i høystakken.

Bilde 1)
- IllegalArgumentException: empty argument

Bilde 2 og 3)
- JavaScript Exception (typeError): Cannot read properties of null (reading 'tf')

Hvilke verktøy kan validere en pakket fil (tar, zip, rar osv.) mot utpakket innhold?

Wed, 27 Sep 2023 06:53:44 +0000

Depot har mange arbeidsoperasjoner i produksjonslinjene som involverer å pakke inn og pakke ut filer og mappestrukturer i en pakket fil. Filformater til pakkede filer er f. eks.:
- tar
- zip
- 7zip
- rar
- osv...

I depot kan det ofte være riktig/nødvendig å validere en utpakket filstruktur mot den pakkede filen av innholdet.

Spørsmål
1. Hvilke verktøy finnes med mulighet for å validere en pakket fil mot utpakkede filer og mappestrukturer? (seinere i linjen)
2. Hvilke verktøy validerer automatisk at utpakket/pakket innhold er identisk med sin opprinnelige form før jobben startet? (idet pakking/utpakking utføres)

Arkade 5?
- Kan validere en DIAS IP (i verktøykassen), men kan den validere generelt pakket fil mot utpakket?

TeraCopy?
7zip?
PkZip?
Andre?

Siste steg i ETA er Transfer IP - bomber ut med for lite diskplass

Sat, 29 Jul 2023 19:32:32 +0000

Pakke jeg jobber med er på 370GB.

Jeg har økt VDI disken fra 400GB til 1000GB uten at det hjalp. Diskområde hvor (Prepare)/Shared/Transfer ligger har 889GB ledig.
Lenge siden jeg har rotet med linux. Trenger litt hjelp

Når ETA sin Transfer IP krasjer kan det ligge igjen noe som jeg må manuelt slette med SHH inn i ETA?
(Har satt opp portforwarding og testet at jeg kommer inn i linux-boksen. Logger jeg inn på bosken med bruker navn og passord får jeg ikke opp i GUI som gjør at jeg kan bruke GUI'et til Centos

IOError at /transfer/transferiplist/
[Errno 28] No space left on device
Request Method:	POST
Request URL:	https://localhost:12443/transfer/transferiplist/
Django Version:	1.8.4
Exception Type:	IOError
Exception Value:	
[Errno 28] No space left on device
Exception Location:	/ESSArch/pd/python/lib/python2.7/shutil.py in copyfileobj, line 52
Python Executable:	/usr/bin/python
Python Version:	2.7.10
Python Path:	
['/ESSArch/pd/python/lib/python2.7/site-packages/ESSArch_TA',
 '/ESSArch/pd/python/lib/python2.7/site-packages/ESSArch_EPP',
 '/ESSArch/pd/python/lib/python2.7/site-packages/ESSArch_EPP/workers',
 '/ESSArch/config',
 '/ESSArch/pd/python/lib/python27.zip',
 '/ESSArch/pd/python/lib/python2.7',
 '/ESSArch/pd/python/lib/python2.7/plat-linux2',
 '/ESSArch/pd/python/lib/python2.7/lib-tk',
 '/ESSArch/pd/python/lib/python2.7/lib-old',
 '/ESSArch/pd/python/lib/python2.7/lib-dynload',
 '/ESSArch/pd/python/lib/python2.7/site-packages',
 '/ESSArch/pd/python/lib/python2.7/site-packages/ESSArch_TA',
 '/ESSArch/config']
Server time:	Sat, 29 Jul 2023 18:27:28 +0200

Er VDI disken vi legger til egentlig tom slik at om jeg oppretter en ny starter jeg med en ren "hardisk"?

Er transfer IP egentlig nødvendig?
Jeg har brukt Arkade 5, og lagd en pakke, Bruker så ETA, logger noe, og går videre.
Alt den gjør slik jeg ser deet er å opprette en ny UUID katalog for AIC'en, kopier UUID katalog fra pakke og dumper tar fra arkade inn i content, og plasserer info.xml på samme nivå (øverst) med UUID katalogen til arkade (ertt under UUID - AIC).

Når jeg kjører transfer IP på ETA pånytt må jeg slette eller endre navn på UUID AIC'en fordi om den finnes krasjer det også med feilmelding at fil finnes. Det er samme UUID på AIC hver gang. Min tanke er at jeg bare kopierer/flytter innholdet på egenhånd via filsystemet enn at essarch skal bruke timer/dager til å kopiere via essarch.

Tenker jeg feil, vil jeg mangle noe om jeg overstyrer. EPP så ikke noe feil i mottak, ikke ennå ihvertfall?
Har egentlig 2 pakker 370+120, startet med å trikse til transfer IP, og testet EPP før hele maskin fikk en omstart og ble trolig ikke helt ferdig med mottaket.

Må jeg trolig rydde opp i EPP og fjerne det som er startet i mottak?
Noen måte å se om den ble ferdig i løpet av kvelden før hele DepotPC tok omstart?

[root@essarch-ta ~]# ***lsblk***
NAME                               MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0                                 11:0    1 1024M  0 rom
sda                                  8:0    0   60G  0 disk
├─sda1                               8:1    0  500M  0 part /boot
└─sda2                               8:2    0 59,5G  0 part
  ├─vg_essarchtools-lv_root (dm-0) 253:0    0  450G  0 lvm  /
  ├─vg_essarchtools-lv_swap (dm-1) 253:1    0    2G  0 lvm  [SWAP]
  └─vg_essarchtools-lv_home (dm-2) 253:2    0  7,6G  0 lvm  /home
sdb                                  8:16   0 1000G  0 disk
└─vg_essarchtools-lv_root (dm-0)   253:0    0  450G  0 lvm  /


[root@essarch-ta ~]# ***df -h***
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/vg_essarchtools-lv_root
                      443G  421G   17M 100% /
tmpfs                 2,0G     0  2,0G   0% /dev/shm
/dev/sda1             477M   97M  355M  22% /boot
/dev/mapper/vg_essarchtools-lv_home
                      7,3G   44M  6,9G   1% /home
Shared                7,0T  6,1T  889G  88% /media/sf_Shared
Transfer              7,0T  6,1T  889G  88% /media/sf_Transfer
Shared                7,0T  6,1T  889G  88% /ESSArch/data/eta/reception/shared
Transfer              7,0T  6,1T  889G  88% /ESSArch/data/gate/reception

[root@essarch-ta ~]# sudo fdisk -l

Disk /dev/sda: 64.4 GB, 64424509440 bytes
255 heads, 63 sectors/track, 7832 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0004a1d3

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          64      512000   83  Linux
Partition 1 does not end on cylinder boundary.
/dev/sda2              64        7833    62401536   8e  Linux LVM

Disk /dev/sdb: 1073.7 GB, 1073741824000 bytes
255 heads, 63 sectors/track, 130541 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000


Disk /dev/mapper/vg_essarchtools-lv_root: 483.2 GB, 483179626496 bytes
255 heads, 63 sectors/track, 58743 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000


Disk /dev/mapper/vg_essarchtools-lv_swap: 2113 MB, 2113929216 bytes
255 heads, 63 sectors/track, 257 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000


Disk /dev/mapper/vg_essarchtools-lv_home: 8095 MB, 8095006720 bytes
255 heads, 63 sectors/track, 984 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Besvart: Nye felter i Arkade5 v 2.10

Fri, 19 May 2023 15:14:54 +0000

Bra innspill, utdyper/komplementerer fra egne tester og analyser av Arkade 5 v2.10.0 (og tidligere versjoner), samt DIAS SIP og AIP generelt:
- Arkade 5 brukes til pakking av systemer for bevaring og metadata er "pakkseddelen" og må derfor pertentlig korrekte
- Dokumentasjonen av hvilke metadata Arkade 5 har og hvor disse lagres i info.xml og DIAS pakke METS-elementer må være entydig
- Alle programmerte betingelser som Arkade 5 benytter må dokumenteres og ikke være gjenstand for gjettelek (behov for reverse engineering)

Nevnte felt "Arkivsystemtype" er som foreslått best løst ved at KAI-miljøet går sammen og bruker samme verdier

KDRS Produksjonslinje benytter f. eks. tidligere kartlegginger som KAI-miljøet har gjennomført sammen med Arkivverket
- KAISA, Kommunalarkivinstitusjonenes standardisering av arkivbeskrivelse
- Kartlegging Digitalt skapt materiale i kommunal sektor 1985 til 2010
- De 2 nevnte lenkene er vist i praktiske eksempler i lenken til Innlegg om "Kategorisering av systemer" under
- KDRS Produksjonslinje vedlikeholder og deler også en liste over alle kjente systemer, med utgangspunkt i kartleggingen av systemer som Arkivverket gjorde mot kommunal sektor for noen år siden
- Alle systemer har der en Unik ID, et Unikt navn og en Kategori som nevnt henvist til basert på Kaisa og Kommunal systemkategori prosjektet

Lenker til en artikkel om Arkade 5 v2.10.0 metadata, Arkade 5 GitHub Issue mangel dokumentasjon og Innlegg om kategorisering systemer
- Arkade 5 v2.10.0 oversikt alle metadata input og posisjon i METS
- Arkade 5 v2.10.0 mangler i dokumentasjon #167
- Hvordan kategoriseres elektroniske systemer for bevaring i depot og formidling av kataloginformasjon på Arkivportalen?

KAISA 9 hovedkategorier (Asta og Arkivportalen)

Elarkiv 20 system-kategorier

Besvart: Arkivering /innhøsting fra e-post konto

Wed, 03 May 2023 11:19:50 +0000

Vi kjøpte samme verktøyet som Abark bruker for Exchange (pst filer - Total Outlook Converter Pro) som er besvart i annen tråd https://lok.as/245/hvilke-muligheter-har-man-far-a-eksportere-fra-pst-filer?show=259#a259

Besvart: Hvor sikker er BitLocker kryptering i Windows 10 og Windows 11?

Tue, 07 Mar 2023 11:40:35 +0000

Ved bruk på Windowsmaskiner er BitLocker en relativt sikker løsning. Den har sett flere oppdateringer gjennom årene. Nåværende løsning har proprietære deler som kun kan gjennomgås av utvalgte partnere etter signert NDA. Bitlocker følger Kerchhoffs prinsipp, selv etter mye press fra blant annet Storbritannia og FBI i USA.

Bitlocker bruker AES128 eller AES256 med mulighet for TPM 1.2. Det er mulig å lese noen bitlocker-krypterte medier med f.eks Linux, men det er ikke en garanti for at det funker i alle situasjoner.
AES er, ved bruk av gode passord, urimelig vanskelig å bryte og for mellomlagringsformål er det en løsning som er godkjent av f.eks NIST (USAs svar på NSM). Den er i senere tid også blitt FIPS-godkjent med XTS.

Besvart: Hvordan detektere at binære BLOB data er lagret i tekstfelt CLOB?

Fri, 17 Feb 2023 09:54:47 +0000

Som hovedregel, mener jeg at databasedesignere bør unngå å lagre binære data i tekstfelt som CLOB, ettersom dette kan føre til problemer som beskrevet i spørsmålet. Når binære data lagres i et tekstfelt, kan det føre til at dataene blir korrupt på grunn av filtre eller koding som ikke støtter binær data.
For å finne ut om binære data er lagret i CLOB-felter, kan man utføre en analyse av databasen. Dette kan gjøres ved å inspisere tabellene og felttypene som brukes til å lagre dataene. For eksempel kan man bruke SQL-spørringer for å finne alle tabellene som inneholder CLOB-felt og deretter inspisere dataene i disse feltene for ugyldige bytes.

Her er eksempelkode for MSSQL:
Disclaimer: Jeg har ikke en klient tilgjengelig og jeg er super-rusten på dette, så jeg kan ikke verifisere at koden er helt korrekt. Om noen med databasekunnskaper kan korrigere meg, så hadde det vært veldig fint.

SELECT TABLE_NAME, COLUMN_NAME, DATA_TYPE
FROM INFORMATION_SCHEMA.COLUMNS
WHERE DATA_TYPE = 'text' OR DATA_TYPE = 'ntext'

Dette skal returnere en liste over tabellnavn, kolonnenavn og datatyper for alle tabeller som inneholder CLOB-felt. Du kan deretter inspisere dataene i disse feltene for ugyldige bytes ved hjelp av en annen spørring, for eksempel:

SELECT *
FROM [table_name]
WHERE PATINDEX('%[' + CHAR(0) + '-' + CHAR(31) + CHAR(127) + ']%', [column_name]) > 0

Denne spørringen vil returnere alle rader i tabellen [table_name] der kolonnen [column_name] inneholder ugyldige bytes. CHAR(0) til CHAR(31) og CHAR(127) representerer ASCII-tegn som ikke kan vises i vanlig tekst og som derfor kan indikere tilstedeværelse av ugyldige bytes.

Vi har i våre rutiner inkludert en instruks som sier at Uttrekksansvarlig hos Leverandør skal hente ut binære data fra databasene og erstatte disse med filreferanser til en mappe på utsiden. Både for å sikre mot problemene du nevner, men også for å gjøre database-filene (siard eller dmp f.eks.) lettere å jobbe med i depot.

Besvart: Konvertering av *.pages filer

Thu, 16 Feb 2023 16:24:29 +0000

Du kan bruke subprocess i python på en mac:

import subprocess

# Erstatt banen og filnavnet med din .pages-fil
pages_file = "/path/to/your/file.pages"

# Erstatt banen og filnavnet med ønsket utgangs-PDF-fil
output_file = "/path/to/your/output/file.pdf"

# Bruk automator-verktøyet til å konvertere .pages-filen til PDF
subprocess.run(["automator", "-i", pages_file, "-o", output_file, "/System/Library/Automator/Convert to PDF.action"])

Besvart: Hva finnes av (norske) tjenesteleverandører av backup lagring?

Thu, 16 Feb 2023 16:00:14 +0000

En kandidat kan være Jottacloud i Oslo. De vet jeg leverer det du beskriver. Ellers vet jeg om DataBackup AS også med tilholdssted i Oslo. De leverer tjenester til blant annet Helsenett.

Besvart: Binære filer i databasefelt beregnet på tekst

Tue, 08 Nov 2022 16:47:41 +0000

Ved IKA Rogaland oppdaget vi i forbindelse med en innsynsak at at skriptet som ble laget i Sandnes kommune (se ovenfor) skapte en ny feil i siard-uttrekket. Det opprinnelige skriptet som Sandnes kommune laget førte til at vi fikk ut dokumentene uskadd slik at de lot seg konvertere til arkivformat ved hjel av programmet Documaster Decom og LibreOffice. Det var også kobling mellom metadata og dokument i uttrekket, men pga. følgende setningen

[DokId] [int] IDENTITY(1,1) NOT NULL,

i skriptet ble feil dokument koblet til metadata. Det virket som om dokumentene var tilfeldig koblet til metadata pga. denne feilen i CREATE TABLE kommandoen.

Ved IKA Rogaland gjorde vi en del grundige undersøkelser omkring feilen som det første skriptet skapte, spesielt i samarbeid med IKT-tjenesten og arkivtjenesten i Hå kommune. Vi fant og dokumenterte feilen og hvordan den kunne rettes. Til slutt ble skriptet revidert og ved IKA Rogaland prøvde vi ut hele produksjonslinja på ei back-up file vi fikk fra Hå kommune. Denne back-up fila satt vi opp på en lokal MSSQL server ved IKA Rogaland. Vi kjørte det reviderte skriptet mot denne kopi databasen. Vi laget et nytt siard-uttrekk ved hjelp av SpectralCore fullConvert (SIP). Vi laget ny arkivpakke AIP) i Documaster Decom som inkluderte konvertering av tilhørende dokument til arkivformat. Den endelige siard-fila lastet vi så opp på en MariaDB (MySQL) plattform. Til slutt koblet vi programmet DataBase Preservation Toolkit (DBPTK) opp mot MariaDB versjonen av FlyVo og laget et nytt siard-uttrekk som skal brukes til innsyn i dette elektroniske arkivmaterialet. På denne innsynsløsingen kontrollerte vi så med stikkprøver at riktig dokument var koblet til metadata, og dette stemte. Vi testet ut på 8 klienter og koblingen mellom dokument og metadata knyttet til person stemte.

Det reviderte skriptet er slik:

USE [VFlyktning]
GO

--lager ny tabell

CREATE TABLE [dbo].[rDokument2](
[Dato] [smalldatetime] NULL,
[DokId] [int] NULL,
[DokumentTekstRTF] [varbinary](max) NULL,
[Gruppe] [nvarchar](10) NULL,
[UserId] [nvarchar](100) NULL,
[DokDir] [nvarchar](255) NULL,
[DokNavn] [nvarchar](50) NULL,
[DokPass] [nvarchar](50) NULL,
[DokEkst] [nvarchar](5) NULL,
[DokumentTekst] [ntext] NULL,
[UtsjekketAv] [nvarchar](100) NULL,
[UtsjekketDato] [datetime] NULL
)

--kopierer data fra den gamle

INSERT INTO [dbo].[rDokument2]
([Dato],
[DokId],
[DokumentTekstRTF],
[Gruppe],
[UserId],
[DokDir],
[DokNavn],
[DokPass],
[DokEkst],
[DokumentTekst],
[UtsjekketAv],
[UtsjekketDato])

select

Dato, DokId,

cast(cast(rDokument.DokumentTekstRTF as varchar(max)) as varbinary(max)),

Gruppe, UserId, DokDir, DokNavn, DokPass, DokEkst, DokumentTekst, UtsjekketAv, UtsjekketDato
FROM [VFlyktning].[dbo].[rDokument]

USE [VFlyktning]
GO

-- Finner avhengigheter

SELECT
OBJECT_NAME(f.parent_object_id) TableName,
COL_NAME(fc.parent_object_id,fc.parent_column_id) ColName
FROM
sys.foreign_keys AS f
INNER JOIN
sys.foreign_key_columns AS fc

  ON f.OBJECT_ID = fc.constraint_object_id

INNER JOIN
sys.tables t

  ON t.OBJECT_ID = fc.referenced_object_id

WHERE
OBJECT_NAME (f.referenced_object_id) ='rDokument'

-- Fjerner avhengigheter og dermed relasjoner på original database

ALTER TABLE [dbo].[rBrevJournal]
DROP CONSTRAINT [FK_rBrevJournal_rDokument]
GO

ALTER TABLE [dbo].[rDokument]
DROP CONSTRAINT PK_rDokument

-- Sletter den gamle tabellen

DROP TABLE [dbo].[rDokument]
GO

-- Gir den nye det samme snavn som den gamle

EXEC sp_rename 'rDokument2', 'rDokument';

Besvart: Hvordan automatisere SQL-spørringer mot databaser?

Mon, 17 Oct 2022 11:56:35 +0000

DROP procedure CheckN4;

/* Etter oppretting, startes prosedyra: call CheckN4(); */

DELIMITER //

CREATE PROCEDURE CheckN4() 

BEGIN
/* N4.04.01 Antall rader i tabell journpost */
select concat ('N4.04.01 Antall rader i journpost: ', cast( (select count(*) from journpost) as char) );

/* N4.04.02 Antall journalposter per status */
select JP_STATUS_JS, count(*) from journpost group by JP_STATUS_JS order by JP_STATUS_JS;

/* N4.04.03 Antall journalposter per arkivdel */
select SA_ARKDEL_AD, count(*) from journpost join noarksak on JP_SAID=SA_ID group by SA_ARKDEL_AD order by SA_ARKDEL_AD;

/* N4.04.04 Antall journalposter per aar */
select JP_JAAR, count(*) from journpost group by JP_JAAR order by JP_JAAR;
END //

DELIMITER ;

Besvart: veraPDF krasjer og lukker seg - memory problem og løsning?

Thu, 22 Sep 2022 15:16:15 +0000

Utfordringen ved testing av store dokumentsamlinger har vært at VeraPDF ikke genererer rapport dersom den krasjer før siste fil er testet. Vi har omgått dette ved å teste enkeltfiler. Deretter har vi samlet samtlige testrapporter i en XML-database (BaseX) for å hente ut oversikt over hva som feiler og hvilke filer som er godkjent.

Besvart: Hvilke program brukes til å joine/merge LOB'r

Mon, 29 Aug 2022 12:23:13 +0000

ESA og Kontor 2000 har begge en dokumentstruktur der dokumentene, på grunn av datidens teknologi, ble splittet opp i 32 kB biter. Altså inntil 32 kB størrelse på BLOB-element pr. rad lagret i dokument-tabellene.

Viktige momenter mht. ditt spørsmål
- ESA kan ha hvilke som helst filformater lagret i BLOBs, så at et eksempel har Word Perfect-filer er sådan irrelvant for andre instanser av systemet
- En PRONOM filanalyse av de oppsplittede BLOB'ene gir dårlig resultat, du vil da kanskje få treff på de radene med BLOKKNR 1, samt kanskje også den siste med blokknr = n. Alle andre vil vise som binære filer sannsynligivs
- Man må altså sette sammen dokumenter til hele filer for at PRONOM analyse skal gi mening

Vi har laget en C#-kode for å ta utgangspunkt i et SIARD-uttrekk av ESA/Kontor 2000, der vi erstatter radene BLOKKNR 1-n med en rad (altså blokknr 1), der da FILESIZE er hvor stor antalle slicer totalt sett var 1-n satt sammen til en fil. Denne koden er ikke rett fram klar til deling, så vi må finpusse litt på den før vi formelt kan dele i GitHub (men vi kan dele litt mer uformelt om noen vil vite logikken).

Detaljer om fil og rader for tabeller med dokumentfiler
- Hver enkelt rad til en fil har samme FILID i tabellene for dokumenter.
- Så vil delene av filen ha BLOKKNR = 1 til n for n antall slicer av 32 kB der alle unntatt siste = 32 kB i størrelse, og den siste så langt fila rekker til EOF.
- FILESIZE er da altså 32 kB for alle n untatt siste
- FIL er BLOB rådata binært

Dokument-tabeller
- DGDOKLAGER0 .. DGDOKLAGERn
- POSTKASSE

name type typeOriginal nullable
FILID VARCHAR(40) VARCHAR2(40) USANN
BLOKKNR DECIMAL(38) NUMBER(38) SANN
FILSIZE DECIMAL(38) NUMBER(38) SANN
FIL BLOB LONG RAW SANN

Besvart: Kan du gjerne nevne andre verktøy i forhold til analyse filformat?

Mon, 27 Jun 2022 13:26:44 +0000

Fagmiljøet vårt bør vedlikeholde en erfaringsbase på filformater og analyserverktøy.

MIME-analyse som er nevnt er utilstrekkelig for arkivdepot sine analyser av filer, siden det kun angis PDF der PRONOM PUID angir detaljert hvilken PDF-variant man har.

The National Archives - The tecnical registry PRONOM
- DROID Signature File V104 (2022-03-10)
- Container signatures (2022-03-11)

Jeg kjenner ikke Siegfried godt nok, men den angir jo også PRONOM PUID, så jeg antar den bruker de samme 2 definisjonsfiler (med ev. oppdateringer fortløpende).

Poenget mitt er at vi må teste ulike filtyper og forekomster av disse med de ulike verktøy, og så kvalitetsikre hvorfor enkelte filer ikke virker med verktøyet. Det kan være spesifikke innholdselementer i fila som er problemet, det kan være at filformatet støttes. Det kan også være feil i definisjonsfilene som gjør at man ikke får treff. Eller det kan være bugs osv.

Derfor bør vi lage oss en oversikt som vi oppdaterer fortløpende etter erfaring i depot. Dette i stedet for at hvert enkelt depot sitter og gjør sine egne erfaringer uten at vi deler.

KDRS Innsyn - Piql Insight søk, indeksering og intelligent analyse datakvalitet

Fri, 11 Mar 2022 11:24:34 +0000

Hvordan kan vi bruke KDRS Innsyn - Piql Insight søk for indeksering og intelliget analyse av datakvalitet?

Utgangspunkt er KDRS Innsyn - Piql Insight utviklet av KDRS med støtte fra Arkivverkets utviklingsmidler
- KDRS Innsyn - Piql Insight v1.0.0 mot Noark 5
- Siste versjon Piql Insight v1.1.0 med støtte for flere formater og funksjonalitet
- Siste beta Piql Insight v1.2.0 beta3

Eksempel her tar utgangspunkt i importert Noark 5 v3.1 arkivstruktur.xml

Piql Insight gir opsjon etter import uttrekket eks
- "37703 vedlegg funnet (totalt 12135 MB). Skal de gjøre søkbare?"
- Svarte JA her og får da totalt 37198 .txt filer i en undermappe "\vedlegg"
- De fleste dokumenter ser ut til å ha fin tekst
- En del dokumenter har kryptiske tegn
- En del dokumenter er åpenbart nestet tom for innhold
- En del dokumenter er helt tomme = 0 kB

Spørsmål
1. Hvilke verktøy kan vi bruke i Depot for validering og dokumentasjon av datakvalitet på tekstlig innhold av disse .txt filene? Her er intelligent datanalyse interessant, i stedet for at vi bare må ta stikkprøver å se manuelt et utvalg av indeksfilene!
2. Hvilke kriterier bruker Piql Insight på indeksering fra filer som finnes i uttrekket inn mot indeksering? Tar man kun PDF/A filer, alle PDF filer, andre utvalg av filformater, basert på filendelse eller analyse av filtypen eller tas alle filer som finnes tilgjengelig?

KDRS Innsyn - Piql Insight

Besvart: Hva er sikker nok kryptering av zip og 7zip uttrekk som sendes til depot?

Thu, 03 Mar 2022 10:19:20 +0000

Jeg kan bare svare med egne erfaringer.

Hvor sikker er en slik kryptering?
Bruker du anbefalt algoritme (AES-256), så har du lite å bekymre deg for i dag.
Hvor langt passord og med hvilke krav til tegnfordeling må vi stille til avsender?
Jeg anbefaler 32 tegn bestående av [a-Z+ÆØÅ] [0-9] og ["#¤%&/(!)=?@] for svært sensitive data.
Hva skal til for å knekke krypteringen med programvare og datamaskinkraft?
Det er bare å glemme, innen vi har verktøy til å penetrere AES-256 vil innholdet i våre arkiver være foreldet. NSA bruker AES-256 for høyeste sikkerhetsnivå.
Hvor stor risiko er det at avsender tar med info.xml = .xml i kryptert pakke? Da siden denne kan være fritt tilgjengelig og at det er lettere å knekke et zip/7zip passord hvis man har tilgjengelig en av filene i kryptert pakke?
Jeg ser ikke noe problem med dette, men det kan jo være en ide å sende informasjonsfilen på innsiden av forsendelsen (bak kryptering). Vi har jo Informasjon om deponering som jeg vil anta er nok som pakkevedlegg?
Hvilke andre alternativer har vi til PKZIP og 7zip pakkerformater?
Selv mener jeg at det handler mer om hva som er bredt tilgjengelig hos de som skal pakke og motta filene. men 7z og zip er begge gode formater.

Her er mine anbefalinger:

Bruk AES-256 som valg i 7zip når du komprimerer tar+info og følg rådene fra NSM for passord.
Om du vil sikre mot kompleksitet ved bitråte eller annen korrupsjon bør du velge 7z med "Non-Solid" blokkstørrelse, sånn at alle filer blir lagret separat i filen.
Om du ønsker å komprimere, så har jeg fått gode resultater med følgende innstillinger, på store pakker:
Compression level: Ultra
Compression method: LZMA2
Dictionary Size: 1024MB (Når vi snakker store pakker)
Word Size: 96
Solid Block Size: 1GB (Dette mener jeg kun egner seg til transportfiler)
Så mange tråder du kan gi.

Følger du rådene fra NSM og samtidig bruker AES-256 kan du nok vinne i lotto et par tusen ganger før du klarer å gjette passordet gjennom brute force av algoritmen. Den er trygg nok. ZipCrypto er bredt støttet, men er mye svakere enn hva AES-256 er. Om du bruker sistnevnte, må begge parter ha muligheten til å bruke 7zip. Om du vil grave deg ned i hvorfor ZipCrypto er svakere, kan du lese A Known Plaintext Attack on the PKZip Stream Cipher

Besvart: Hva er godkjent arkivformat for DWG tegninger i 2D/3D og hvilke verktøy kan vi bruke?

Thu, 27 Jan 2022 12:23:21 +0000

Hei.

Jeg har vært i diskusjon om det formatet med Statens kartverk tidligere. I følge ham jeg har kontakt med, er det klart beste programmet for den type konvertering, FME Desktop. Det gir full logging av konverteringen, inkl. detaljert informasjon om feil underveis. Det støtter også alle geografiske koordinatsystemer - og mange objektfiler er ofte knyttet til slike.

Men programmet er dyrt, og det kan sikkert være greit å undersøke i egen kommune om det allerede finnes i en avdeling. Evt. kan nærmeste kartverk sikkert være behjelpelig med konvertering.

Det eneste formatet som kan benyttes for objektmodeller i følge forskriften, er jo IFC (ISO 16739), evt. GML for kartdata.

Besvart: Hva betyr sikkerhetshullet Apache Log4j for IT-arkivaren i Depot?

Wed, 15 Dec 2021 15:32:24 +0000

Documaster melder følgende om Documaster Decom:

Decom er ikke påvirket av denne sårbarheten. Log4j er brukt også her,
men i en versjon som ikke er påvirket av denne sårbarheten. Det er med
andre ord ikke noe verken dere eller vi trenger å gjøre med denne
tjenesten. - Christian G. Albertsen

log4j og Droid

Tue, 14 Dec 2021 12:26:51 +0000

Hei,

Til info: Droid er et verktøy som benytter den etter hvert beryktede log4j-komponenten fra Apache. Jeg har laget et issue på Github, og de svarte nesten umiddelbart at ny versjon er på vei.

https://github.com/digital-preservation/droid/issues/668

Besvart: Siard --> MariaDB: Hvordan best løse feil i Spectral Core

Wed, 08 Dec 2021 11:36:33 +0000

Saken er løst :)

Jeg sjekket med supporten til Spectral Core også, og de refererte meg til samme informasjonen som Torbjørn. Etter å ha endret alle forekomster av datatype varchar til text, løsnet det for to av tabellene, og de ble overført.

Den siste, IST.AKTIVITET, feilet fortsatt med samme melding

      Table: IST.AKTIVITET,
          Message: Failed to read the result set.

I tillegg dukket det opp en advarsel som tidligere hadde druknet i alle de andre;

      Table: IST.AKTIVITET, 
      Message: Index - Skipping index PK_U_AKTIVITET on table IST.AKTIVITET, some columns can't be found "SYS_NC00113$, SYS_NC00114$, SYS_NC00115$, SYS_NC00116$, SYS_NC00117$, SYS_NC00118$"

Jeg sjekket igjen med supporten, og de svarte:

"What I believe happened is that the original SIARD file was created
from Oracle (columns named SYS_NC% are typically hidden virtual
columns created to support function based indexes in Oracle databases)
and the app captured even those automatically generated indexes. Now,
when the database is restored on another database type - MariaDB, this
warning shows that those columns are missing."

Status på basen i MariaDB var nå at alle tabellene var etablert, bortsett fra "spøkelseskolonnene" i IST.AKTIVITET. De øvrige kolonnene i den tabellen var på plass, men uten noen rader. Ingen av dataradene, 27K til sammen, kom med over.

Litt mer diskusjon med supporten endte med at jeg skrudde på

"Insert 1 record at a time"

...og dermed kom de på plass.

Det interessante å ta med seg her, er vel at Oracle produserer virtuelle kolonner i tabeller, og disse kan skape problemer senere. Har noen av dere andre vært borti denne problemstillingen, og evt. funnet måter å unngå problemet på?

Tusen takk for hjelpen, Torbjørn og Ole :)

Besvart: Hvilke begrensninger og problemer finnes med et stort antall filer i en filmappe i Windows og i Linux?

Wed, 24 Nov 2021 16:05:31 +0000

Jeg kan bidra med et (om noe forenklet) stykke informasjon.

Dette avgjøres gjerne av hvilke funksjonalitet og design filsystemet har - kombinert med diskens lesehastighet. Hvordan filstiene indekserers og hva som lagres av metadata i indeksen er også en avgjørende faktor på ytelsen. Skriving (som i ditt tilfelle ved utpakking) vil være avhengig av hvordan filsystemet håndterer blokkdelegering av rest-data på en fil. Her brukes gjerne suballocation schemes som f.eks. halepakking (tail-packing). En annen ofte glemt faktor er også om diskene er medlem av en pool og om systemet håndterer deduplisering (NO) eller paritet (EN).

Konfigurasjon av blokker
For å forstå hvordan man bør konfigurere disken(ene) når man formatterer den/de må man først forstå hva blokker på en disk er:
En blokk er et indeksert område lagret i en sektor på en disk. I figuren nedenfor kan du se en sektor representert ved bokstaven C. A utgjør et spor, B en geometrisk sektor og D er en klynge (cluster) med sektorer. Tradisjonelt sett har en sektor vært på 512 bytes, men på nyere harddisker er dette i de fleste tilfeller 4096 bytes, altså 4KiB. Du kan se for deg at en blokk er en pappeske som passer inn i ei hylle (sektor).

Det betyr at en blokk i filsystemet bør være konfigurert i ganger med to: 2, 4, 8, 16, 32 osv. for å utnytte diskens hastighet og kapasitet best mulig. Deretter kommer en analyse av filstørrelser som som vil utgjøre majoriteten. Når du skriver en fil til en disk, så vil filsystemet dele opp filen i tilgjengelige blokker og deretter skrive adressene til disse blokkene i filregisteret. Om konfigurert blokkstørrelse er 4KiB, og filen er 10KiB, så vil filen få 3 adresser og ta opp 3 blokker på disken. Den siste halve blokken (eller fil-halen) vil i mange filsystemer være utilgjengelig for andre filer og på mekaniske disker vil blokkene kanskje ligge i forskjellige sektorer, som gjør at lesehastigheten blir forringet over tid (derfor pleier vi å defragmentere/flytte rundt på disse blokkene).

Tail-packing/merging
Noen filsystemer støtter såkalt halepakking og fungerer ved at disse fil-halene blir pakket/spleiset sammen i haleblokker, og derfor får en suballocation i registeret. Du kan se på det som et mini-register i registeret som lagrer adressen til siste rest av en fil i en liten blokk inni en 4KiB blokk, sammen med rest-data fra andre filer.

Dette gir to fordeler: Vi sparer veldig mye plass på disken, fordi alle halene kun tar sin faktiske størrelse istede for en hel blokk. Og det samler flere haler på samme referansested slik at disken ikke trenger å traversere unødvendig mange sektorer for å lese data. Som en bonus har dette den effekten at også operativsystemet kan mellomlagre (page cache) mindre i RAM for bedre ytelse. Denne metoden er derfor svært interessant for mange små filer, sett i sammenheng med de andre faktorene. Vi oppnår både plassbesparelse og ytelse.

Hvordan ordner vi dette?
Et slik oppsett krever ofte litt kunnskap om maskinvare og filsystemer, men jeg anbefaler f.eks btrfs (NO EN) eller min favoritt ZFS (NO EN). Sistnevnte støtter ikke halepakking, men bruker en litt annen metode. Begge har god støtte for NVME og
For å få best mulig utnyttelse av dette, så bør vi samtidig bruke raske harddisker, slik som NVME SSD disker med høy IOPS og rask lese/skrivehastighet.

Oppsummert

Velg en blokkstørrelse som er best mulig justert etter filstørrelsene du skal lagre (er det flest filer under 4KB, velg 4KB).
Ikke bruk mekaniske disker i RAID (la filsystemet håndtere dette).
Du bør bruke disker av typen NVME SSD (f.eks. 1 eller 2) og gjerne via PCI-e fremfor SATA. Lommeboken avgjør.
Du bør bruke et filsystem som støtter underallokering (suballocation) eller halepakking (tail-packing). f.eks. ZFS, btrfs eller Raiser.
Du bør bruke linux eller *BSD og kanskje helst en form for SAN/NAS med 10Gbit eller mer mellom server og arbeidsstasjon.
Ikke aktiver deduplisering i filsystemet.

Selv med disse anbefalingene vil du uansett oppleve noe treghet når vi beveger oss opp i 500+ GB-klassen på tar-filene. Det er uansett andre ting som er mer bekymringsfullt ved så store filer, blant annet at data-råte har enormt potensiale til å ødelegge hele uttrekk. De bør helst være lagret på tape (LTO) i utpakket form, for å sikre mot slike katastrofer. Men det er en helt annen diskusjon.

Hvordan validere en DIAS tar (både pakket og utpakket variant)?

Wed, 24 Nov 2021 12:43:32 +0000

Et arkivdepot får innlevert for deponering eller avlevering en .tar-fil i DIAS-formatet, som fortrinnsvis er pakket med Arkade 5 fra Arkivverket.
1. Hvordan kan depot validere in mottatt tar-fil mot DIAS-standarden?
2. Hvordan kan depot validere en utpakket tar-fil mot DIAS-standarden
3. Hvordan kan depot validere innholdet av tar-filen (altså mot METS og PREMIS i pakken, både som tar eller utpakket tar)?

Det norske arkivmiljøet for statlig og kommunal sektor bruker DIAS-standarden som pakkeformat for arkivuttrekk som skal innleveres til arkivdepot.
Det ivaretar Riksarkivarens forskrift og arkivlog med pakking av uttrekk i en tar fil (med DIAS-struktur).
info.xml ved siden av har sjekksum til tar-filen, mens alt innhold i tar-filen er identifisert i METS- og PREMIS-innhold i DIAS-pakken.

Andre arkivstandarder (DIAS) - Arkivverket

Forskrift om utfyllende tekniske og arkivfaglige bestemmelser om behandling av offentlige arkiver (riksarkivarens forskrift)
§ 5-2.Definisjoner
§ 5-17.Godkjente filformater for arkivdokumenter ved avlevering eller deponering
§ 5-27.Opplysninger om opprinnelig systems funksjon og brukssammenheng
§ 5-28.Opplysninger om arkivuttrekket
§ 5-31.Organisering av datafiler i avleverings- eller deponeringspakke

Hva er beste konfigurering av PixEdit Converter Server for migrering produksjon til arkivformat i depot?

Thu, 11 Nov 2021 14:39:25 +0000

Vi har installert PixEdit® Converter Server
Versjon 2.7.4, Publisert 22.09.2021

Denne er i bruke i vårt saksarkiv-system, men vi vil no teste ut migrering for KDRS produksjonslinje.

Hvilke erfaringer og kunnskap har dere med PixEdit og de ulike valg og innstillinger her?

Vår installasjon har følgende oppsett pr. dato (kan settes pr. profil man lager):
- Document output format: PDF/A-1b eller -2b, Compact eller ikke, TIFF, JPEG (first page only)?
- JPEG Quality: 65?
- [ ] Add original file extension to the saved output filename

[v]Process documents with OCR? Og Export text file
[ ] Stamp output file?
[ ] Scale down converted documents?
[v] Verify documents according to PDF/A-1b standard
[ ] Verify documents according to PDF/A-2b standard
[v] Verify documents according to PDF/A-3b standard
[v] ZIP - Throw error when a file format is not supported
(x) Automatic timeout
Program used for htmp conversion: Word? (Excel kan velges også)
Word - Track changes handling: Ignore changes
Word - Markup: Allow markup
Word - [ ] INlink fill-in fields
Word - Resource folder path:
Excel - Page orientation: Landscape
Outlook - [v] Include attachments and combine them to a single document
Outlook - [v] Throw error when a file format is not supported
Outlook - [ ] Remove images with reference to internet

Hvilke forskjeller er det i PRONOM filtype verktøyene DROID og Siegfried?

Mon, 01 Nov 2021 12:02:00 +0000

Vårt fagmiljø for IT-arkivarer bruker i hovedsak 2 verktøy for analyse av filtyper og innhold:
- DROID
- Siegfried

Begge tar utgangspunkt i PRONOM filidentifikator
- PRONOM på Wikipedia
- PRONOM på The National Archives
- PRONOM signature files (archive) der V97 er siste i tilegg til Container signature 01.10.2020

Er det noen som har kvalitetsikret DROID mot Siegfried (som også Arkade 5 bruker) i kvalitet/deteksjon filtyper og innold PRONOM?
DROID vet jeg tar deteksjon av innholdselementer inne i filene også (hva er i zip/tar filer samt også PDF og andre filtyper rike elementer)?

Besvart: Hvordan sette opp MSSQL server for DBPTK til SIARD-uttrekk?

Mon, 13 Sep 2021 12:51:53 +0000

Benytter MSSQL 15 Developer edition i et offline miljø. Har derfor lite fokus på nettverkssikkerhet.

Innstillinger som er gjort i SQL Server:

Aktivert TCP tilkobling i SQL-server
Aktivert SQL Server Autentisering
Det er opprettet en egen bruker med SQL Server pålogging for å gjennomføre uttrekkene.
Maskinen har ikke egne serversertifikater og kjører derfor ikke kryptert kommunikasjon. Alle nettverk er frakoblet.

Importert backup av database
Importerer en sikkerhetskopi av databasen det skal gjøres uttrekk av.
Under egenskaper for uttrekksbrukeren: Vi setter "User Mapping" slik at brukeren får rolle "db_datareader" til den importerte databasen.

Pålogging ved hjelp av DBPTK:
Påloggingsinformasjon må korrigeres i forhold til oppsett som er benyttet på serveren. Dette er hva som er testet og fungerer i vårt miljø:

Server name [localhost]
Database [Databasenavn]
Username [uttrekksbruker]
Password [uttrekksbrukers passord]
[ ] Use integrated login
[X] Disable Encryption
Instance [Navn på databaseserver - hentes f.eks. fra SQL Server management Studio]
Port number [vanligvis 1433]

Hvordan sette opp MSSQL server for SIARD Suite/Siard Gui til SIARD-uttrekk?

Fri, 27 Aug 2021 21:48:26 +0000

Jeg har flere databaser på en MSSQL 2014 server, men klarer ikke å få gyldig connect fra SIARD Suite / Siard Gui v2.1.134 til databasene.

Connect er helt i orden fra DBeaver v21.1.5 og Full Convert v21.08.1655.

For kvalitetsikring av alle SIARD uttrekksverktøy og validering, så er det viktig at vi har gode notater på hvordan innstilling på SQL Server og på SIARD uttrekksverktøy må være for at de skal virke.

Besvart: Hvor finner vi logger fra DBPTK sine SIARD-uttrekk?

Fri, 30 Apr 2021 08:40:20 +0000

Svaret på hvor logger og rapporter er finner vi GitHub Issue.

GitHub Issue #29:
DBPTK Desktop v2.5.5 - log & report does not use DBVTK_HOME directory

Logger finnes her:
- C:\Users.dbvtk\log
- Siste logg er alltid "dbvtk.log"
- Zipper gamle logger datostemplet med navn som ".gz"

Rapporter inkl. validering finnes her::
- C:\Users.dbvtk\report
- Logger for "Migration" (uttrekk eller siard til db/siard), for "Validation" og for "Browse"
- Alle filer har prefix for type etterfulgt av timestamp

Hvis du flytter DBPTK Desktop arbeidsområde og/eller temp-område så erstattes
- C:\Users\
med din egen installasjon sin plassering.

NB! Arkivskapere og uttrekksleveransører som bruker DBPTK til å lage SIARD-uttrekk MÅ legge ved alle tilknyttede logger ved innlevering av uttrekket.

Skal legges i undermappene til uttrekket:
- reports for alle logger og rapporter
- reports for eventuell systemdokumentasjon

Hvordan lager vi vår egen build av DBPTK Developer, GUI, Desktop og Enterprise?

Thu, 29 Apr 2021 14:27:49 +0000

DBPTK publiserer som åpen kildekode som fri progamvare på Gut Hub i 4 ulike repository for de ulike delene.

DBPTK Developer - Library and command-line tool for exection of database preservation actions
DBPTK UI - DBPTK base UI for both Desktop and Enterprise
DBPTK Desktop - Deployment using Electron
DBPTK Enterprise - Deployment using docker

Spørsmål
1. Hvor ser vi downloads og versions for DBPTK Enterprise?
2. Hvor ser vi DBPTK GUI og Developer versjonb rukt av DPTK Enterprise og Desktop?
3. Hvordan lager vi vår egen build/fork/branch av DBPTK apper for tilpasng og/eller rettelser?

Besvart: Hva er beste praksis i bruken av DBPTK Desktop for uttrekk, bevaring og formidling av databaser fra elektroniske system?

Fri, 16 Apr 2021 12:40:32 +0000

Link til 4 del-artikler om DBPTK Desktop beste praksis
- Del 1 av 4 - SIARD-uttrekk fra elektronisk system
- Del 2 av 4 - SIARD metadata
- Del 3 av 4 - SIARD validering
- Del 4 av 4 - SIARD formidling

Besvart: Hvordan sette opp og bruke sakila demo-database med ulike verktøy?

Sat, 10 Apr 2021 12:52:42 +0000

phpMyAdmin kan brukes til å importere en databases struktur og data inn i MySQL-serveren.

Dette eksempelet har brukt phpMyAdmin v5.0.2 som følger med i Uniform Server (notat) som kan lastes ned her v14.0.2

Det er viktig at struktur database/tabeller importeres UTEN at fremmednøkler sjekkes, fordi phpMyAdmin ikke takler å kontrollere annet enn lineært nedover og derfor ikke kan sjekke fremmednøkler i tabeller som importeres lenger nede i importfila. Derimot kan man da importere data MED at fremmednøkler sjekkes.

Skjermdumper

a) Uniform Server v14.02 innhold

b) Importer sakila-schema.sql UTEN avkrysset "Slå på kontroll av fremmednøkler"

c) Import av database og struktur tabeller suksessfull (del av logg på skjerm)

d) Importer sakila-data.sql MED avkrysset "Slå på kontroll av fremmednøkler"

e) Import av data i tabellene suksessfull

f) Demo-databasen sakila er importert med tabeller, views, funksjoner og prosedyrer

Besvart: Hvilket verktøy er godt nok til å lage PDF/A arkivformat av dokumenter vi lager i depot?

Thu, 08 Apr 2021 16:25:31 +0000

OCRmyPDF

OCRmyPDF lager pdf/a av god kvalitet av vanlige pdf-filer. Som standard blir filen også ocr-behandlet.
Hvis dette ikke er ønskelig kan en bruke argumentet 'tesseract_timeout=0'.
Lager filer av type PDF/A-2b som standard (https://ocrmypdf.readthedocs.io/en/latest/introduction.html#about-pdf-a)

Kan brukes direkte på command line eller som python-bibliotek.
Brukes bl.a. som bibliotek for filkonvertering i PWCode (https://github.com/Preservation-Workbench/PWCode) for PDF til PDF/A konvertering samt for etterbehandling i tilfeller hvor andre underliggende konverteringsprogrammer lager PDF og ikke PDF/A.

Er tilgjengelig for Linux, Windows (med WSL) og Mac og kan lastes ned her: https://github.com/jbarlow83/OCRmyPDF

Besvart: Hvordan installere DBPTK Desktop for SIARD-uttrekk, validering og innsyn på dedikert kryptert disk?

Thu, 08 Apr 2021 12:57:20 +0000

DBPTK Desktop har en god GitHub Wiki med informasjon om programvaren og oppsettsalternativer
- Wiki
- Readme
- Configuration

Standard-versier hvis installering uten eget oppsett
Standard arbeidsområde hvis programmet bare installeres uten prosedyre under:
- C:\Users\abc.dbvtk for Windows bruker "abc"

Standard mellomlager-område som også bør justeres etter din (krypterte) arbeidsdisk (denne kan endre i meny "Preferences\Settings" inne i programmet):
- C:\Users\abc\AppData\Local\Temp

Veileder på eget oppsett arbeidsområde og mellom-lager

Se under hvordan DBPTK Desktop installeres/settes opp med D:\ som arbeids- og database-område, slik at man både unngår å fylle opp Windows operativsystemdisk C:\ og i tillegg kan velge en annen og kryptert disk. Merk at man selvsagt må låse opp den krypterte disken da før DBPT Desktop startes, eller så vil programmet ikke virke etter hensikten.

Angi DBPT Desktop område "DBVTK Home directory" på en disk som ikke er C:\
- Windows
- Variablenavn: DBVTK_HOME
- Variabelverdi eksempel: D:\Users\taa.dbvtk
Angi mellomlager-område på en disk som ikke er C:\
- Eksempel: D:\temp-dbptk-desktop
- Katalogen må opprettes på forhånd og så velges fra "DBPTK Desktop meny Preferences\Setup"

Skjermdumper

a) Denne PCen \ Egenskaper

b) Avanserte systeminnstillinger

c) Systemegenskaper

d) Brukermiljøvariabler (Environment Variables)

e) Variabelnavn DBVTK_HOME og verdi din nye plassering

f) DBVTK_HOME er lagt til

g) Installer dbvtk-desktop-2.5.4.exe

h) Installeres, del 1

i) Installeres, del 2

j) Installeres, del 3 (valgte Show Logs)

k) Velge brannmur-regler etter behov

l) Åpne meny "Preferences\Settings"

m) Velge språk "English" og Tmp dir (som må opprettes først)

n) "Ja" til exit, DBPTK må restartes for endringene

o) DBPTK Dekstop er klar til bruk

p) DBPTK Desktop arbeidsområde er flyttet (kryptert disk her)

q) DBPTK Dekstop mellomlager-område (Tmp dir) er flyttet (kryptert disk her)

Hvordan pakker vi et SIARD-uttrekk med Arkade 5 for innlevering til depot iht. Riksarkivarens forskrift?

Thu, 25 Mar 2021 13:22:10 +0000

Arkivskaper har engasjert en part til å ta SIARD-uttrekk av noen avsluttede fagsystem og lever disse inn (deponering) til depot.

Hvordan gjennomføres oppdraget ved bruk av Arkade 5?

Ta SIARD-uttrekk med Full Convert, DBPTK eller Siard Suite
Lagre logger og rapporter
Ta med eksterne dokumenter utenfor databasen
Metadata tilknyttet innleveringen
Innsending av uttrekket
Innlevering av metadata til uttrekket

Hvordan genererer vi EAD og EAC-CPF som DIAS AIP bevart arkivpakke bør inneholde for arkiv- og arkiv/aktør-informasjon?

Fri, 19 Mar 2021 14:14:09 +0000

Bevaring av elektroniske systemer i Norge skal bevares etter DIAS - Digital arkivpakkestruktur slik Riksarkivaren har kravsatt.

Hvordan får depot generert EAD og EAC-CPF for bevaring i DIAS AIP arkivpakke som bevares i depotforvaltningssystemet, i hovedmappen descriptive_metadat?

Vi har fungerende verktøy for å lage DIAS-pakkestrukturer

Arkade 5 fra arkivverket
ETP, ESSArch Tools for Producer (oppretter DIAS for depotforvaltningssystem)
ETA, ESSArch Tools for Archivist (klargjør AIC og AIP for depotforvaltningsssystem)
EPP, ESSArch Preservation Platform (depotforvaltningssystemet)

Men vi mangler verktøy for å lage EAD og EAC-CPF som legges inn manuelt ved bruk av ETP over.

DIAS
--- descriptive_metadata
--- --- ead.xml | ead.xsd | eac-cpf.xml | eac-cpf.xsd

Noen lenker fra Arkivverket om emnet:
Andre arkivstandarder
DIAS - Digital arkivpakkestruktur
EAD - beskrive objekter logisk som arkivmateriale i OAIS-baserte arkivpakker
EAC-CPF - beskrive arkivskapere og andre aktører med tilknytning til arkivojbekter

Konvertering av INFO.xml til .json

Fri, 19 Mar 2021 14:10:26 +0000

Arkade5 har mulighet for å importere data om uttrekket når det skal pakkes. Data som importeres må være i .json format.
Når arkivet er pakket, finner vi disse dataene igjen i INFO.xml-filen som Arkade5 produserer.

Jeg lurer på om noen har et verktøy for å konvertere data fra denne INFO.xml-filen til .json slik at det kan gjenbrukes ved ny pakking av uttrekk i Arkade5

Hvordan unngå at PDF-konvertering i Decom via Word eller LibreOffice produserer filer med uleselig tekst?

Mon, 15 Mar 2021 11:28:47 +0000

Har flere PDF-filer som KOST-Val mener ikke er på PDF/A-format:
Of the 122 characters in the document, 42 (34.43%) is unknown and 0 (0%) is undefined.

Filene kan åpnes i Word og LibreOffice uten feilmelding, men deler av innholdet er uleselig ved at tekst er erstattet med tekst uten mening - sannsynlig sammenfallende med antall tegn (characters) rapportert av KOST-Val.

Er det mulig for Decom (egentlig Word- eller LibeOffice-konverteringen) å sjekke at en PDF-fil inneholder ukjente tegn og ikke konverterer filer med denne feilen? Hvis ikke, risikerer man å sitte igjen med uleselige PDF-er i avleveringer .

Filene jeg har, kan åpnes fullt leselig i f.eks Adobe Acrobat Reader DC med en infotekst i toppen av dokumentet:
Filen samsvarer med PDF/A-standarden og er åpnet med skrivebeskyttelse for å hindre endringer

veraPDF validerer filene å være på PDF/A-format.

Oppdatert 17:03.21:
Utklippet viser et eksempel på en PDF-fil som KOST-Val har validert å ikke være på PDF/A-format. Øverst i utklippet vises filen i Adobe Acrobat Reader, på midten slik den vises i LibreOffice Draw og nederst hvordan utsnittet ser ut i Word.

Når verken LibreOffice eller Word viser fila korrekt før konvertering, vil den følgelig ikke bli korrekt etter konvertering dersom man bruker Word eller LibreOffice (soffice.bin --convert-to pdf) til dette.

Hvordan bruker vi Spectral Core Full Convert (SCFC) fra konsoll og hvilke parametre har vi bruk for?

Mon, 15 Mar 2021 11:02:10 +0000

Vi bruker Spectral Core Full Convert (SCFC) v21.03.1636 manuelt via grafisk grensesnitt (GUI) i dag. Dette gir gode muligheter for mange typer databaser og god filtrering av skjema, tabeller og kolonne-mapping via filtrering og redigering av tabellenes fra og til kolonner (felter).

Hvordan kan vi automatisere dette gjennom å kalle opp Full Convert fra konsoll?

Hvilke parametre kan vi sette og/eller har bruk for i Full Convert konsollkjøring?
- Angi loggfiler og plassering?
- Angi en liste over skjemaer og/eller tabeller som skal med i migreringen?
- Lagre Full Convert prosjektfil?
- Annet?

Hvordan settes KOST-Val v2.0.4 opp for validering av dokumentfiler og SIARD-uttrekk?

Sat, 13 Mar 2021 16:58:45 +0000

KOST-Val nettside på tysk validerer TIFF, PDF/A-1, PDF/A-2, JP2/JPEG2000 og SIARD-uttrekk.
KOST-Val GitHub er også på tysk, inklusiv Issues.

Hvordan konfigureres KOST-Val v2.0.4 (gjeldende versjon) for beste resultat?

LogType:
--max (verbose)
--xml (default)
--min (valid/invalid)

Loggfiler
C:\Users\abc.kost-val_2x

Blir ikke helt klok på hva som skjer
- Små uttrekk/få filer valideres uten feil med sluttrapport i vindu
- Større uttrekk/passe antall filer fører til at KOST-Val 2.0.4 dialog henger
- Noen ganger er ...log.xml file ferdig og valid xml, dvs med logg validering alle filer
- Likevel henger vinduet uferdig

Eksempel loggfil
schema0.kost-val.log.xml

Hvilke problemer og løsninger har tidssoner og sommertid for Clarion TIME?

Wed, 10 Mar 2021 16:44:08 +0000

Vårt depot bevarer et system med både Clarion DATE og Clarion TIME kolonne-typer.

Clarion DATE har en entydig definisjon som kan transformeres til et stanardisert datoformat, f. eks. "YYYY-MM-DD".

Men Clarion TIME kan være uavklar definisjon på mot tidssoner og sommertid,
- Hvilken tidssone ble systemet brukt i?
- Hvilken sommertid ble systemet brukt i?

Med andre ord er defninsjon og transformasjon gjenstand for tolking av hvordan verdien er lagret som en tid.

Spørsmål:
1. Hvordan håndteres dette i depot ved ordning (beskrivelse av kolonnen), bevaring og eventuell formidling av systemet?
2. Hvilke andre problemstillinger må bevaring ta hensyn til?

Hvordan beskriver vi Clarion tid for en kolonne i en database-tabell?

Wed, 10 Mar 2021 14:43:15 +0000

Vi har et system med både Clarion Date og Clarion Time i ulike tabeller og kolonner der.

Standarder for dato og tid som er godt definert:
ISO 8601
Unix time

Men jeg finner ikke noen gode referanser i søk på Clarion time (eller Clarion date)?

Hvordan konfigurere MySQL for kontroll av ordnede (beskrevet) SIARD-uttrekk?

Wed, 10 Mar 2021 12:01:50 +0000

Vårt depot har ordnet flere SIARD-uttrekk gjennom KDRS produksjonslinje ved bruke av Documaster decom og malsett produsert i KDRS elarkivmijøet.

Vi har et behov for å kontrollere innholdet i ordnet (beskrevet for bevaring) SIARD-uttrekk og ønsker derfor å se på data og kjøre et sett av SQL-spørringer mot systemet etter at vi har lastet det opp i MySQL.

Hvordan må MySQL konfigureres for å oppnå en feilfri migrering fra et SIARD-uttrekk til MySQL databasen?