Kunnskapsforum - Siste spørsmål

Godkjente lagringsformater etter ny arkivlov

Mon, 10 Aug 2026 10:29:51 +0000

I den nye arkivlovgivningen er det ikke lenger fastsatt konkret hvilke filformater som skal brukes for langtidsbevaring, og vi står i prinsippet fritt til å selv vurdere hvilke formater som er egnet. Hos oss (Bærum kommune) følger vi, inntil videre og på kort sikt, samme praksis som tidligere.

Det kunne vært interessant å høre om det er noen som har begynt å gjøre seg tanker og vurderinger rundt dette? Har dere startet å arbeide med, eller planlegger dere å utarbeide, anbefalinger om filformater som vurderes som egnet for langtidsbevaring?

veraPDF - hva virker/virker ikke per februar 2026?

Fri, 20 Feb 2026 08:23:48 +0000

Nasjonalarkivet har notert i ny release Arkade 5 v2.12.5 den 13.02.2026 at det er problemer med 3. parts verktøyet veraPDF.

Per februar 2026, hva er det i veraPDF som virker og som ikke virker?
- Ta gjerne med erfaringer fra tidligere versjoner

Lenker

Vurdering av Arkade 5 v2.12.5 release 13.02.2026

Thu, 19 Feb 2026 08:22:11 +0000

Arkade 5 v2.12.5 med release 13.02.2026
- Verktøyet er et av de viktigste for elarkivaren, både i kommunal og statlig sektor
- Samtidig som Arkivskaper og leverandør alltid må bruke Noark 5-testen inkludert

Hva er nytt?
- Retter problemer med automatisk arkivtype deteksjon, uklart om det er type arkiv som Noark 5 eller SIARD som er deteksjonen her eller PRONOM PUID filformatdeteksjon (Siegrfried 3. part) det er snakk om. Uansett så er hovedpoenget notert at det er rettet slik at Arkade ikke stopper/krasjer i noen situasjoner her.
- Midlertidig tatt vekk PDF/A-validering i verktøykassen (pga. veraPDF 3. parts-problemer, uten at problemet er konkretisert)

Arkade 5 ros
- Fortsatt det kvantespranget for prosessen i pakking og innlevering/deponering av uttrekk fra arkivskaper til depot som det ble laget for å være
- Fortsatt et godt Noark 5 testverktøy i valderingsprosessen
- Kan brukes til SIARD-test, med de begrensinger som DBPTK 3. parts verktøy har i sine tester

Arkade 5 ris
- Begrensninger i forhold til å legge til administrative_metadata (derunder repository_operations) og descriptive_metadata i pakkeprosessen
- Noark 5 testrapport er en broket samling av krav testet, opptellinger og annen informasjon, som i sum ikke er egnet for f. eks. arkivleder/arkivskaper å forstå, og elarkivar i depot må også bruke tid og krefter for å gå gjennom og forstå og vurdere for konklusjon informasjonen. Stort forbedringspotensiale i å strukturere testresultatet og gjøre det bedre maskinlesbart egnet for automatisering av valideringsprosessen inklusiv lage rapporter og lagre testene systematisk
- 3 nye GitHub Issues, av ikke-kritiske elementer (workaround mulig)

Fint om vi kan ha en diskusjon i tråden under på erfaringer ved bruken av Arkade 5.

Arkade 5 lenker inklusiv GitHub og noen nye issues

Krav til bevaring av system og uttrekk iht. ny arkivlov med forskrift?

Wed, 11 Feb 2026 10:25:59 +0000

Spørsmålet er
1. Hva står i ny arkivlov med forskrift om arkivskaper (kommune) krav om bevaring av bevaringsverdige data?
2. Altså fra systemets database, uavhengig av papirarkiv?

Regelen har vært at hvis der er bevaringsverdige data i databasen som ikke er på papir så skal databasen bevares gjennom uttrekk, med mindre man har fattet et kassasjonsvedtak. Der man i forkant har gjort en Bevarings- og Kassasjons--vurdering iht. kommunens BK-plan.

Tekst basert på gammel arkivlov og forskrift

Hjemmelsgrunnlag for test, validering, godkjenning eller avvisning

Depot ivaretar arkivdepotfunksjonen for papirarkiv og elektronisk skapt arkiv for Arkivskaper med hjemmel i § 18 i ”Forskrift om offentlege arkiv”. Det er med utgangspunkt i dette hjemmelsgrunnlaget at Depot vil foreta en gjennomgang av denne innleveringen av System.

Gjennomgang av innleveringen mot regelverket

For innlevering av eldre og avsluttet elektronisk arkiv til kommunalt arkivdepot gjelder følgende regelverk:

A. "Forskrift om utfyllende tekniske og arkivfaglige bestemmelser om behandling av offentlige arkiver (riksarkivarens forskrift) (https://lovdata.no/dokument/SF/forskrift/2017-12-19-2286). Fastsatt av Riksarkivaren 19. desember 2017 med hjemmel i lov 4. desember 1992 nr. 126 om arkiv § 12, forskrift 15. desember 2017 nr. 2105 om offentlege arkiv § 3, § 4, § 5, § 6, § 7, § 11, § 12, § 13, § 16, § 18, § 19 og § 20.

B. Normalinstruks for arkivdepot i kommunar og fylkeskommunar. Gitt med hjemmel i arkivforskriften § 5-12 av Riksarkivaren 01.06.2002.

C. Egne instrukser/retningslinjer, iht. normalinstruksen.

I arbeidet med å få til et så godt som mulig vern av elektronisk arkivmateriale skapt av Depot sine eierkommuner, følger Depot de statlige bestemmelsene i "Bestemmelser om elektronisk arkivmateriale som avleveres eller overføres som depositum til Arkivverket" så langt dette er hensiktsmessig. Depot vil derfor sjekke innleveringen fra Arkivskaper av data fra System opp mot paragrafene § 5-6 t.o.m. § 5-32 i A. (nevnt ovenfor). De første 5 paragrafene er ikke relevante som testpunkt for en innlevering.

Uttrekk fra WIS "standalone"

Mon, 02 Feb 2026 13:09:15 +0000

Vi har en del kopier av WIS Skole som har gått på egne pcer, altså ikke servere.

Noen som vet hvordan jeg eventuelt får ut data disse ut med SpectralCore eller inn i en database som SpectralCore kan koble seg på?

Exportfunsjon i WIS Skole ser ikke ut til å eksportere alle data forøvrig.

Dokumentere "endring av bruk"

Thu, 31 Jul 2025 14:16:00 +0000

I hvilken grad er dokumentasjon rundt endring av bruk nyttig for arkivert materiale?

Har hørt hvordan felter er synlige eller skjulte avhengig av system-versjon og sett hvordan endring av spørringer har signifikant betydning for presentasjon og tolkning. Men de fleste av disse gjelder "end-of-life" tolkning av informasjonen, og i noen grad hvordan det var opprinnelig tenkt. Selv ved større migrasjoner mellom forskjellige leverandører, blir dette dokumentert med "tatt i bruk versjon X fra dato B".

Men så enkel beskrivelse som hvorfor det ble endret, f.eks. aldri brukt, eller bedre tolkning finnes sjeldent/aldri. Tidligere har andre tatt opp utfordringen, fra leverandør-siden. "Når vi tar imot materiale eller gjør oppdateringer, hvordan vil dere ha det dokumentert for å skille på danning innen f.eks. en arkivperiode". Eller hvordan et ønske fra en kunde gjorde det lettere å gjøre videre søk i andre systemer (navn mot navn og fødselsnummer eller org-nummer).

Ønsker å høre fra andre som har tanker om ikke bare et slutt-produkt eller øyeblikksbilde, men under danningen.

Hvilke verktøy og i hvilket format dokumenterer vi best en samling med filer i en mappestruktur?

Mon, 18 Mar 2024 12:07:47 +0000

Arkivskaper, Depot eller generelle brukere har ofte en mappestruktur med filer som det er ønskelig å dokumentere innhold av på en god og oversiktlig måte.

Hvilke applikasjoner dekker behovene under?

Behov
1. Oversikt over antall filer, mapper og størrelsene på disse
2. Opplisting av alle filer forløpende liste med full sti
3. Opplisting av alle filer kategorisert pr. mappe med mappe- og filstørrelser

Noen løsninger
1. TreeSize Free gir en komplett oversikt over mapper, filer og størrelsene mot lokale disker

Dir med komplett filliste
REM innhold liste
dir * /s /b > innhold-liste_%_dt%.txt
Dir kategorisert pr. mappe
REM innhold kataloger
dir * /s /on > innhold-katalog_%_dt%.txt

Merk at 1000-tall separator for filstørrelse blir hex FF = ÿ som standard.
Vi tar søk-erstatt med hex 20 = " " mellomrom for leslighetens skyld.

Setter timestamp-variabel slik:

REM *** set date-time stamp:
for /f "tokens=1-3,5-8 delims=/:. " %%a in ("%DATE%") do (set _d=%%c%%b%%a)
for /f "tokens=1-3 delims=:, " %%a in ("%TIME%") do (set _t=%%a%%b%%c)
set _dt=%_d%%_t%

=> Hvilke andre verktøy bruker dere til tilsvarende?

Hvilke verktøy kan vi bruke for å validere pdfa i store uttrekk uten krasj midt i testen?

Fri, 08 Mar 2024 13:53:39 +0000

Depot mottar store samlinger av avsluttede systemer, der alle dokumenter i prinsippet skal være i godkjent arkivformat ihht. arkivlov med forskrift.

I praksis opplever depot utfordringer med å validere pdfa i store uttrekk uten krasj midt i testene
1. Hvilke verktøy kan brukes uten krasj (da med hvilken innstilling for å opppnå dette)?
2. Hva kan årsakene til krasj være?

Lister opp noen verktøy

veraPDF
- v1.23.2 En stabil god versjon (en av de første versjon som håndterte PDF'er med avviket at innholdet var større en pekeren på innhold sa det var?)
- v1.24.1 Siste gjeldende versjon pr. 08.03.2024, fungerer også brukbart (erfarer krasj på store uttrekk og noen spesielle tilfeller takler ikke noen zip-filer)

Arkade 5
- v2.11.1 Har verktøy med pdfa-validering som er en veraPDF-versjon (uten at jeg ser hvilken versjon som er brukt og ingen logger lages heller)

Lister opp noen mulige årsaker
- Meget store uttrekk 300 GB++, i alle fall 1 TB og større, kan gi problemer for verktøyet som ikke er skalert for det?
- Meget store pdfa eller andre filer som verktøyet prøver å valdere kan gi problemer for verktøyet som får minne- eller andre problemer av individuell filstørrelse på dokumentfilen som valideres (ikke relatert til total pakkestørrelse)
- Noen filformater eller varianter av filformater som utløser uønsket output som fører til krasj (i vårt eksempel noen zip-filer ga krasj)
- Java minne overflow (F. eks. må veraPDF settes opp eller startes med kokrete/andre parametre? En test som kjører no har 4 455 GB Java minne kjørende for veraPDF.)

Skal vi lagre en SIP.tar fil inne i en AIP.tar fil i depotforvaltningssystemet eller pakke ut SIP innhold før pakking AIP?

Fri, 08 Mar 2024 12:47:01 +0000

Problemstilling og valg i depot:
1. Skal vi lagre DIAS .tar SIP i en DIAS.tar AIP, f. eks. i en DIAS AIP arkivpakke i depotforvaltningssystemet?
2. Eller skal vi pakke ut .tar SIP til mapper med filer og så pakke disse igjen i en DIAS AIP arkivpakke i depotforvaltningssystemet?

Eksempel der SIP.tar har et Noark 5-uttrekk
1. [DIAS].tar\content[SIP].tar
2. [DIAS].tar\content[f. eks. Noark 5-uttrekk med arkivstruktur.xml m.m. og \dokumenter undermappe]

Problemstilingen er den samme om det er SIAS SIP og AIP eller andre pakkestandarder som ligger til grunn for bevaringen.

Jeg har i dag spurt både Microsoft Bing Copilot med GPT-4 og ChatGPT 3.5 om hvor robust en .tar fil er for ytre bit-endringer
Interessant nok kom to helt forskjellig svar som vist under.

Spørsmål:
Siden en tar fil er en bytestrøm samling av flere filer, vill en bitfeil i selve tar filen da kun skade den ene fillen som berøres av den ytre bitfeilen?

ChatGPT 3.5

Ja, i en tar-fil, som er en samling av flere filer pakket sammen, vil en bitfeil vanligvis bare påvirke den spesifikke filen som er berørt av feilen. Når du pakker filer inn i en tar-fil, blir hver fil normalt komprimert og lagt til i tar-arkivet separat. Derfor, hvis det oppstår en bitfeil i tar-filen, vil kun den ene filen som er berørt av feilen, være skadet.

Men det er viktig å merke seg at dette er tilfelle under forutsetningen om at feilen ikke fører til en feil i selve strukturen til tar-filen. Hvis det oppstår en feil i selve strukturen til tar-filen, for eksempel en feil i filoverskriften eller filstrukturen, kan det føre til at flere filer blir utilgjengelige eller skadet. Men i de fleste tilfeller, hvis det er en feil i selve tar-filen, vil det mest sannsynlig bare påvirke den spesifikke filen som er berørt av den feilen.

Microsoft Bing Copilot med GPT-4

Tar-filer er en populær metode for å komprimere og arkivere filer i Unix- og Linux-miljøer. La oss utforske bitfeil og feiltoleranse i forbindelse med Tar-filer:

Bitfeil:
- Bitfeil refererer til uønskede endringer i dataene på bitnivå. Dette kan oppstå under lagring, overføring eller behandling av filer.
- Tar-filer i seg selv gir ingen innebygd mekanisme for å oppdage eller rette bitfeil. Hvis en bitfeil oppstår i en fil som er pakket inn i en Tar-fil, vil den feilaktige filen bli inkludert uten noen spesifikk feilhåndtering.
- For å beskytte mot bitfeil, kan du vurdere å bruke andre verktøy eller metoder, for eksempel checksums, paritetskontroll eller redundans.
Feiltoleranse

Feiltoleranse: Feiltoleranse handler om å minimere risikoen for at systemfeil fører til driftsstans eller tap av data.
Tar-filer kan være en del av en feiltolerant strategi, men de alene gir ikke full feiltoleranse.
For å øke feiltoleransen når du bruker Tar-filer, kan du vurdere følgende tiltak:
Redundans: Lagre flere kopier av Tar-filer på separate steder eller enheter.
Backup: Regelmessig sikkerhetskopiering av Tar-filer til eksterne lagringsenheter.
Overvåking: Overvåk integriteten til Tar-filer ved hjelp av verktøy som md5sum eller sha256sum.
Distribusjon: Distribuer Tar-filer over flere servere eller lagringssteder for å unngå ett enkelt punkt for feil.
RAID: Bruk RAID-konfigurasjoner for å beskytte mot fysiske diskfeil.

Husk at feiltoleranse bør være en helhetlig tilnærming som inkluderer flere lag av beskyttelse, og Tar-filer kan være en del av denne strategien, men ikke den eneste løsningen

Hvordan koble seg til Firebird database direkte mot kopi av fil-database .FDB?

Mon, 22 Jan 2024 10:06:21 +0000

Spørsmålet i denne artikkelen er:
- Hvordan koble seg til Firebird database direkte mot kopi av fil-database .FDB?
- Det er behov for å transformere et felt til en god BLOB-type (se forklaring under)

Uttrekk av Firebird kan gjøres med verktøyet Spectral Core Full Convert.
- Target = SIARD for standard uttrekk i vår produksjonslinje
- Target = f. eks. PostgreSQL for test migrering
- Target = f. eks. sqLite for alternativ

Vi har erfart noen problemer med noen systemer som bruker Firebird
- Mulig årsak: Binære verdier er blitt lagret i tekstfelt (BLOB-verdi lagret i CLOB-felt)
- Anne mulig årsak: Full Convert håndterte et BLOB-felt som CLOB (skal teste Target = annen database her)

Full Convert gjør dette rett fram uten problemer og uten å måtte ha Firebird installert lokalt
- C:\Program Files\Spectral Core\Full Convert\fbclient.dll
- Sannsynligvis har de skrevet denne selv eller gjenbrukt den fra annen kilde

Vi har problemer med å koble oss til Firebird .FDB lokalt via de andre verktøy vi har
- dBeaver: unsupported on-disk structure for file C:... \database.FDB; found 11.1, support 13.1
- FlameRobin: Cant find or load FMEMBED.DLL, FBLIENT.DLL or GDS32.DLL
- IBExpert: Client Library is missing or invalid: gds32.dll

Hva må gjøres steg for steg for å koble seg til en lokal .FDB databasefil for å kunne gjennomføre nødvendige transformasjoner før uttrekk?

Hvordan bør et depot håndtere store uttrekk på over 1 TB?

Fri, 19 Jan 2024 12:27:45 +0000

Dagens produksjon av digitalt skapt arkivmateriale i kommunal og statlig sekter skjer i hovedsak i
- Saksarkiv
- Fagsystem

Med fullelektronisk saksbehandling, så blir størrelsen på ved periodisering eller ved avslutning av systemet av økende størrelse, og for mange no over 1 TB.
Jeg har notert meg fra tidligere at arkivverket hadde en grense på 1 TB størrelse på uttrekk som statlig sektor leverte inn.

Hvordan bør et statlig eller kommunalt depot håndtere store uttrekk på over 1 TB?
- Kan vi med dagens løsninger motta så store som helst uttrekk, f. eks. mange TB?
- Eller er teknologien på mottak, validering, bevaring og formidling dårlig egnet til å håndtere så store uttrekk samlet?
- Bør vi da sørge for at vi får mindre uttrekk ved å ikke ta flere arkivdeler i samme uttrekk?
- Eller på andre møte begrense innhold med å avgrense på grupper av årstall eller andre inndelinger av materialet?
- Og i så fall hvordan er dette mulig, å arkivskaper/leverandør sin side eller transformasjoner/migrering i depot?

Hva konkret må et Excel xlsx regneark inneholde for å være et Gyldig arkivformat iht. Arkivforskriften?

Thu, 11 Jan 2024 13:32:30 +0000

Arkivverket har notert .xlsx og .docx som et Gyldig arkivformat, der betyr betinget gitt at noen krav er innfridd.

Når Depot mottar uttrekk med Excel .xslx og Word .docx filformater, hva konkret må disse inneholde for at de skal kunne godkjennes av Depot iht. Arkivforskriften?
- Skrevet praktisk slik at en produksjonslinje kan validere etter gitte konkrete kriterier og enten GODKJENNE eller AVVISE filen som arkivformat

https://lovdata.no/forskrift/2017-12-19-2286/§5-17

§ 5-17.Godkjente filformater for arkivdokumenter ved avlevering eller deponering

(1) Følgende formater er godkjente ved avlevering eller deponering:
...
g. For regneark aksepteres følgende formater:
- PDF/A – med de presiseringer som fremgår av § 5-18, andre ledd.
- XML, med de presiseringer som fremgår av § 5-19.
- For regneark i OOXML eller ODF format bør en PDF/A-versjon leveres som tillegg.

§ 5-19.Spesifiserte krav til arkivdokumenter i XML-format eller JSON-format

(1) Tegnsett i XML-dokumenter skal være UTF-8 eller ISO 8859-1/8859-4.
(2) Når XML-dokumenter har DTD (Document Type Definition), alternativt XML Schema, og malfiler, for eksempel for stiloppsett, skal disse ligge ved som egne filer. Tilhørende XML Schema skal også ligge ved i de tilfeller XML-dokumenter bygger på fastsatte standarder som ISO/IEC 26300:2006 – Open Document Format (ODF), Microsofts og Ecmas Office Open XML-standard – OOXML (ECMA-376 ISO/IEC 29500).
(3) DTD-er, XML Schemas og malfiler som deles av flere dokumenter, kan lagres én gang på overordnet nivå i en hierarkisk filstruktur på vedkommende lagringsenhet, forutsatt at det brukes relative filreferanser. Alle øvrige filer eller objekter som det enkelte XML-dokument refererer til, skal være samlet i en underkatalog, jf. § 5-31 nr. 1 bokstav b. XML filer skal ikke inneholde binære objekter.
(4) Andre og tredje ledd gjelder ikke for arkivuttrekk i XML-format, jf. § 5-13.
(5) Tegnsett i JSON-filer skal være UTF-8 eller ISO 8859-1/8859-4.
(6) JSON-filer skal ikke inneholde binære objekter.
(7) For JSON-filer bør det følge med et korresponderende JSON Schema som spesifisert på json-schema.org.
(8) Filer eller objekter som det enkelte JSON-dokument refererer til, skal være samlet i en underkatalog, jf. § 5-31 nr. 1 bokstav b.

0 Endret ved forskrift 27 jan 2022 nr. 132 (i kraft 1 mars 2022).

Får ikke åpnet siard av IST i Keep/DBPTK

Tue, 19 Dec 2023 10:24:17 +0000

Har en siard fil fra IST som jeg skulle ha validert før ferien, men den vil ikke laste opp i Keep/DBPTK.

Mottar kun følgende feilmeldingen:

RESTException:Remote exception caused by GenericException: Could
not import the metadata to the Solr instance. caused by
ModuleException: The metadata.xml file not be read. caused by
UnmarshalException: unexpected element
(uri:"http://www.bar.admin.ch/xmlns/siard/2/metadata.xsd",
local:"siardArchive"). Expected elements are
<{http://www.bar.admin.ch/xmlns/siard/1.0/metadata.xsd}siardArchive

Tenkte jeg skulle spørre her siden min hjerne alt har tatt ferie virker det som.

Hvordan feilsøke DBPT Desktop feil i innlasting viewer?

Tue, 17 Oct 2023 11:35:42 +0000

Hvordan feilsøker vi DBPT Desktop når imort til viewer feiler?

Utgangspunkt
- DBPT Desktop v2.7.1 som siste versjon pr. 17.10.2023
- SIARD uttrekk er tatt med DBPTK Desktop v2.7.1 med Internal LOBs

Prøvde et par uttrekk, andre gangen uttrekk uten BLOBs-kolonnen med med de 235 000 binære filer i den tabellen.

DBPTK Desktop v2.7.1 => SIARD Validation av eget uttrekk ga 1 feil
- T_6.0-2: [OK]
- T_6.0 - Requirements for table data
- T_6.0-1: [ERROR] - Failed to validate due to an exception on Requirements for table data - Please check the log file for more information
- Requirements for table data [FAILED]

=> Det er en stor mangel i valideringsrapport at det ikke angis hvilket skjema, tabell og rad/felt som feilsituasjonen oppstår på. Da blir det umulig å finne ut av det. Check log feil... hvilken logg og de loggfilene er meget store, er som å leite etter nåla i høystakken.

Bilde 1)
- IllegalArgumentException: empty argument

Bilde 2 og 3)
- JavaScript Exception (typeError): Cannot read properties of null (reading 'tf')

Hvordan og med hvilket verktøy migrere xml-filer/uttrekk til database?

Fri, 13 Oct 2023 08:01:36 +0000

I depot håndterer vi ofte xml-filer av ulik opprinnelse
- Gamle ADDML 7.3-uttrekk der hver tabell i uttrekket er en xml-fil med tilhørende metadata i ADDML-filen
- SIARD-uttrekk som produserer en xml-fil per tabell, i tillegg til LOBs for Binære (BLOB) og Karakterbasert (CLOB) filer
- Andre xml-filer, ofte som hjelpefiler i produksjonslinjen

Hvordan kan vi ta en generell XML-fil og få lastet den opp til en database?
- Hvilke verktøy støtter en slik migrering av data?
- Hvordan gjøres dette?
- Ønsker å fritt kunne velge xml elementer og derunder atributter opp til tabell(er) i databasen

Eksempel:
- Vi har et SIARD-uttrekk vi har pakket ut med passordbeskyttede filer
- table8.xml har både et felt med unik referanse til fil og felt med atributt peker til LOB (file="rec1.bin")
- table 11.xml har passordet til nevnte fil, i tillegg til også en unik referanse til filen
- Behov for et verktøy som kan migrere til 2 tabeller i en database med innholdet over
- Så kan vi lage en SQL for å lage en kobling mellom LOB filnavn og passord og eksportere en liste med filnavn og passord pr. rad i listen

Hvilke verktøy kan validere en pakket fil (tar, zip, rar osv.) mot utpakket innhold?

Wed, 27 Sep 2023 06:53:44 +0000

Depot har mange arbeidsoperasjoner i produksjonslinjene som involverer å pakke inn og pakke ut filer og mappestrukturer i en pakket fil. Filformater til pakkede filer er f. eks.:
- tar
- zip
- 7zip
- rar
- osv...

I depot kan det ofte være riktig/nødvendig å validere en utpakket filstruktur mot den pakkede filen av innholdet.

Spørsmål
1. Hvilke verktøy finnes med mulighet for å validere en pakket fil mot utpakkede filer og mappestrukturer? (seinere i linjen)
2. Hvilke verktøy validerer automatisk at utpakket/pakket innhold er identisk med sin opprinnelige form før jobben startet? (idet pakking/utpakking utføres)

Arkade 5?
- Kan validere en DIAS IP (i verktøykassen), men kan den validere generelt pakket fil mot utpakket?

TeraCopy?
7zip?
PkZip?
Andre?

Hvordan lage SHA-1 og andre hash av en mappestruktur?

Tue, 26 Sep 2023 07:41:04 +0000

Noen applikasjoner og spesifikasjoner har inkludert SHA-1 eller andre hash av en mappestruktur.

Hvilke verktøy kan depot bruke for å validere en slik hash sjekksum av en mappestruktur?
- 7zip har en opsjon for dette, men sjekksummen den lager stemmer ikke!

Decom validerer hash ved import av og kan lage hash ved produksjon (berikelse) av SIARD-filer, men vi trenger et frittstående verktøy.
SIARD Suite lager hash av SIARD/content/, mens DBPTK og Full Convert ikke lager dette.

Windows console "certutil" kan lage hash av en fil, men kan denne settes opp til å lage hash av en mappestruktur?
Eksempel på MD5 og SHA-256 hash av fil:

certutil -hashfile %_sourcedir%%_sourcefile% md5 > %_sourcedir%%_sourcefile%.create.md5.txt
certutil -hashfile %_sourcedir%%_sourcefile% sha256 > %_sourcedir%%_sourcefile%.sha256.txt

Eksempel SIARD 2.2 & SIARD 2.1, header seksjon metadata.xml:

<messageDigest>
    <digestType>SHA-1</digestType>
    <digest>9B8C9928164CFAD2A081A35185360C87EAC78306</digest>
  </messageDigest>

Ekempel: SIARD 2.0 & SIARD 1.0, header seksjon metadata.xml:

<messageDigest>MD52DE4305AF752200A13C771B117FB9391</messageDigest>

SIARD 2.2.pdf manual

messageDigest

Consists of digestType (MD5, SHA-1, or SHA-256) and the corresponding digest. The digest represents a binary buffer as a hexadecimal string, or alternatively, in the case of SHA-1 or SHA-256, a base64 string. Whether hexadecimal or a base64 encoding is used depends on the length of the digest and of the string.

The digest is calculated over the content/ folder. More than one message digest (based on different algorithms) can be stored. If no message digest is stored, then the integrity must be assured by storing something like a message digest outside the SIARD file13.

Recommendation
If the message digest option is used, the following must be implemented:
The content and header directories are stored in the ZIP file as separate (empty) content/ and header/ entries. To ensure that the integrity of the primary data can be checked, the entry for the header directories must be inserted after all the primary data in the content/ entry and before all the other metadata entries.

The message digest mentioned below is computed from offset 0 to the offset of the header/ entry of the SIARD archive. Note that the messageDigest indicates hexadecimal values and it is therefore not of strict importance whether they are set in upper or lower case. However, lower case is mostly used and enforced, see e.g. RFC 2831 https://www.ietf.org/rfc/rfc2831.txt

Hvordan validere deponerte uttrekk i csv format (tegnseparerte filer) ?

Tue, 12 Sep 2023 07:28:54 +0000

Det kan av og til komme inn filer i csv format (tegnseparerte filer) som innlevert deponering fra arkivskaper til depot.
Eller blir produsert som en de av produksjonslinje i depot.

Spørsmål
1. Hvordan kan depot validere csv filer?
2. Kan det valideres hver rad og kolonne verdi sin felt datatype opp mot en metadata definiasjon?
3. Kan det valideres på business logic nivå, dvs f. eks. analysere at en fødelsdato er reell, eller andre område eller formbegrensninger utover hva en tradsjonell databaserepresentasjon av feltet er (dette er direkte sammenlignbar med SIARD-validering på SIARD-spec nivå versus innholdverdi analyse av feltenes verdier)
4. Kan det lages analyse av antall forekomster og statistikk på datagrunnlaget? (hvor mange av ulike felter har verdi og alt fra max, min, gjennomsnitt og annen statistikk)?
5. Hvilke verktøy kan brukes (Arkade 5? The V File Viewer kan vise meget store filer også, men ikke validere? Andre verktøy?)

Legger til
- csv filer kan lastes opp til f. eks. MySQL og så kjøre SQL valideringer, men det forusetter jo at csv filen er gyldig mot tabellens felter (må opprettet tabell med korrekte kolonner før import av csv)
- Kanskje CSV validator fra The Natinal Arhchives kan brukes?
- Spectral Core Full Convert støtter csv formatet både i Source og Target, så da vil jo migrering av csv fil bli validering under migrering og loggfil lages med resultater av denne valideringen

Hva er korrekt filtype på CLOB-fil som har kontrolltegn?

Mon, 21 Aug 2023 12:21:25 +0000

Hva er korrekt filtype på en CLOB-fil som feilet i Java eller Visual Studio generering av innhold i elementet?

En fil som tross alt er en CLOB tekstfil fortsatt, men med noen kontroll-karakterer, bør vel fortsatt behandles som en tekstfil?
Dvs. at den lagres som .txt og ikke som .txt.bin etter DCM konvertering fra produksjonsformat til arkivformat?

Se eksempel bilde under som er en .txt fil, men med noen ASCII spesialtegn:
- 0x02 = STX (Start of Text)
- 0x07 = BEL (Bell, Alert)
- 0x14 = DC4 (Device Control Four)
- 0x10 = DLE (Data Link Escape)
- 0x1A = SUB (Substitute)
- 0x1F = US (Unit Separator)

Noen som vet hva disse doble hex kodene er?
- 0xC2 83 = NBH
- 0xC2 8C = PLU
- 0xC2 9F = APC

ASCII Table
Ascii-Code.com
C0 and C1 control codes

Siste steg i ETA er Transfer IP - bomber ut med for lite diskplass

Sat, 29 Jul 2023 19:32:32 +0000

Pakke jeg jobber med er på 370GB.

Jeg har økt VDI disken fra 400GB til 1000GB uten at det hjalp. Diskområde hvor (Prepare)/Shared/Transfer ligger har 889GB ledig.
Lenge siden jeg har rotet med linux. Trenger litt hjelp

Når ETA sin Transfer IP krasjer kan det ligge igjen noe som jeg må manuelt slette med SHH inn i ETA?
(Har satt opp portforwarding og testet at jeg kommer inn i linux-boksen. Logger jeg inn på bosken med bruker navn og passord får jeg ikke opp i GUI som gjør at jeg kan bruke GUI'et til Centos

IOError at /transfer/transferiplist/
[Errno 28] No space left on device
Request Method:	POST
Request URL:	https://localhost:12443/transfer/transferiplist/
Django Version:	1.8.4
Exception Type:	IOError
Exception Value:	
[Errno 28] No space left on device
Exception Location:	/ESSArch/pd/python/lib/python2.7/shutil.py in copyfileobj, line 52
Python Executable:	/usr/bin/python
Python Version:	2.7.10
Python Path:	
['/ESSArch/pd/python/lib/python2.7/site-packages/ESSArch_TA',
 '/ESSArch/pd/python/lib/python2.7/site-packages/ESSArch_EPP',
 '/ESSArch/pd/python/lib/python2.7/site-packages/ESSArch_EPP/workers',
 '/ESSArch/config',
 '/ESSArch/pd/python/lib/python27.zip',
 '/ESSArch/pd/python/lib/python2.7',
 '/ESSArch/pd/python/lib/python2.7/plat-linux2',
 '/ESSArch/pd/python/lib/python2.7/lib-tk',
 '/ESSArch/pd/python/lib/python2.7/lib-old',
 '/ESSArch/pd/python/lib/python2.7/lib-dynload',
 '/ESSArch/pd/python/lib/python2.7/site-packages',
 '/ESSArch/pd/python/lib/python2.7/site-packages/ESSArch_TA',
 '/ESSArch/config']
Server time:	Sat, 29 Jul 2023 18:27:28 +0200

Er VDI disken vi legger til egentlig tom slik at om jeg oppretter en ny starter jeg med en ren "hardisk"?

Er transfer IP egentlig nødvendig?
Jeg har brukt Arkade 5, og lagd en pakke, Bruker så ETA, logger noe, og går videre.
Alt den gjør slik jeg ser deet er å opprette en ny UUID katalog for AIC'en, kopier UUID katalog fra pakke og dumper tar fra arkade inn i content, og plasserer info.xml på samme nivå (øverst) med UUID katalogen til arkade (ertt under UUID - AIC).

Når jeg kjører transfer IP på ETA pånytt må jeg slette eller endre navn på UUID AIC'en fordi om den finnes krasjer det også med feilmelding at fil finnes. Det er samme UUID på AIC hver gang. Min tanke er at jeg bare kopierer/flytter innholdet på egenhånd via filsystemet enn at essarch skal bruke timer/dager til å kopiere via essarch.

Tenker jeg feil, vil jeg mangle noe om jeg overstyrer. EPP så ikke noe feil i mottak, ikke ennå ihvertfall?
Har egentlig 2 pakker 370+120, startet med å trikse til transfer IP, og testet EPP før hele maskin fikk en omstart og ble trolig ikke helt ferdig med mottaket.

Må jeg trolig rydde opp i EPP og fjerne det som er startet i mottak?
Noen måte å se om den ble ferdig i løpet av kvelden før hele DepotPC tok omstart?

[root@essarch-ta ~]# ***lsblk***
NAME                               MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0                                 11:0    1 1024M  0 rom
sda                                  8:0    0   60G  0 disk
├─sda1                               8:1    0  500M  0 part /boot
└─sda2                               8:2    0 59,5G  0 part
  ├─vg_essarchtools-lv_root (dm-0) 253:0    0  450G  0 lvm  /
  ├─vg_essarchtools-lv_swap (dm-1) 253:1    0    2G  0 lvm  [SWAP]
  └─vg_essarchtools-lv_home (dm-2) 253:2    0  7,6G  0 lvm  /home
sdb                                  8:16   0 1000G  0 disk
└─vg_essarchtools-lv_root (dm-0)   253:0    0  450G  0 lvm  /


[root@essarch-ta ~]# ***df -h***
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/vg_essarchtools-lv_root
                      443G  421G   17M 100% /
tmpfs                 2,0G     0  2,0G   0% /dev/shm
/dev/sda1             477M   97M  355M  22% /boot
/dev/mapper/vg_essarchtools-lv_home
                      7,3G   44M  6,9G   1% /home
Shared                7,0T  6,1T  889G  88% /media/sf_Shared
Transfer              7,0T  6,1T  889G  88% /media/sf_Transfer
Shared                7,0T  6,1T  889G  88% /ESSArch/data/eta/reception/shared
Transfer              7,0T  6,1T  889G  88% /ESSArch/data/gate/reception

[root@essarch-ta ~]# sudo fdisk -l

Disk /dev/sda: 64.4 GB, 64424509440 bytes
255 heads, 63 sectors/track, 7832 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0004a1d3

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          64      512000   83  Linux
Partition 1 does not end on cylinder boundary.
/dev/sda2              64        7833    62401536   8e  Linux LVM

Disk /dev/sdb: 1073.7 GB, 1073741824000 bytes
255 heads, 63 sectors/track, 130541 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000


Disk /dev/mapper/vg_essarchtools-lv_root: 483.2 GB, 483179626496 bytes
255 heads, 63 sectors/track, 58743 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000


Disk /dev/mapper/vg_essarchtools-lv_swap: 2113 MB, 2113929216 bytes
255 heads, 63 sectors/track, 257 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000


Disk /dev/mapper/vg_essarchtools-lv_home: 8095 MB, 8095006720 bytes
255 heads, 63 sectors/track, 984 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Spec av pc til produksjonslinje

Tue, 04 Jul 2023 08:15:41 +0000

Skal omsider kjøpe inn en helt ny pc til produksjonslinjearbeidet. Har frem til nå bare tatt avlagte maskiner og satt de opp.

Det jeg lurer på er om noen av programvaren vår klarer å utnytte grafikkort (RISC cpuer) eller om det er bedre å kjøpe kraftig hovedcpu?

Når det gjelder minne og disk så har jeg tenkt 64 GB RAM (kanskje 128 GB) , samt et par M.2 ssd-disker på 2-4 TB hver.
Da har jeg også greit med "rom" for å bruke den som host for virtuelle maskiner.

Vil helst kjøpe inn en "merke-pc" hvor alt er på plass med felles garanti på alle deler osv fremfor å bygge selv, har bygget nok pcer siste 40 år synes jeg ;)

Nye felter i Arkade5 v 2.10

Wed, 17 May 2023 13:52:53 +0000

Nå har vi fått ny versjon av Arkade5, og det er i denne versjonen kommet noen nye felter i metadata. Siden disse er nye for mange, så velger jeg å legge ut informasjon om disse her. Dette er beskrivelsene av disse feltene som ble diskutert i utviklingsmøtet i februar hos Arkivverket. Tolkningene her er basert på en samhandling mellom Arkivverket og undertegnede.

Følgende nye felter eksisterer (med beskrivelser):
Du finner disse under seksjonen "Beskrivelse av arkiv" når du oppretter en ny pakke. Benevnelsen «Deponeringspakke» i konteksten, det samme som en SIP.

Oppføringstype

NEW (Aksesjon) <mets:metsHdr RECORDSTATUS="NEW">:
En ny deponeringspakke som skal deponeres eller avleveres til angitt depot. Dette er ofte primærdata, som utgjør majoriteten av arkivmaterialet som deponeres, for eksempel en databasedump, siard-fil eller en noark XML-struktur.
SUPPLEMENT (Tilvekst) <mets:metsHdr RECORDSTATUS="SUPPLEMENT">:
En deponeringspakke med innhold som videre beriker primærdata. Det kan være tabelbeskrivelser, produksjonsformater, systemdokumentasjon, dokumentmaler eller logger o.l).
REPLACEMENT (Korreksjon) <mets:metsHdr RECORDSTATUS="REPLACEMENT">:
En ny deponeringspakke som korrigerer en tidligere pakke, enten fullstendig eller delvis. Det kan være at en tidligere pakke er avvist eller inneholder avvik av en særskilt høy karakter som fører til at kvaliteten forringes.
TEST (Prøve- eller evalueringspakke) <mets:metsHdr RECORDSTATUS="TEST">:
Disse pakkene sendes ofte til depot som en evaluering av arbeidet som er gjort eller for å teste infrastruktur eller rutiner. Disse pakkene kan oftest forkastes i ettertid.
VERSION (Periode) <mets:metsHdr RECORDSTATUS="VERSION">:
En deponeringspakke som inneholder en potensielt ny periode eller generasjon av av materialet. Dette er ikke det samme som en tilvekst, siden en ny periode eller generasjon kan ha med seg nye SUPPLEMENT-pakker og gjelder kanskje for en ny virkeperiode. Et eksempel her er når det kommer en periodisering fra et nytt system, men hvor formål og roller har vært de samme - eller der hvor tidligere generasjon har gjennomgått store endringer.
OTHER (Annet) <mets:metsHdr RECORDSTATUS="OTHER">:
En deponeringspakke eller annen type pakke som ikke passer inn i beskrivelsene over.

Arkivsystemtype

Dette er et fritekstfelt som kan inneholde en vilkårlig systembeskrivelse. Jeg tror det vil være lurt om KAI-miljøet kommer sammen for å forfatte en fullstendig liste over systemer som kan brukes, slik at det i fremtiden er enkelt å tallfeste og bruke denne informasjonen på en god måte. Noen forslag til systemtyper:

Sak/arkiv-system

<mets:altRecordID TYPE="DELIVERYTYPE">Sak/arkiv-system</mets:altRecordID>
Et system for å registrere, lagre og behandle dokumenter og informasjon i offentlig sektor.

Personalsystem

<mets:altRecordID TYPE="DELIVERYTYPE">Personalsystem</mets:altRecordID>
Et system for å håndtere personalinformasjon, inkludert ansettelser, avtaler, lønn, fravær og andre HR-relaterte opplysninger.

Journalsystem

<mets:altRecordID TYPE="DELIVERYTYPE">Journalsystem</mets:altRecordID>
Et system for å registrere og arkivere offisielle journaler og protokoller.

Økonomisystem

<mets:altRecordID TYPE="DELIVERYTYPE">Økonomisystem</mets:altRecordID>
Et system for å håndtere økonomiske transaksjoner og regnskap, inkludert fakturering, betaling, budsjettering og regnskapsrapportering.

Flatfil databaseuttrekk

<mets:altRecordID TYPE="DELIVERYTYPE">Flatfil databaseuttrekk</mets:altRecordID>
Et system for å lagre og organisere store mengder strukturerte data, vanligvis i form av tabeller eller filer.

Uttrekk av nettsteder og onlineportaler

<mets:altRecordID TYPE="DELIVERYTYPE">Uttrekk av nettsteder og onlineportaler</mets:altRecordID>
Et system for å lagre og administrere innhold på nettsteder og online-portaler.

Kart og byggesaksarkiver

<mets:altRecordID TYPE="DELIVERYTYPE">Kart og byggesaksarkiver</mets:altRecordID>
Et system for å lagre og administrere geografisk informasjon, inkludert kartdata og byggesaksarkiver.

Ikke spesifisert innhold

<mets:altRecordID TYPE="DELIVERYTYPE">Ikke spesifisert innhold</mets:altRecordID>
En generell betegnelse for systemer som ikke spesifikt kan klassifiseres innenfor noen av de andre kategoriene.

Samling av arkiver med samme herkomst

<mets:altRecordID TYPE="DELIVERYTYPE">Samling av arkiver med samme herkomst</mets:altRecordID>
En samling arkiver med samme herkomst, for eksempel fra en spesifikk avdeling eller organisasjon.

Publikasjoner

<mets:altRecordID TYPE="DELIVERYTYPE">Publikasjoner</mets:altRecordID>
Et system for å publisere og administrere offisielle publikasjoner, som rapporter, nyhetsbrev og lignende.

Annet dokumentpliktet system

<mets:altRecordID TYPE="DELIVERYTYPE">Annet dokumentpliktet system</mets:altRecordID>
Et system for å lagre og administrere dokumenter og informasjon som er avlevert eller deponert på basis av lovverk, men som ikke kan knyttes til noen av de andre systemtypene.

Deponering/avlevering uten videre spesifikasjon

<mets:altRecordID TYPE="DELIVERYTYPE">Deponering/avlevering uten videre spesifikasjon</mets:altRecordID>
Et system for å administrere avtalebasert avlevering eller deponering av dokumenter og informasjon, uten videre spesifikasjon. Datadumper for mellomlagring.

Kundebehandlingssystem

<mets:altRecordID TYPE="DELIVERYTYPE">Kundebehandlingssystem</mets:altRecordID>
Et system for å håndtere kunde- og brukerinteraksjoner, inkludert kundestøtte og support, markedsføring og salg.

E-postsystem

<mets:altRecordID TYPE="DELIVERYTYPE">E-postsystem</mets:altRecordID>
Et system for å administrere e-postkommunikasjon, inkludert innkommende og utgående e-post, arkivering og søk.

Innholdshåndteringssystem

<mets:altRecordID TYPE="DELIVERYTYPE">Innholdshåndteringssystem</mets:altRecordID>
Et system for å administrere innhold på nettsteder, inkludert publisering, redigering, strukturering og presentasjon.

Elektronisk saksbehandlingssystem

<mets:altRecordID TYPE="DELIVERYTYPE">Elektronisk saksbehandlingssystem</mets:altRecordID>
En utvidet versjon av et sak/arkiv-system som også inkluderer funksjonalitet for elektronisk dokumenthåndtering og arbeidsflyt.

Konfliktløsningssystem

<mets:altRecordID TYPE="DELIVERYTYPE">Konfliktløsningssystem</mets:altRecordID>
Et system for å administrere tvister og konflikter på en elektronisk plattform, som en alternativ tilgang til tradisjonelle rettslige prosesser.

Personellinformasjonssystem

<mets:altRecordID TYPE="DELIVERYTYPE">Personellinformasjonssystem</mets:altRecordID>
Et spesialisert personellsystem som omfatter funksjonalitet for rekruttering, opplæring, karrieresøking og kompetanseutvikling.

Arbeidsstyringsystem

<mets:altRecordID TYPE="DELIVERYTYPE">Arbeidsstyringsystem</mets:altRecordID>
Et system for å administrere arbeidsoppgaver og prosjekter, inkludert tidsplanlegging, ressursallokering og oppgavefordeling.

Vedlikeholdsstyringssystem

<mets:altRecordID TYPE="DELIVERYTYPE">Vedlikeholdsstyringssystem</mets:altRecordID>
Et system for å administrere anleggsmidler og vedlikehold, inkludert inventar, reparasjoner og vedlikeholdsplanlegging.

Elektronisk pasientjournal

<mets:altRecordID TYPE="DELIVERYTYPE">Elektronisk pasientjournal</mets:altRecordID>
Et system for å administrere pasientjournaler og medisinsk informasjon, inkludert diagnostikk, behandlingsplaner og resepter.

Innkjøpsstyringssystem

<mets:altRecordID TYPE="DELIVERYTYPE">Innkjøpsstyringssystem</mets:altRecordID>
Et system for å administrere leverandører og innkjøp, inkludert bestillinger, fakturering og katalogadministrasjon.

Prosjektnavn

Fritekstfelt som brukes for å føre inn eventuelt prosjektnavn hos etat/kommune/arkivskaper eller arkiveier.

Pakkenummer

Angis for å indikere hvilke posisjon i en serie eller versjon av en generasjon denne pakken tilhører. NEW (alltid 1.0) og SUPPLEMENT (1.1...N) REPLACEMENT (1.2b) eller VERSION (2.0) med sine SUPPLEMENT (2.1....N) eller REPLACEMENT (2.1b)

Her er noen eksempler:
<mets:altRecordID TYPE="PACKAGENUMBER">1.0</mets:altRecordID> <-- Første pakke i en serie, dette er en NEW.
<mets:altRecordID TYPE="PACKAGENUMBER">1.1</mets:altRecordID> <-- Pakke nummer to i serien, dette er en SUPPLEMENT til 1.0
<mets:altRecordID TYPE="PACKAGENUMBER">1.1a</mets:altRecordID> <-- Pakken er første korreksjon (REPLACEMENT) på SUPPLEMENT 1.1
<mets:altRecordID TYPE="PACKAGENUMBER">2.1</mets:altRecordID> <-- Pakken er en SUPPLEMENT til VERSION 2.0 som er ny periode av en NEW 1.0

Her er et visuelt eksempel på dette:

Dette er anbefalt måte måte å gjøre dette på, uavhengig av det, så bør dette dokumenteres hos den enkelte databehandler.

Referansekode

Kan brukes på flere måter, siden vi ikke fikk medhold i å inkludere PREVIOUSSUBMISSIONAGREEMENT eller DATASUBMISSIONSESSION:
- Som saksnummer eller prosjektnummer hos etat/kommune/arkivskaper eller arkiveier.
- Som identitetsnummer for overordnet UUID i NEW (for SUPPLEMENT) eller som referanse til tidligere pakke i serien for VERSION med referanse til UUID på NEW.
- Som referansekode på sesjon, prosjekt eller annen organisering.

Det vil være opp til den enkelte institusjon å avgjøre hva dette feltet skal inneholde.

Her er noen eksempler på bruk:
Referansekode fra en kommune:
<mets:altRecordID TYPE="PACKAGENUMBER">1.0</mets:altRecordID>
<mets:altRecordID TYPE="REFERENCECODE">APAKKE01-2023</mets:altRecordID>

** Referansekode på VERSION for tidligere NEW:
<mets:altRecordID TYPE="PACKAGENUMBER">2.0</mets:altRecordID>
<mets:altRecordID TYPE="REFERENCECODE">f4d1a7a7-038b-4e96-8e46-fb402ce862e0</mets:altRecordID>

Arkivering /innhøsting fra e-post konto

Tue, 28 Mar 2023 11:44:38 +0000

Hei!

Har dere erfaringer med et verktøy for masse arkivering/innhøsting fra e-post konto?

Er klar over egentlig at saksbehandler skal håndtere journalførings- og/eller arkiveringpliktige eposter fortløpende.
Men vi har f. eks postmottak opprettet med korona pandemien som avvikles snart.
Det er snakk om flere tusen eposter i kontoen....
jeg lurer på det finnes et verktøy som "bare hamstre" bevaringsverdige eposter uten mye arbeid.

Orie

Hva og hvordan kan arkivskaper og depot gjøre av endringer og feilrettinger i avluttede og bevarte systemer?

Wed, 08 Mar 2023 11:09:45 +0000

Arkivskaper bruker Noark-systemer i arkivdanningen i sakarkivet, fordelt på arkiv, arkivdeler, mapper (saker), registreringer (journalposter), dokumentbeskrivelser og dokumentobjekter. Og andre mulige struktur-inndelinger i henhold til Noark 5 og tidligere Noark 4 og 3.

I ett gitt tilfelle kan vi ha
1. Et aktivt fullelektronisk Noark 5-system med det antall arkivdeler som er aktive i dag, og arkivdeler som er avsluttet, men opprettet i dette systemet
2. Arkivdeler som historisk base fra forrige system, som også var fullelektronisk Noark 5, men som ble oppgradert fra Noark 4 i systemets levetid.
3. Arkivdeler som historisk base fra systemet før forrige system, som var papirarkiv og historiske baser i forrige system

Hva kan, skal eller skal ikke arkivskaper og depot gjøre av endringer og feilrettinger i avsluttede og bevarte systemer?
Generelt og og i tilfellene over?

Papirarkiv
- Punkt 3 over har papirarkiv som juridiske dokumenter
- En vanlig praksis er å flytte dokumenter som er i feil mappe til sin korrekte mappe, og legge kopi av dem i den som var feil, med henvisninger begge mapper på hva som er oppdaget og gjort?
- Hva kan arkivskaper gjøre i sitt aktive system, der denne arkivdelen er en avsluttet og historisk base?
- Kan der legges til metadata, f. eks. henvisninger som kobler f. eks. feil sak/jp/dok ev. mappe for personalarkiv med rettelsene?
- Depot kan ikke gjøre noen endringer etter at uttrekk er tatt og bevart i depot, men rettelser og korrigeringer kan meldes inn fra arkivskaper til depot og bevares som tillegg til opprinnelig pakke?

Fullelektronisk arkiv
- Punkt 1. og 2. over har fullelektroniske dokumenter
- Aktive arkivdeler kan endres i metadata og saker/journalposter kan gjenåpnes og elementer flyttes til korrekt plassering
- Det anbefales god bruk av merknader ved behov for å dokumentere den feilaktive saksbehandling/midlertidig feil arkivering, hvis det er nødvendig for forståelse av kontekst i ettertid? Hvis ikke kan elementer flyttes?
- Avsluttede arkivdel som allerede er tatt uttrekk av og bevart i depot, må man være forsiktig med å gjøre endringer i, slik at det som finnes for historisk oppslag og gjenbruk av arkivskaper ikke er annen informasjon enn det som er bevart i depot?

Hvordan kan slike endringer og rettelser forvaltes på en god måte både for Arkivskaper og for Depot?
Uten å bryte nødvendige og gode arkivfaglige prinsipper i arkivdanning og bevaring?

Hvor sikker er BitLocker kryptering i Windows 10 og Windows 11?

Mon, 06 Mar 2023 15:18:44 +0000

Noen klienter har sensitivt materiale som da sikres fysisk med lukket rom, låst dør osv.
I tillegg kan Windows 10 og Windows 11 klienter sikres med BitLocker kryptering som leveres med operativsystemet.

Spørsmålene blir da:
1. Hvor sikker er BitLocker i Windows 10 og Windows 11 i den nyeste variant av BitLocker for de versjoner av Windows?
2. Hvor sikker er BitLocker med eldre versjon som er mer kompatibel for Windows 7?

Er filer produksjonsformatene fra MS Office 365 også Godkjent arkivformat?

Fri, 17 Feb 2023 10:36:47 +0000

Arkivdepot har en viktig rolle i validering av filformater system-uttrekk som blir deponert/avlevert til arkivdepot.

Produksjonslinjen for validering er no akkurat blitt forbedret gjennom at verktøyet Arkade 5 fra versjon 2.9.0 no kjører PRONOM filformatanalyse som har egen kolonne "RF-220301" for Arkivformat med verdier "Gyldig" eller "Ugyldig".

I første tester av Arkade 5 v2.9.0 så fremgår det at følgende formater fra MS Office 365 noteres som Gyldig arkivformat:
- fmt/411 Microsoft Word for Windows | 2007 onwards (.docx)
- fmt/214 Microsoft Excel for Windows | 2007 onwards (.xlsx)
- fmt/215 Microsoft Powerpoint for Windows | 2007 onwards (.xlsx)
- Eventuelt flere av formatene i MS Office porteføljen?

Merk at Arkivforskriften har følgende notert
§ 5-17.Godkjente filformater for arkivdokumenter ved avlevering eller deponering
- a. Arkivdokumenter med ren tekst: For tekstdokumenter i OOXML eller ODF format bør en PDF/A-versjon leveres som tillegg.
- g. For regneark aksepteres følgende formater: For regneark i OOXML eller ODF format bør en PDF/A-versjon leveres som tillegg.
- i. For presentasjoner aksepteres følgende formater: For presentasjoner i OOXML eller ODF format bør en PDF/A-versjon leveres som tillegg.

Wikipedia om OOXML

Vil det si at alt som lagres som .docx, .xlsx og .pptx da per definiasjon kommer innunder pkt. a), g) og i) over og er OOXML?
- Hva da med valget i installering av MS Office om man skal ha standard Microsoft eller Open XML format?
- Et valg som vel også kan endres underveis?
- Er det da BARE om man lagrer bevisst som Open XML fra MS Office at det er Gyldig arkivformat?
- I så fall blir det vel tvilsomt å generelt sette alle disse til Gyldig arkivformat?

Mer også at det er lagt inn følgende forslag til notasjon fra Arkade 5 i Arkivformat kolonne:
- Gyldig* altså legge til en stjerne når man har betingelse på "bør en PDF/A-versjon leveres som tillegg"
- Gyldig** altså legge til to stjerner for alle pakkede filer (zip, 7zip, rar. m.m.) fordi det er pakkeformatet som er Gyldig, mens innholdet må vurderes separat

Se også Arkade 5 GitHub Issue 158:
- PRONOM PUID filformat versus Gyldig arkivformat feil og hvor er master listen? #158

MS Office valg Standard filtyper
- Office Open XML-formater (standard Word, Excel og PowerPoint)
- OpenDocument-formater (ODF-filformater)
- La til dette avsnittet etter å ha testet nyinstallasjon av MS Office, så det korrekte over er MS Office ELLER Libre/Open Office formatene, noe som slår beina under argumentasjon og spørsmål over. Svar likevel på spørsmålet med vurderinger om filformater og validering her.

Hva finnes av (norske) tjenesteleverandører av backup lagring?

Thu, 09 Feb 2023 12:19:32 +0000

Produksjon av digitale filer og samlinger øker og behovet for å lagre backup på en sikker møte øker da tilsvarende.

Hva finnes det av sikre, fortrinnsvis norske, leverandører av backup lagring?

Spørsmålet er ikke direkte knyttet opp mot bevaring av digitalt skapt arkivmateriale og lagring i et egnet depotforvaltningssystem.

Men mer generelt behovet for å lagre sikkert backup av løpende oppbevart data som det man ellers må ha lokal backup av på disk/tape. Kanskje behovet er å ha både en lokal kopi og en ekstra backup i tillegg på en sikker ekstern lokasjon som en tjenestetilbyder leverer.

Metode for lagring til ekstern backup er også å foretrekke styrt av en egnet backup progamvare som Veeam eller lignende.

Hvordan detektere at binære BLOB data er lagret i tekstfelt CLOB?

Wed, 01 Feb 2023 11:08:24 +0000

Hvordan kan uttrekksprodusent og videre depot detektere at binære verdier av data av type BLOB er blitt lagret i tekst CLOB-felter i en eller flere tabeller i databasen som skal bevares?

Eksempel at en binær fil som PDF er lagret i et tekstfelt (CLOB) som longtext i stedet for å bli lagret i et binært felt som longblob (BLOB)?

Problemet er at uttrekksprogrammet som lager SIARD-fil for uttrekke kan risikere å lagre binær fil gjennom et UTF-8 filter, slik at alle binære bytes med verdier 0-255, da blir filtrerte slik at UTF-8 ugyldige tegn av disse 256 tegn da får erstatningstegn i stedet for det korrekte byte. Dermed blir lagret fil korrumpert til en ubrukelig "tekstfil" i stedet for originalen som f. eks. var PDF binær fil.

Spørmål
- Er det enkelt å lage et analyseprogram som sjekker innhold i slike CLOB tekstfelter for ugyldige bytes?
- Hvilke andre strategier kan vi gå for?
- Ytfyllende teknisk beskrivelse av problemstiling er det fint hvis noen database-eksperter kan utfylle informasjon på?
- Hvordan kan binær verdi lagres i et tekstfelt i utgangspunktet?

Firebird SIARD-uttrekk med Full Convert BLOBs blir lagret som CLOBs?

Sat, 28 Jan 2023 13:46:45 +0000

Utfordringer knyttet til SIARD-uttrekk fra Firebird database (HK Oppvekst i eksempelet) tatt med Full Convert v21.12.1661.

Mål:
- Komme til bunns i feilen og sørge for at den forsvinner
- Sannsynligvis via en fix i Full Convert
- Eller at man i Full Convert må gå inn og tvangssetter output format for feltene det gjelder i tabeller som har dem

Foreløbig konklusjon:
- Noen BLOB felter i Firebird v2.5 database blir lagret som CLOB i SIARD-utrekket
- Kontroll/gjenbruk i innsyn med SIARD til f. eks. MySQL gir da Full Convert feilmelding "Digest mismatch for LOB file i column HKDOC for row "
- Tabellen blir derfor utelatt og merket som ERROR og kommer derfor ikke med i MySQL databasen for innsyn

Aktiviteter:
- De som har tilgjengelig Firebird database(r) må teste SIARD-uttrekk med Full Convert på BLOB felter
- Spectral Core vil da kunne rette feilen og vi komme til bunns i problemstillingen

Fix i Depot for SIARD-uttrekk med satt CLOB felttype der det skulle været BLOB:
1. Sett Notepad++ som redigeringsprogram i 7zip
2. Rediger .siard\header\metadata.xml og endre element type til BLOB for alle tabeller & felt med feilen
3. Rediger hver enkelt tabells .xsd til blobType i stedet for clobType med feilen
4. Husk å sjekke at Notepad++ ved lukking fører til at 7zip gir dialog spørsmål om SIARD-fil skal oppdateres (hvis ikke må du endre på nytt i SIARD fila)

.siard\header\metadata.xml endringer: Til

<type>BLOB</type>

.siard\header\metadata.xml endringer: Fra

> <column> 	
>    <name>HKDOC</name>
> 	 <lobFolder>schema0/table53/lob6</lobFolder> 	
>    <type>CLOB</type>
> 	 <typeOriginal>BLOB SUB_TYPE 1</typeOriginal>
> 	 <nullable>true</nullable> 	
>    <description></description> 
> </column>

.siard\content\schema0\table_n\table_n>.xsd: Til

>      <xs:element name="c6" minOccurs="0"> type="blobType" />

.siard\content\schema0\table_n\table_n.xsd: Fra

> <!-- complex type record --> 
> <xs:complexType name="recordType">
> 	<xs:annotation /> 	
>  <xs:sequence> 		
>      <xs:element name="c1">type="xs:integer" /> 		
>      <xs:element name="c2" minOccurs="0"> type="xs:string" /> 		
>      <xs:element name="c3" minOccurs="0" > type="dateTimeType" /> 		
>      <xs:element name="c4" minOccurs="0"> type="xs:string" /> 		
>      <xs:element name="c5" minOccurs="0"> type="dateTimeType" /> 		
>      <xs:element name="c6" minOccurs="0"> type="clobType" /> 	
> </xs:sequence> 
> </xs:complexType>

Relevant utdanning for IT-arkivarer?

Tue, 24 Jan 2023 10:07:15 +0000

Hva finnes av relevant utdanning og kurs for IT-arkivarer?

Vårt fagmiljø for IT-arkivarer er fortsatt lite og her er behov for utdanning:
- Papirarkivarer (typisk inn fra papir-arkiv/historiker o.l.), med behov for IT-kunnskap
- IT-utdannede med behov for arkivar-kunnskap og forståelse
- For alle tilfeller, behov for kunnskap om datasystemer, uttrekk og produksjonslinje for bevaring og formidling med tilhørende verktøy

Hvilke utdanningsinstitusjoner har
- Utdanning/fag for en IT-arkivar, både IT-teknisk og arkivfaglig?
- Både heltids og deltidsstudie, og ev. mulighet for nettstudie?

Lenker og info?

KDRS planlegger kursing mot behovene som IT-arkivarene (og arkivarer generelt) har behov for for sine KAI-medlemmer og generelt for fagmiljøet vårt. Men det blir mer praktisk rettet måt egne medlemmers behov og en mer grunnleggende utdanning må en utdanningsinstitusjon kunne tilby?

Rutine for sletting av mottatt data og arbeidskopi

Wed, 19 Oct 2022 12:59:28 +0000

Oppfølgingsspørsmål på forrige "Kvalitet på deponeringspakke".

Vi jobber med mottatt data i en server. Vi har mottatt data, arbeidskopi og endelig AIP på serveren.
Har dere rutiner for sletting av slike data?
Hvilke kriterier har dere i rutine for sletting?

Vi tenker slik at når vi er 100% sikker på "AIP er komplett og har tilstrekkelig kvalitet" sletter vi mottatt data, arbeidskopi og endelig AIP på serveren.
Men hvordan måler vi kompletthet og tilstrekkelig kvalitet, og dermed blir sikker på vi sletter slike ting...

Kvalitet på deponeringspakke

Wed, 19 Oct 2022 12:47:59 +0000

Lurer nemlig på hvordan andre
- sikrer kompletthet (eller pålitelighet, integritet og sutentisitet) på uttrekk mot "originale" databaser
- måler kvalitet på deponeringspakke

Hvilke rutiner har dere rundt disse problemstillingene?
Hva krever/mottar dere som deponeringspakke(SIP) fra kommune/leverandør i tillegg til uttrekk(SIARD, Noark eller andre formater)?
Hva tester dere?
Hva deponerer/overfører dere til KDRS som AIP?

Hvilke muligheter har man får å eksportere fra .pst filer?

Mon, 10 Oct 2022 09:25:05 +0000

Hvilke muligheter har man får å eksportere fra .pst filer? Kan man eksportere /splitte opp fra porteføljer til enkelt eposter (med vedlegg)? Andre måter å få ut epostene?

Hvordan automatisere SQL-spørringer mot databaser?

Wed, 05 Oct 2022 08:53:51 +0000

Hvordan og hvilke verktøy kan vi bruke til å automatisere spørringer mot databaser?

Følgende verketøy er i start testing:

DBeaver
- DBeaver @Export <= Hvordan få kjørt automatisering her?

KDRS Query
- Siste publiserte v0.9 håndterer ikke godt nok enda SQL-spørringer
- Det arbeides med en oppdatering som kan kjøre mange SQL-spørringer på en gang fra en tekstfil

Eksempler for SQL-query mot en ephorte Noark 4-database

-- N4.04.01 Antall rader i tabell journpost
select concat ('N4.04.01 Antall rader i journpost: ', cast( (select count(*) from journpost) as char) );

-- N4.04.02 Antall journalposter per status
select JP_STATUS_JS, count(*) from journpost group by JP_STATUS_JS order by JP_STATUS_JS;

-- N4.04.03 Antall journalposter per arkivdel
select SA_ARKDEL_AD, count(*) from journpost join noarksak on JP_SAID=SA_ID group by SA_ARKDEL_AD order by SA_ARKDEL_AD;

-- N4.04.04 Antall journalposter per aar
select JP_JAAR, count(*) from journpost group by JP_JAAR order by JP_JAAR;

En test med DBeaver @Export som feilet
- Link til spec for @Export over forteller ikke hvordan man får kjørt dette
- Noen som vet hvordan det kan kjøres på korrekt måte slik at man kan kjøre mange SQL i en kjøring og lagre resultatene ut til filer?

@export { "type": "csv", "producer": { ... }, "consumer": { ... }, "processor": { ... } }
select * from arkiv order by AR_ARKIV;

veraPDF krasjer og lukker seg - memory problem og løsning?

Fri, 16 Sep 2022 08:55:18 +0000

veraPDF fungerer stabilt og greit i validering av PDF/A-filer for de fleste uttrekk vi har, men i noen tilfeller så krasjer programmet ukontrollert og lukker seg uten spor av hva som var problemet

Sannsynlig betingelse for krasj?
- Stort antall filer, f. eks. rundt 1 million og mer
- Forekomst av store PDF-filer, f. eks. tegning byggesak på 100 MB og større

Mulige årsaker til krasj?
- Memory problem bygger seg opp i java kjøringen?
- Memory probem knyttet til enkeltfil som er stor (100 MB og større)?

Mulige løsninger på problemet?
- Hvordan kan man kjøre veraPDF med mer minne? F. eks. fra Windows GUI-varianten fra bat-filen der?
- Annet?

Erfart krasj med veraPDF v1.20.3 og tidligere versjoner, tester no siste versjon v1.22.3.
Benytter "Greenfeld" kompileringen av veraPDF.

Lenker:
- veraPDF
- veraPDF dev varianter
- veraPDF dokumentasjon

Konvertering av *.pages filer

Tue, 30 Aug 2022 11:56:23 +0000

Er det noen av dere som har funnet noe fungerende konverteringsverktøy for *.pages filer fra Apple Pages?

Aller helst direkte til pdf, men alt er av interesse.

Hvilke program brukes til å joine/merge LOB'r

Mon, 29 Aug 2022 10:29:27 +0000

Hei, har en del ESA-Uttrekk med bin-filer som er LOBer som er delt opp i 32kb filer.

Hva brukes til å sette sammen disse igjen?

Ser at det er nevnt i andre tråder at dette skal være Word Perfect filer orginalt.

Pronom analysen sier fmt/208 (bin-fil)

Hva finnes av Noark 5 anbudsdokumentasjon i form av dokumenter, prosesser og verktøy?

Thu, 25 Aug 2022 14:55:13 +0000

Det gis veiledning i arkivdanning, kravspesifikasjon og anbudsdokumenter i anskaffelse av Noark 5 versjon 5.0.

Hva finnes av dokumentasjon i fagmiljøet som støtter oppunder arkiskapers anskaffelse og anbudsdokumentasjon?
Gjerne spesialisert inn mot Noark 5 arkivkjerne med logging og uttrekk prosess, kvalitet og validering?

Momenter
- Noark 5 versjon 5.5 kravspesifikasjon?
- Erfaringer fra det norske arkivmiljøet av arkivskapere og depot?
- Dokumenter for anskaffelse i anbud?
- Prosesser for anbud (inklusiv dokumentasjon)
- Verktøy som støtter oppunder anskaffelsen og prosessene?

Anbefalte kurs i datasikkerhet og etisk hacking?

Thu, 18 Aug 2022 14:44:07 +0000

Hva finnes av gode kurs i datasikkerhet og etisk hacking?
- Fortrinnsvis nettbaserte kurs
- Praktisk tilnærming slik at vi kan ha nytte av dem i det daglige
- Norske
- Engelsk-språklige
- Fra lavt og middels nivå med mulighet til fordypning

Graderte dokumenter i ESA før 2003/04

Thu, 28 Jul 2022 09:45:37 +0000

Hei

Jeg sitter med dokumenter fra ESA, produsert perioden 1998 - 2003/04 i WordPerfect.
Ikke graderte dokumenter kan jeg åpne og lese med MS word, men gradetre dokumenter kan jeg ikke lese. (filene åpnes men uforståelig).

Har noen erfaring med dette?
Hvordan kan jeg åpne de graderte dokumentene?
Hvorfor er de lagret sånn?

Takk for hjelpen!
Orie

Infodoc Plenario - bevaringsvurdering av EDI-tabeller

Fri, 17 Jun 2022 11:47:57 +0000

Ved IKA Rogaland begynte vi å arbeide med et innlevert siard-uttrekk fra fagsystemet InfoDoc Plenario fra Tysvær kommune i april 2022. Systemet ble brukt ved et kommunalt legekontor i perioden 2004-2020. Den 14. april startet vi en konverteringsprosess i Documaster Decom og LibreOffice. Denne prosessen var ferdig 4. mai 2022. Konverteringsprosessen gikk altså i flere uker og endte opp med følgende resultat:

IN_PROGRESS: 0
FAILED: 113
SUCCESSFUL: 55558
IDLE: 0
NOT_CONVERTED: 1061790

Ved IKA fant raskt ut at svært mange av filene som ikke ble konvertert var kryptert, komprimertt (zip) eller passordbeskyttet. Vi så derfor raskt behov for å finne ut mer om hva som lå bak disse tallene. Det ble derfor gjort en bevaringsvurdering knyttet til de tabellene som inneholdt BLOB- og CLOB-elementer i dette InfoDoc uttrekket.
(Denne detaljerte bevaringsvurderingen kan du få ved å henvende deg til IKA Rogaland.)

Vi fant ut at svært mange av de BLOB- og CLOB-elementene som Documaster Decom og LibreOffice ikke konverterte var knyttet til såkalt elektronisk datautveksling (EDI) mye basert på bl.a. det som kalles Advanced Message Queuing Protocol (AMQP) som er en åpen standart for meldingsorientert mellomvare. Hele EDI forholdet går på sikring av automatisert kommunikasjon inn og ut av fagsystemet. Denne teknologien har en tendens til å logge svært mye i systemet og bli svært volumiøs, og den har ikke direkte med saksbehandling eller klientbehandling å gjøre. Det er funksjonalitet som transporterer informasjon på en sikker måte inn og ut av systemet og logger dette. I systemdokumentasjonen heter det om EDI funksjonaliteten i systemet: "Program for elektronisk sikker kommunikasjon av pasientdata. Programmet mottar og dekrypterer meldinger og krypterer og sender meldinger". Ved IKA vurderer vi dette som dokumentasjon som kan arkivbegrenses i forbindelse med overføring til arkivdepot iht. §14 i arkivforskrifta.

På grunnlag av denne bevaringsvurderingen konkluderte vi at i arkivdepotpakken (AIP) trenger ikke EDI elementene å tas med. De blir derimot liggende i arkivpakken IKA mottok fra Tysvær kommune (SIP). IKA laget derfor en ny siard-file med SpectralCore FullConvert hvor alle EDI tabellene ble sløyfet. Denne ble så behandlet i Documaster Decom og utgjør AIP.

Behandlingen av den nye siard-fila i Documaster Decom viser at volumet av BLOB- og CLOB-elementer knyttet til EDI funksjonen til systemet er svært volumiøs. Følgende tall illustrerer dette. I det opprinnelige uttrekket som IKA mottok fra Tysvær kommune var det 1117461 BLOB- og CLOB-elementer. Etter å ha fjernet alle EDI-tabellene fra uttrekket og laget ei ny siard-file startet vi en ny konverteringsprosess i Documaster Decom og LibreOffice. Denne viser at antallet BLOB- og CLOB-elementer er redusert til 261001. Dette betyr at i dette konkrete uttrekket er 856460 BLOB- og CLOB-elementer arkivbegrenset med utgangspunkt i den ovenfor nevnt bevaringsvurderingen.

Kan du gjerne nevne andre verktøy i forhold til analyse filformat?

Fri, 10 Jun 2022 10:44:53 +0000

Kan du gjerne nevne andre verktøy i forhold til analyse filformat? DRIOD fingere ikke for alle type filer. Hørt om Siegfried i KDRS samling som er nyttig.

Konsekvensvurdering av resultater fra VeraPDF valideringsprosess

Thu, 21 Apr 2022 12:07:11 +0000

VeraPDF gjennomfører mange tester opp mot PDF/A standardene, men det er ikke alltid like tydelig ut fra testrapporten hva som er konsekvens av de forskjellige feilene. For svært mange dokumenter har det liten betydning om det kommer et fargeavvik når dokumentet skal vises, men det kan være mer dramatisk dersom filen ikke lar seg åpne på grunn av feil komprimering eller at skrifttyper ikke er tilgjengelig. Har noen gjennomført en konsekvensvurdering av de forskjellige feilmeldingene fra testverktøyet?

Jeg er også nysgjerrig på om det er gjort en vurdering av hvilke feil som kan korrigeres i etterkant. Jeg tenker i utgangspunktet at det kan være mulig å legge til manglende skrifttyper, mens det er svært vanskelig/umulig å legge til en korrekt fargeprofil dersom det ikke ble gjort ved innskanning.

Testkriteriene brukt av VeraPDF er dokumentert på https://docs.verapdf.org/validation/

KDRS Innsyn - Piql Insight søk, indeksering og intelligent analyse datakvalitet

Fri, 11 Mar 2022 11:24:34 +0000

Hvordan kan vi bruke KDRS Innsyn - Piql Insight søk for indeksering og intelliget analyse av datakvalitet?

Utgangspunkt er KDRS Innsyn - Piql Insight utviklet av KDRS med støtte fra Arkivverkets utviklingsmidler
- KDRS Innsyn - Piql Insight v1.0.0 mot Noark 5
- Siste versjon Piql Insight v1.1.0 med støtte for flere formater og funksjonalitet
- Siste beta Piql Insight v1.2.0 beta3

Eksempel her tar utgangspunkt i importert Noark 5 v3.1 arkivstruktur.xml

Piql Insight gir opsjon etter import uttrekket eks
- "37703 vedlegg funnet (totalt 12135 MB). Skal de gjøre søkbare?"
- Svarte JA her og får da totalt 37198 .txt filer i en undermappe "\vedlegg"
- De fleste dokumenter ser ut til å ha fin tekst
- En del dokumenter har kryptiske tegn
- En del dokumenter er åpenbart nestet tom for innhold
- En del dokumenter er helt tomme = 0 kB

Spørsmål
1. Hvilke verktøy kan vi bruke i Depot for validering og dokumentasjon av datakvalitet på tekstlig innhold av disse .txt filene? Her er intelligent datanalyse interessant, i stedet for at vi bare må ta stikkprøver å se manuelt et utvalg av indeksfilene!
2. Hvilke kriterier bruker Piql Insight på indeksering fra filer som finnes i uttrekket inn mot indeksering? Tar man kun PDF/A filer, alle PDF filer, andre utvalg av filformater, basert på filendelse eller analyse av filtypen eller tas alle filer som finnes tilgjengelig?

KDRS Innsyn - Piql Insight

Hva er sikker nok kryptering av zip og 7zip uttrekk som sendes til depot?

Wed, 02 Mar 2022 11:08:51 +0000

Depot mottar digitalt skapt arkivmateriale gjennom uttrekk av databasesystemer og innlevering av disse. Arkivskaper lager typisk Noark 5 og/eller SIARD-uttrekk som pakkes etter Riksarkivarens forskrift som en .tar fil (typisk med verktøyet Arkade fa Arkivverket). I tillegg må avsender kryptere uttrekket, altså flytte nevnte .tar fil inn i typisk en PKZIP .zip fil eller 7zip fil med passordbeskyttelse (kryptering).

Spørsmålene er da

Hvor sikker er en slik kryptering?
Hvor langt passord og med hvilke krav til tegnfordeling må vi stille til avsender?
Hva skal til for å knekke krypteringen med programvare og datamaskinkraft?
Hvor stor risiko er det at avsender tar med info.xml = .xml i kryptert pakke? Da siden denne kan være fritt tilgjengelig og at det er lettere å knekke et zip/7zip passord hvis man har tilgjengelig en av filene i krytert pakke?
Hvilke andre alternativer har vi til PKZIP og 7zip pakkerformater?

Punkt 1, 2 og 3 må presiseres pr. pakket standard og undervalg i krypteringen av disse.

How safe can PKZIP-compatible encryption be?
How to Encrypt & Password Protect your Files with 7-Zip

Digitalisering for kassasjon - Erfaringer og arkivlov med forskrift?

Tue, 15 Feb 2022 10:19:28 +0000

Hvilke erfaringer har vi i vårt fagmiljø med digitalisering for kassasjon?
Og hva sies om dette i arkivlov med forskrift?

Kapittel 8. Konvertering for digital bevaring - Riksarkivarens forskrift

(3) Konvertering i tråd med bestemmelsene i dette kapitlet er bare tillatt for arkivmateriale som under arkivdanningen er registrert i elektronisk journal eller tilsvarende elektroniske register, og der materialets tilstand ligger til rette for konvertering.

Med de andre kapitler og punkter i Riksarkivarens forskrift
- Finnes det en kortfattet oversikt som oppsummerer hva som er lov, f. eks. med hensyn til alder av materiale og type innhold?
- Har vi en anbefaling vi kan enes om?

Hva er godkjent arkivformat for DWG tegninger i 2D/3D og hvilke verktøy kan vi bruke?

Wed, 19 Jan 2022 10:35:23 +0000

En arkivskaper har en del dokumenter i produksjonsformat DWG, som typisk er AutoCad-tegninger i 2D eller 3D.

Hva er godkjent arkivformat for slike dokumenter?
Og hvilke verktøy kan vi bruke for å lage arkivformat for bevaring?

Her er det jeg fant i et raskt søk på nettet:
Riksarkivarens forskrift, seksjon for godkjente arkivformater
DWG filformat (Wikipedia)
Adobe Acrobat metode
PixEdit Converter Server input-formater
PixEdit Converter Server input-formater, liste i PDF

Digitale privatarkiv - krav/forventninger

Tue, 11 Jan 2022 13:29:04 +0000

Hvilke krav/forventninger har deres organisasjoner til privatarkiv (digitalt)?

Jeg har tidligere tatt utgangspunkt i prosjektet for KDRS prosesser og rutiner, men enkelte hos oss mener det er å kreve for mye av "privatsektor"
Spesielt med hensyn til :

Krav om arkivformater
Unngå Database uttrekk: Heller forsøke å bruke PDF rapporter ifra system, fordi kjerne informasjon finnes ofte igjen i innebygde rapporter

Noe som vil medføre at enten så må man bruke ekstra tid på ordning, eller bare akseptere digitale avlevering slik de er (uten å ordne)

Noen som har noe skriftlig som sendes private arkivskapere?

Hva betyr sikkerhetshullet Apache Log4j for IT-arkivaren i Depot?

Wed, 15 Dec 2021 11:36:58 +0000

Sikkerhetshullet Apache Log4j har bidratt til usikkerhet rundt sårbarheten til de verktøy/programmer som IT-arkivaren bruker i Depot for å motta, validere, godkjenne, bevare, administrere og formidle arkivskapers uttrekk av systemene.

Hva betyr sikkerhetshullet Apache Log4j i praksis for IT-arkivaren i Depot?
Hvilke type verktøy/programmer er utsatt for problemet?
Er det kun Server/Klient-baserte systemer som er utsatt, altså at det er på server side logging man er eksponert?
Eller vil et program som kjører på en lokal klient, men som bruker en slik logg være eksponert fra utsiden av klienten når denne er tilkoblet internett?

Lenker:
- Kritisk sikkerhetshull i Apache Log4j - hva betyr det? - Nasjonal Sikkerhetsmyndighet
- Log4j - Wikipedia
- Apache Log4j 2 - Apache
- log4j og Droid - Landsomfattende Kunnskapsform, spørsmål om Log4j i DROID

log4j og Droid

Tue, 14 Dec 2021 12:26:51 +0000

Hei,

Til info: Droid er et verktøy som benytter den etter hvert beryktede log4j-komponenten fra Apache. Jeg har laget et issue på Github, og de svarte nesten umiddelbart at ny versjon er på vei.

https://github.com/digital-preservation/droid/issues/668