menu

arrow_back Kvalitet på deponeringspakke

av
(4 poeng) 2
i Elektroniske arkiver
338 visninger
0 stemmer

Lurer nemlig på hvordan andre
- sikrer kompletthet (eller pålitelighet, integritet og sutentisitet) på uttrekk mot "originale" databaser
- måler kvalitet på deponeringspakke

Hvilke rutiner har dere rundt disse problemstillingene?
Hva krever/mottar dere som deponeringspakke(SIP) fra kommune/leverandør i tillegg til uttrekk(SIARD, Noark eller andre formater)?
Hva tester dere?
Hva deponerer/overfører dere til KDRS som AIP?

2 Svar

Akseptert svar
0 stemmer
 
Akseptert svar

Det jeg kan si er at deponering av data er en kompleks oppgave som krever grundig planlegging og gjennomføring. Det er flere faktorer som må tas i betraktning for å sikre kompletthet, pålitelighet, integritet og autentisitet på datafangst fra originale databaser og helhetlige systemer generelt. For å sikre kompletthet og pålitelighet, kan det være lurt å lage interne rutiner som beskriver hvordan man skal utføre tester og kvalitetskontroller på dataene. Dette kan inkludere sjekker for dataintegritet, pålitelighet av metadata, sammenheng mellom forskjellige datakilder, konsistens i dataene og kontrollere andre relevante faktorer som overhold av konkrete instrukser for leverandørene og arkiveiere. Det kan også gjelde kontroll av fremsatte krav til innhold, som dere sammen med deres eiere forfatter.

Hos Arkiv Øst snakker vi om en forsendelse som et komplett set med data, som samlet sett utgjør en deponering og dermed også arkivmateriale (med tilhørende metadata og dokumentasjon) fra en unik herkomst. En forsendelse kan inneholde mange deponeringspakker (eller komponenter) som vi deretter kontrollerer og bruker for å produsere en helhetlig arkivpakke for deponering i vårt depot. Slike forsendelser kan komme i perioder, og det kan også tilføres nye informasjonspakker til en AIP på et senere tidspunkt. Slike supplement kan være f.eks. instruksjoner for formidling, stilsett eller maler som ikke kom med i hovedforsendelsen. Det kan også være nye perioder fra originalsystemet.

Vi fremsetter krav til alle ledd av produksjonslinjen og har laget tilhørende instrukser, skjemabeskrivelser og en veileder som skal bistå alle involverte aktører med sine fastsatte arbeidsoppgaver. Dette strekker seg fra planlegging av datafangst, til tilgjengeligjøring i innsynsløsninger. Vi har blitt nevnt som særdeles strenge hva angår prosessene våre, men det har gitt utrolige resultater så langt.

Vi har også instrukser som sier at en arkiveier bør opprette prosjektgrupper for hver datafangst som skal gjøres. Slik sikrer vi at mest mulig informasjon og dokumentasjon blir innhentet om et gitt system før det fanges.

Her er noen komponenter i fagsystemer dere som arkivdepot kan vurdere instrukser for, eventuelt fremsette krav om, for å garantere for et bestemt nivå av kvalitet:
Listen er ikke komplett og dere må selv lage kriterier som passer til deres organisasjon. Dette avhenger av arkiveierne dere jobber med.

Database
Datafangstens hovedgrunnlag. Oftest trukket ut av en databaseteknologi med verktøy som Full Convert (Spectral Core) eller DBPTK.
Filtyper: .siard, .sqlite, .sql .db, .xml
Påkrevd: JA
Oppføring*: NEW

Dokumenter
Arkivformater skal foreligge i egen mappe (digital files, documents, dokumenter) sammen med database eller i egen deponeringspakke. Det skal kun ligge referanser til dokumentene i grunnlagsdatabasen. Produksjonsformater skal alltid ligge i separat deponeringspakke.
Filtyper: Se §5.17 for aksepterte formater. Det er ingen spesielle krav til produksjons-formater.
Påkrevd: JA
Oppføring: SUPPLEMENT

Dokumentasjon
Dokumentasjon av datarelasjoner, system i bruk og originalsystemets funksjoner og bruksområder. Det skal samtidig foreligge beskrivelser som indikerer forskjell på systemtabeller og brukergenerert innhold i grunnlagsdatabasen.
Filtyper: PDF, CSV og XML.
Påkrevd: NEI*
Oppføring*: SUPPLEMENT

Logger
Logger fra produksjonsmiljø som vedrører innholdet (oppføring, oppdatering, endring og sletting). Det kreves her at disse loggene er riktig referert i grunnlagsdatabasen.
Dette krever ofte gjennomgang av teknisk ansvarlig.
Filtyper: .siard, .sqlite, .sql .db, .xml eller .csv
Påkrevd: NEI*
Oppføring*: SUPPLEMENT

Beskrivelser
Ofte dokumentasjon som beskriver hvilke tabeller som er benyttet for dette formålet. Har det vært tilgangsstyring i et system skal det medfølge konkret informasjon som gjør det mulig å avgrense innholdet.
Filtyper: PDF, CSV og XML.
Påkrevd: NEI*
Oppføring*: SUPPLEMENT

Malsett
Om originalsystemet kunne produsere utskrivbare dokumenter, skal malene som er benyttet for slike utskrifter legges ved. Det kan være maler for f.eks. karakterutskrifter, utgående brev eller vedtak.
Filtyper: f.eks. .dotx, .potx, .tex, .cls, .sty (Makrodokumenter er ikke tillatt)
Påkrevd*: NEI*
Oppføring*: SUPPLEMENT

** Man bør ikke garantere for kvalitet eller fremtidig muligheter for innsyn og oppslag om denne informasjonen ikke foreligger.

For å måle kvaliteten på deponeringspakkene i en forsendelse, må man bruke ulike metoder, for eksempel sjekklister dere selv lager basert på egne behov, eller retningslinjer fra standarder som OAIS.

Vi deponerer ikke til KDRS, så der kan jeg ikke uttale meg. Vi har egne rutiner med bruk av tape-bibliotek og andre sikkerhetshensyn jeg ikke ønsker å snakke om i offentligheten.

Håper dette kan bidra noe.

av
(380 poeng) 1 2 13
akseptert av
Akseptert svar
1 stemme

Svarer punktvis

  • sikrer kompletthet (eller pålitelighet, integritet og autentisitet) på uttrekk mot "originale" databaser
  • Noark 5-uttrekk: Arkade 5 test + sett meg egne XPath opptellinger kontrolleres med arkivleder
  • Hvis originalbasen er migrert før Noark 5-uttrekk, så krever vi SIARD-uttrekk der vi kjører SQL-spørringer og sjekke tall mot Noark 5
  • SIARD-uttrekk: SIARD til MySQL/PostgreSQL og så må det lages SQL-spørringer for de viktigster informasjonselementer og sjekke tall mot Arkivleder/enhetsleder/superbruker
  • måler kvalitet på deponeringspakke
  • Noark 5-uttrekk: Arkade 5 test + sett med egne XPath opptellinger mot Noark 5 v5.0/4.0/3.1 spesifikasjon
  • SIARD-uttrekk: pakker ut siard fil til filkatalog og analyserer metadata.xml inkl. med KDRS Metadata til Excel, kjører PRONOM analyse ev. LOBs, SIARD til MySQL/PostgreSQL for å sjekke gyldighet i praksis til SIARD-pakken

Hvilke rutiner har dere rundt disse problemstillingene?
- Vi prøver å skrive ned rutiner, men savner en samhandling for alle KAI her

Hva krever/mottar dere som deponeringspakke(SIP) fra kommune/leverandør i tillegg til uttrekk(SIARD, Noark eller andre formater)?
- Noark 5: leverandørs rapporter med i SIP \report, ev. \sysdoc også hvis de har
- SIARD-uttrekk: må alltid ta med logg fra uttrekk (enkelte med Spectral Core Full Convert) til mappe \report, viktig med systemdokumentasjon i \sysdoc hvis de har, ellers få fra andre KAI, skjermdumper av ukjente system er veldig viktig hvis mulig

Hva tester dere?
- Noark 5: Arkade 5 test, egne XPaths med KDRS Query, PRONOM filanalyse, PDF/A validering med veraPDF (viktig >= v1.22.3)
- SIARD: SIARD til MySQL/PostgreSQL, SQL-spørringer
- Ønske: Egne malsett for tester av fagsystem samlet i en portel for felles nytte

Hva deponerer/overfører dere til KDRS som AIP?
- AIP-struktur
- content med undermapper \dokumenter, \report, \sysdoc
- descriptive_metadata => info.xml ev. med rev_1, InformasjonOmInnleveringen.docx
- administrative_metadata med undermapper for tester som \arkade5, verapdf\, droid\ (PRONOM filanalyse) m.m.

av
(423 poeng) 1 3 11

Velkommen!

Søk etter svar, still spørsmål og bidra med kunnskap sammen med norges felleskap på felter som arkiv, konservering og formidling. Alle er velkomne som medlemmer! Her er terskelen for å spørre veldig lav.


Kunngjøringer :

Artikkelmodulen vil snart bli tilgjengelig!