Skal vi lagre en SIP.tar fil inne i en AIP.tar fil i depotforvaltningssystemet eller pakke ut SIP innhold før pakking AIP?

Fri, 08 Mar 2024 12:47:01 +0000

Problemstilling og valg i depot:
1. Skal vi lagre DIAS .tar SIP i en DIAS.tar AIP, f. eks. i en DIAS AIP arkivpakke i depotforvaltningssystemet?
2. Eller skal vi pakke ut .tar SIP til mapper med filer og så pakke disse igjen i en DIAS AIP arkivpakke i depotforvaltningssystemet?

Eksempel der SIP.tar har et Noark 5-uttrekk
1. [DIAS].tar\content[SIP].tar
2. [DIAS].tar\content[f. eks. Noark 5-uttrekk med arkivstruktur.xml m.m. og \dokumenter undermappe]

Problemstilingen er den samme om det er SIAS SIP og AIP eller andre pakkestandarder som ligger til grunn for bevaringen.

Jeg har i dag spurt både Microsoft Bing Copilot med GPT-4 og ChatGPT 3.5 om hvor robust en .tar fil er for ytre bit-endringer
Interessant nok kom to helt forskjellig svar som vist under.

Spørsmål:
Siden en tar fil er en bytestrøm samling av flere filer, vill en bitfeil i selve tar filen da kun skade den ene fillen som berøres av den ytre bitfeilen?

ChatGPT 3.5

Ja, i en tar-fil, som er en samling av flere filer pakket sammen, vil en bitfeil vanligvis bare påvirke den spesifikke filen som er berørt av feilen. Når du pakker filer inn i en tar-fil, blir hver fil normalt komprimert og lagt til i tar-arkivet separat. Derfor, hvis det oppstår en bitfeil i tar-filen, vil kun den ene filen som er berørt av feilen, være skadet.

Men det er viktig å merke seg at dette er tilfelle under forutsetningen om at feilen ikke fører til en feil i selve strukturen til tar-filen. Hvis det oppstår en feil i selve strukturen til tar-filen, for eksempel en feil i filoverskriften eller filstrukturen, kan det føre til at flere filer blir utilgjengelige eller skadet. Men i de fleste tilfeller, hvis det er en feil i selve tar-filen, vil det mest sannsynlig bare påvirke den spesifikke filen som er berørt av den feilen.

Microsoft Bing Copilot med GPT-4

Tar-filer er en populær metode for å komprimere og arkivere filer i Unix- og Linux-miljøer. La oss utforske bitfeil og feiltoleranse i forbindelse med Tar-filer:

Bitfeil:
- Bitfeil refererer til uønskede endringer i dataene på bitnivå. Dette kan oppstå under lagring, overføring eller behandling av filer.
- Tar-filer i seg selv gir ingen innebygd mekanisme for å oppdage eller rette bitfeil. Hvis en bitfeil oppstår i en fil som er pakket inn i en Tar-fil, vil den feilaktige filen bli inkludert uten noen spesifikk feilhåndtering.
- For å beskytte mot bitfeil, kan du vurdere å bruke andre verktøy eller metoder, for eksempel checksums, paritetskontroll eller redundans.
Feiltoleranse

Feiltoleranse: Feiltoleranse handler om å minimere risikoen for at systemfeil fører til driftsstans eller tap av data.
Tar-filer kan være en del av en feiltolerant strategi, men de alene gir ikke full feiltoleranse.
For å øke feiltoleransen når du bruker Tar-filer, kan du vurdere følgende tiltak:
Redundans: Lagre flere kopier av Tar-filer på separate steder eller enheter.
Backup: Regelmessig sikkerhetskopiering av Tar-filer til eksterne lagringsenheter.
Overvåking: Overvåk integriteten til Tar-filer ved hjelp av verktøy som md5sum eller sha256sum.
Distribusjon: Distribuer Tar-filer over flere servere eller lagringssteder for å unngå ett enkelt punkt for feil.
RAID: Bruk RAID-konfigurasjoner for å beskytte mot fysiske diskfeil.

Husk at feiltoleranse bør være en helhetlig tilnærming som inkluderer flere lag av beskyttelse, og Tar-filer kan være en del av denne strategien, men ikke den eneste løsningen

Hvilke verktøy kan validere en pakket fil (tar, zip, rar osv.) mot utpakket innhold?

Wed, 27 Sep 2023 06:53:44 +0000

Depot har mange arbeidsoperasjoner i produksjonslinjene som involverer å pakke inn og pakke ut filer og mappestrukturer i en pakket fil. Filformater til pakkede filer er f. eks.:
- tar
- zip
- 7zip
- rar
- osv...

I depot kan det ofte være riktig/nødvendig å validere en utpakket filstruktur mot den pakkede filen av innholdet.

Spørsmål
1. Hvilke verktøy finnes med mulighet for å validere en pakket fil mot utpakkede filer og mappestrukturer? (seinere i linjen)
2. Hvilke verktøy validerer automatisk at utpakket/pakket innhold er identisk med sin opprinnelige form før jobben startet? (idet pakking/utpakking utføres)

Arkade 5?
- Kan validere en DIAS IP (i verktøykassen), men kan den validere generelt pakket fil mot utpakket?

TeraCopy?
7zip?
PkZip?
Andre?

Hvor robust er lagring av DIAS tar arkivpakker?

Thu, 25 Nov 2021 11:43:15 +0000

Et arkivdepot får innlevert for deponering eller avlevering en .tar-fil i DIAS-formatet
- Andre arkivstandarder (DIAS) - Arkivverket
- Pakke/filformatet tar

Hvor robust er lagring av DIAS tar arkivpakker?
Hvis en del av en tar-fil er skadet/har feil, er det mulig å pakke ut de delene av innholdet som er intakt?
Er det mulig å behandle en tar fil sekvensielt, altså behandle ett element om gangen uten å måtte laste inn hele tar-fila i applikasjonen?

Kunnskapsforum - Spørsmål med stikkord tar

Skal vi lagre en SIP.tar fil inne i en AIP.tar fil i depotforvaltningssystemet eller pakke ut SIP innhold før pakking AIP?

Hvilke verktøy kan validere en pakket fil (tar, zip, rar osv.) mot utpakket innhold?

Hvor robust er lagring av DIAS tar arkivpakker?