
Ett gemensamt e-arkiv för långtidsbevarande hos Sydarkivera av Elin Jonsson
Kommunalförbundet Sydarkivera är gemensam arkivmyndighet för, i dagsläget, 39 kommuner och en region och fler förbundsmedlemmar är på väg in. I uppdraget ingår att förvalta en gemensam bevarandeplattform för de e-arkiv, elektroniska allmänna handlingar, som övertagits av arkivmyndigheten för långtidsbevarande. Resan startade 2015 när kommunalförbundet bildades med 11 förbundsmedlemmar och i år fyller Sydarkivera 10 år.
Under den här tiden har Sydarkivera förflyttat sig från en grundläggande bevarandeplattform till en utökad bevarandeplattform med olika komponenter som stödjer ett säkert och hållbart långsiktigt digitalt bevarande.
Projektet utökad bevarandeplattform
Sydarkivera införde en första grundläggande bevarandeplattform 2016–2017, som gav stöd för att skapa och förvara arkivpaket. Den grundläggande bevarandeplattformen har etappvis ersatts av en utökad bevarandeplattform under ett internt projekt som genomfördes 2021–2024. Projektet genomfördes parallellt med ordinarie verksamhet och var därför utsträckt i tiden. Metodiken och arbetssätten som infördes under projektet har därefter använts för att uppdatera och införa fler komponenter tillhörande den utökade bevarandeplattformen.
Det är två strategiska beslut som har påverkat valet av programvaror till Sydarkiveras utökade bevarandeplattform. Det första är att i så stor utsträckning som möjligt använda öppna standarder, specifikationer och programvaror. Det andra är att systemförvaltning och it-drift ska kunna ske i egen regi. Dessa förutsättningar innebär att ett krav för de öppna programvarorna är att all kod, dokumentation och information som behövs för att kunna införa och förvalta programvarorna finns publicerad öppet. Det får inte finnas några hinder i licenserna att använda programvarorna för de olika ändamål som finns för Sydarkiveras verksamhet.
De metoder och arbetssätt som etablerats i projektet handlar om att läsa och ta del av öppna utbildningar och resurser för träning, genomföra laborationer, tester och slutligen införande i skarp produktion. Samtliga steg dokumenteras och det sker demonstrationer innan beslut om införande. Alla moment genomförs som utgångspunkt av egen personal utan konsultstöd. Det kan finnas flera goda skäl till att använda konsulter för både projekt, förvaltning och utveckling. Syftet för det aktuella projektet var dock att säkerställa att de öppna programvarorna är tillräckligt väl fungerande, dokumenterade och paketerade för att det ska vara möjligt att använda dem utan tidigare erfarenheter och externa beroenden.
Den externa testbädden
Den inledande etappen för projektet handlade om att sätta upp ramarna för Sydarkiveras externa testbädd. Det är en externt åtkomlig teknisk miljö med olika virtuella maskiner för att testa och utvärdera programvaror samt att genomföra laborationer i samverkan med externa aktörer. För testbädden finns bland annat administrativa rutiner och mallar för labbrapporter som stödjer arbetet med laborationer. Det är ett stöd både för att genomföra själva laborationerna och för att återföra lärdomarna till de som deltar.
Mottagningen
I den andra etappen infördes Sydarkiveras uppdaterade mottagning som var klar för att användas i skarp produktion hösten 2022. Från enstaka leveranser de första åren tar Sydarkivera de senaste åren emot två överföringar i veckan. Mottagningen tar hand om testleveranser och skarpa arkivleveranser från förbundsmedlemmarna, genomför olika tester och förbereder för inläsning i arkivet. Det är mottagningsansvariga tekniker hos Sydarkivera som löpande hanterar mottagningen och de tillhörande programvarorna. Till mottagningen hör tjänster för säker filöverföring, karantänstationer och den del av mottagningsmiljön som används för att analysera, granska och kontrollera materialet som har överförts.
Mottagningen är en del av det som inom e-arkivering brukar benämnas Pre Ingest. Sydarkiveras tekniker och arkivarier hjälper förbundsmedlemmarna att kontrollera arkivleveranserna och förbereda materialet för långtidsbevarande. Det sker dels systematiska kontroller med olika verktyg och programvaror, dels fördjupade kontroller av innehåll i samband med gemensamma webbmöten mellan förbundsmedlem och Sydarkivera. På det här sättet får förbundsmedlemmarna hjälp med att förstå funktioner och format för arkiveringsuttag och även stöd i dialogen med systemleverantören om det finns avvikelser som behöver åtgärd från systemleverantörens sida.
Nya programvaror införs efter hand på mottagningen beroende på vad det är för typ av information som överförs. Några av de centrala verktyg som används är de öppna programvarorna Droid för att identifiera filformat, Jhove för filformatsvalidering, VeraPDF för validering av PDF/A-filer och Apache Tika för djupare analys av innehåll och metadata. Det behövs särskilda programvaror för multimedia, ritningar och teknisk dokumentation eller andra mer specialiserade filformat. Det är inte alla programvaror som är öppna. Bland annat används Oxygen för att validera XML mot angivna scheman och granska visningsformaten baserade på medföljande visningsmallar.
Sydarkivera tar emot arkivleveranser i många olika format. Det finns inte krav om mappning mot något specifikt schema för strukturerade data eller någon begränsning när det gäller format för bifogade filer (stora objekt). Både format som följer gemensamma specifikationer och produktspecifika format är tillåtna om de är öppna och följer sina egna regler. Det innebär att fasta körbara processer inte varit en prioritet för mottagningen. Fokuset är rutiner och instruktioner som mottagningsansvariga tekniker följer men som kan anpassas för nya användningsfall. Resultatet från kontroller sparas i paketen som loggar eller metadata.
”Syftet för det aktuella projektet var dock att säkerställa att de öppna programvarorna är tillräckligt väl fungerande, dokumenterade och paketerade för att det ska vara möjligt att använda dem utan tidigare erfarenheter och externa beroenden.”
Bevarandesystemet
En central del av den utökade bevarandeplattformen är programvaran som hanterar informationspaket för långsiktigt digitalt bevarande. Införandet skedde under den tredje och avslutande etappen av projektet 2023–2024. Bevarandesystemet är ett oberoende arkivinformationssystem där objekt hanteras och lagras som informationspaket. Pakten är självbärande och innehåller objekten som ska bevaras, metadata och dokumentation. Det som behövs för att förstå och visa upp informationen ska finnas i paketet tillsammans med bevis för att informationen är äkta och oförändrad. Innehållet i paketet varierar beroende på vad det är för typ av information och format som ska bevaras för framtiden. Dubbel bevarandestrategi tillämpas som huvudregel, vilket betyder att Sydarkivera sparar både de ursprungliga formaten och de normaliserade filerna i bevarandeformat.
Sydarkivera har valt den öppna programvaran Archivematica som utvecklas av det kanadensiska företaget Artefactual. Valet skedde efter att projektet jämfört olika förekommande öppna programvaror för oberoende arkivinformationssystem. Archivematica var överlägsen de andra programvarorna som testades. Dels vad avser omfattande dokumentation, tillgång till internationellt och nationellt community för att byta erfarenheter med andra, dels hanteringen av utveckling, kod, paketering och möjlighet att integrera med olika lagrings- och utlämnandesystem.
Väsentligt för valet är att Archivematica har få begränsningar när det gäller digitala filer som kan hanteras. Det går att paketera filkataloger med olika innehåll, olika typer av överföringspaket med strukturerade data, multimediafiler, webbarkivfiler som Warc, databaser och även skivavbildningar som är virtuella kopior av disketter eller andra diskar. Öppenheten att ta emot många olika format är strategiskt viktigt för att på ett rationellt sätt kunna slutarkivera digital information som inte från början är organiserad och formaterad för överföring till arkiv.
Archivematica har ett omfattande filformatsregister med möjlighet att administrera vilka bevarandeåtgärder som ska genomföras för olika förekommande filformat. Inläsningen i Archivematica sker på ett systematiskt och i hög grad automatiserat sätt. Alla händelser loggas som bevarandemetadata i PREMIS-format. Paketen fixeras med hjälp av checksummor som kontrolleras regelbundet med hjälp av Fixity, som är en annan öppen programvara från Artefactual. För att säkra upp materialet sparas replikor av arkivpaketen på externa lagringsmedier som förvaras på annan ort. Policy är att spara materialet i minst tre exemplar på minst två olika typer lagringsmedier.
En utmaning med Archivematica är att det är en förhållandevis komplex miljö som i hög grad är konfigurerbar och där det inte finns färdiga inbyggda begräsningar. För Sydarkivera är det här hanterbart tack vare våra arbetssätt som beskrivs i den här artikeln och det förarbete som sker på mottagningen. En annan begränsning, eller möjliggörare beroende på hur man ser det, är att Archivematica fokuserar på hanteringen av informationspaket. Den sökning och framtagning som är inbyggd går inte längre ner än på paket- och filnivå. Vill man visa upp handlingar eller lämna ut dem via ett gränssnitt som är användarvänligt, behöver Archivematica kompletteras med utlämnandesystem.
Utlämnandesystemen
Slutarkiverade webbplatser är externt åtkomliga för inloggade användare. Det externa webbarkivet har uppdaterats i år och OpenWayback har ersatts av Pywb som bland annat stödjer mer användarvänliga sökfunktioner.
Arbete pågår med att sätta upp ett utlämnandesystem för databaser åtkomligt för besökare på plats hos oss i Alvesta. Utlämnandesystemet baseras på Database Preservation Toolkit (DBPTK) och visningsmallar som utvecklas med stöd av KDRS Search and View. Det senare genom att samarbete med norska KDRS – Kommunearkivinstitusjonenes Digitale Ressurssenter SA.
I övrigt sker framtagning och förberedelser för utlämnande i hög grad manuellt. Det beror på att mycket av det material som slutarkiveras är journaler och personakter med känsliga personuppgifter och sekretess. Systemstöd för utlämnande planeras på sikt när materialet växer och frågorna ökar.
Arkivförteckningarna
Sydarkivera förtecknar arkivpaket med stöd av ett separat arkivredovisningssystem där arkivförteckningarna är tillgängliga via webben. Varje arkivpaket förtecknas som en volym i serier på samma sätt som traditionen är för analoga arkiv. För att underlätta sökning förtecknas verksamhetsområden som arkivbildare, oberoende av nämndstrukturen. Hur kommunerna och regionen organiserat sig i nämnder och styrelser bevaras i arkivbeskrivningarna. På det här sättet skiljer sig Sydarkiveras arkivförteckningar från det vanliga sättet att förteckna kommunala arkiv.
Samverkan en nyckel
Samverkan har varit och fortsätter att vara en strategiskt viktig förutsättning för långsiktigt digitalt bevarande på ett hållbart sätt. Internationellt deltar Sydarkivera både i användargrupper och arbetsgrupper för de programvaror, standarder och specifikationer som används. Sydarkiveras metadatastrateg deltar i flertalet av de arbetsgrupper som finns för standarderna som används för arkivredovisning, paketstruktur för identifiering och fixering samt bevarandeinformation för spårbarhet och bevarandeåtgärder. Ett strategiskt viktigt initiativ är Open Preservation Foundation, OPF, som förvaltar flera av programvarorna för kontroll av filformat som ingår i Sydarkiveras utökade bevarandeplattform. Företag som är aktiva inom digitalt bevarande som till exempel Artefactual är medlemmar i OPF. Andra medlemmar är nationalarkiv, bibliotek och universitet, bland andra svenska Riksarkivet och Kungliga biblioteket.
Sydarkivera deltar även i nationella nätverk som svenska Archivematica-användargruppen som samordnas av ArkivIT, e-arkivnätverket som samordnas av SkånEarkiv, nätverket Nosad för samverkan kring öppna data och öppen källkod och föreningen Arkeion, för att nämna ett urval.
”Öppenheten att ta emot många olika format är strategiskt viktigt för att på ett rationellt sätt kunna slutarkivera digital information som inte från början är organiserad och formaterad för överföring till arkiv.”
Uppdraget
Sydarkiveras uppdrag när det gäller bevarandeplattformen är begränsat till slutarkivet och det långsiktiga digitala bevarandet hos arkivmyndigheten. Sydarkivera ansvarar fullt ut för e-arkiv som övertagits av oss. Ansvaret omfattar både informationen och systemen som används för långtidsbevarande. Det är Sydarkiveras personal som förtecknar, tar fram handlingar, prövar utlämnande och vårdar de digitala arkiven. Förbundsstyrelsen som gemensam arkivmyndighet ansvarar för verksamheten och beslutar om verksamhetens ramar och övergripande inriktning.
Att vara en oberoende organisation för långtidsarkivering som kan fatta gemensamma beslut om arkivet ser vi som en viktig möjliggörare för en effektiv förvaltning av det oberoende arkivinformationsystemet på mycket lång sikt. En del av komplexiteten som finns när det gäller att samverka mellan många minskar när det mottagande arkivet är en oberoende organisation. Det gäller inte minst processen att välja tekniska lösningar när det är arkivmyndigheten som självständigt gör utvärderingarna och tar besluten. Det är viktigt eftersom långsiktigt digitalt bevarande i sig är ett komplext verksamhetsområde. Inte minst för kommuner och regioner som har många olika verksamhetsområden med många olika verksamhetssystem och informationstyper.
Framtiden
Sydarkivera har valt att bygga från grunden och skapa en gemensam plattform för långtidsbevarande hos arkivmyndigheten. De första tio åren har fokus varit mottagning av digitala arkivleveranser och att säkerställa det digitala långtidsbevarandet. Processerna och metoderna för att ta emot digitala arkivleveranser är definierade och utprovade. I takt med att alltmer information överlämnas till Sydarkivera som gemensam arkivmyndighet förflyttas fokus mer mot utlämnande av information. Det som driver på utvecklingen är framför allt att förfrågningarna om utlämnande blir fler, men också att Sydarkivera har ingående kunskaper om de informationstyper och format som förekommer. Systemen och tjänsterna för att lämna ut information är det som vi ser kommer att förändras mest de kommande tio åren. I det kommande arbetet blir det därför viktigt att identifiera olika intressentgrupper och skapa en dialog med arkivets användare.
Elin Jonsson, bevarandestrateg hos Sydarkivera och har följt med förbundet sedan starten 2015. Framförallt engagerad i samordningen av digitala arkivleveranser och förvaltningen av den gemensamma bevarandeplattformen.
Jag har arbetat med digitalt bevarande och systemförvaltning i olika roller sedan början av 2000-talet. Innan Sydarkivera startade var jag projektledare och verksamhetsspecialist i projektet E-arkiv Kronoberg och Blekinge 2013–2014. Jag har deltagit i flera olika nationella projekt kring e-arkiv och digitalt bevarande.