Att (e-)arkivera webbplatser och sociala medier – ArkivIT:s resa och erfarenheter

Redan när ArkivIT startade år 2011 fanns en tanke om att arbeta med webbarkiveringar. Under årens lopp har vi genomfört ett stort antal webbarkiveringar för en mängd kunder. Vi har lärt oss mycket på vägen och tillsammans med våra kunder förfinat insamlingsmetoder, paketeringar och metoder för e-arkivering och tillgängliggörande. De tekniska förutsättningarna har förändrats liksom hur våra kunder använder och utnyttjar olika digitala kommunikationsvägar. Webbplatserna blir fler och mer avancerade genom olika integrationer och dynamiska effekter. Webbplatserna har även kompletterats med en stor mängd sociala medieplattformar såsom Facebook, Instagram, Twitter, Youtube och LinkedIn.

För några år sedan började vi på ArkivIT få frågor från flera av våra kunder om vi kunde vara behjälpliga med att bevara även den information som publicerats eller kommit in via olika sociala medier. Till att börja med var det framför allt Facebook som frågorna gällde. Här fanns inte bara tekniska utmaningar i att fånga all information som kunderna önskade arkivera, eller samla in, utan också regelmässiga och juridiska. Facebook, liksom flera andra liknande tjänster, har till exempel förbud i sina användarvillkor mot att automatiserat samla in information från plattformarna. Samtidigt ställde allt fler arkivinstitutioner krav på, i enlighet med arkivlagen, att myndigheters närvaro på sociala medier skulle dokumenteras och bevaras. 

De spindelverktyg som vi använt för webbarkiveringarna fick vi alltså inte använda. Vi började titta på andra lösningar och hittade möjligheten att hämta information via så kallade API:er (Application Program Interface). Vi hade tidigare haft tankar på att utveckla en tjänst för att möjliggöra för våra kunder att lagra och titta på sina webbarkiveringar, särskilt då vi sett att många e-arkiv visserligen kunde ta emot webbarkiveringarna men att de där blev svåra att komma åt och att titta på. Under hösten och våren 2017/2018 började vi fundera på om inte denna idé gick att kombinera med att bygga en arkiveringslösning för information publicerad på Facebook. 

En av våra utvecklare började undersöka möjligheterna och ganska snabbt hade vi en enkel, men effektiv lösning på plats. Detta var tidigt på våren 2018. Vi hann dock inte lansera lösningen innan den så kallade Cambridge Analytica-skandalen inträffade och Facebook, som också äger Instagram, gjorde i kölvattnet av skandalen stora förändringar i hur externa appar kunde komma åt information via API:erna. Facebook minskade mängden information som kunde hämtas via API:erna och la också till en ansöknings- och godkännandeprocess innan man kunde hämta ut information. 

Vi hade tidigare haft tankar på att utveckla en tjänst för att möjliggöra för våra kunder att lagra och titta på sina webbarkiveringar

Så snart det var möjligt ansökte vi om access och godkännande att hämta ut bl.a. inlägg och kommentarer, efter användares godkännande, för att kunna skapa arkivkopior av information publicerad på Facebooksidor. Vi fick ett godkännande och kunde fortsätta arbetet med att skapa en stabil tjänst för arkivering av Facebooksidor och så småningom, efter en ny ansökningsprocess, även Instagramkonton. 

Strax innan 2019 skulle övergå i år 2020 kände vi oss redo att lansera tjänsten. Vi fick snabbt in de första kunderna. Arbetet med att förbättra gränssnittet och utöka utbudet av sociala medier i tjänsten pågår ständigt. Idag (hösten 2021) erbjuder vi utöver tjänsterna för Facebook och Instagram även arkiveringslösningar för Twitter och till viss del LinkedIn. Vi har även utvecklat en funktion för automatiserad webbinsamling som komplement till våra mer manuella webbarkiveringar. Vi hoppas även att inom kort kunna erbjuda en arkiveringslösning för Youtube. 

Våren 2021 hade vi äntligen enats om ett namn – Arkiwera – till tjänsten, som gått under benämningen Kundportalen tidigare, och en ny logga togs fram. Arkiwera är idag en tjänst för arkivering av information publicerad på sociala medier och webbplatser, och erbjuder även möjlighet till mellanlagring av information. Som användare kan du via gränssnittet i Arkiwera samla in information, titta på den och ladda ned den för inläsning i t.ex. ett e-arkiv eller dokument- och ärendehanteringssystem. Du har även möjlighet att söka i dina insamlade inlägg.  Lösningen ska ses som ett komplement till de e-arkivslösningar som finns idag. Lösningen är inte tänkt att ersätta långtidslagringen i ett e-arkiv, utan erbjuder stöd för insamling och paketering men även tillgängliggörande/uppvisande av information från sociala medier och webbplatser.

Stefan Jacobson, affärsutvecklare och ansvarig säljare för Arkiwera, beskriver att lösningen vänder sig främst till myndigheter, företag och organisationer som vill och behöver spara information från sina sociala medier. Informationen är ofta svår att fånga och om man har många olika sociala medier kan det vara svårt att överblicka in- och utflödet av information i de olika plattformarna. Här hoppas vi att Arkiwera kan vara ett stöd. Det är lätt att tänka att de sociala medierna kommer att finnas för evigt, men det kan vi inte lita på. 

Den feedback som vi har fått från våra kunder har varit väldigt positiv. Däremot ser både vi och våra kunder utmaningar när det gäller antalet kanaler som ska fångas samt hur och var informationen sedan ska bevaras. Struktur och filformat är andra utmaningar samt att plattformarna och flödena ständigt förändras. De rättsliga delarna runt användarvillkor, personuppgiftshantering och olika länders regelverk och lagar skapar även de en del frågor. 

Utvecklingen av Arkiwera har varit agil och skett i ett nära samarbete mellan utvecklare, arkivarie, projektledare och de krav/behov som våra kunder har uttryckt och framfört. Merparten av oss som jobbar med tjänsten idag har varit med från idé- och skisstadiet. Sedan sommaren 2019 har Mike Wang varit huvudansvarig utvecklare för tjänsten.

Utvecklingen av Arkiwera har gått fort och Mike beskriver hur vi parallellt med nyutveckling arbetat med att säkerställa stabilitet och trygghet inom lösningen. I och med att nya funktioner och verksamhetskrav tillkommer behöver övrig systemarkitektur och säkerheten inom lösningen anpassas och säkerställas. Vi är även beroende av de olika sociala medieplattformarnas tekniska förutsättningar vilket kräver ständig omvärldsbevakning och kontinuitet i anpassning av tjänsten. I och med att mängden data som lagras i tjänsten ökar, ökar även krav på sökhastighet och liknande inom Arkiwera. De tekniska utmaningarna förknippade med denna typ av tjänst ställer stora krav på att kunna möta förändrade förutsättningar från den ena dagen till den andra. 

Vi ser även utmaningar i form av att webbplatser blir alltmer dynamiska och svåra att fånga på ett tillfredsställande sätt. Många webbplatser som byggs idag består av databaser, har en mängd funktioner och ”inlänkad” information. Frågan om vad som ska bevaras och hur blir därför något som behöver utvärderas löpande. Det går inte längre att förlita sig på endast en teknisk lösning som kan fånga alla webbplatser. 

Vi tar med oss de erfarenheter och lärdomar vi fått under vår utvecklingsresa in i den fortsatta utvecklingen av Arkiwera. Det som började som en ”enkel” fråga från våra kunder har idag växt till en arkiveringslösning som ständigt anpassas utifrån de förändrade tekniska förutsättningar och de verksamhetskrav som vi möter i dialog med våra kunder. 


Mike Wang, utvecklare på ArkivIT

Stefan Jacobson, Grundare & Affärsutvecklare, ArkivIT och Arkiwera

Magdalena Sjödahl, arkivarie, Arkiwera och ArkivIT

Är du nyfiken på att titta närmare på Arkiwera? Vill du diskutera bevarande av webbplatser och sociala medier? Hör gärna av dig till oss i teamet – vi finns på sociala medier och på webben! #Arkiwera