Do FAIR data ever become heritage?

Since 2014 when they were first launched, the FAIR data principles are getting more and more attention in the research and open science community. Developed in reaction to the incidents with fraudulent research data, by making the data Findable, Accesible, Interoperable and Reusable these incidents should be avoided.

For preservationists it was long unclear whether the “R” included preservation. Reusable data at least require some form of preservation, even if you will preserve the data for 10 years – as required by many funding bodies. The latest EU publication “ Turning FAIR into reality” is clear about this. Lees verder

Is it useful to know who is using which preservation system?

My organization is, as are many others,  looking for a replacement of the current digital preservation system. So I’m curious what is on the market and what other national libraries are using. Websites of commercial vendors like Preservica, Ex Libris and Libnova offer sometimes information about their customers. The websites of the library organizations themselves inform us about their infrastructure. Last year a group of Portugese researchers (Rosa, Carlos André (2018): OPEN SOURCE SOFTWARE FOR DIGITAL PRESERVATION REPOSITORIES: A SURVEY) investigated the currently available open source software for digital preservation repositories.  Some of these open source communities have a list of implementations. Combined with suppliers websites we could have a nice overview of what is available and who has implemented which preservation system. Create a list on google docs, use Gephi to make a graph and you have a nice overview. I started with this exercise but was a bit reluctant to continue.

Firstly,  I thought, there is a risk with such a list: terrorists and hackers might plan to use this information to destroy important cultural heritage resources so perhaps it is best not to centralize this information (likewise: nobody should mention anymore the place of their preservation copies in public, like we did in the past when we were proud of what we had achieved).

But, secondly, even if we had information about who is using which system, we still have an incomplete picture because we do not know whether we share the same concepts, despite our shared OAIS language. I realized this when I saw a Dutch survey report.

The Digital Heritage Network in the Netherland started a survey (sorry folks, only in Dutch) to get an overview of the digital preservation systems in use in the Netherlands. Not only out of curiosity, but also to investigate the need for developing generic services and to promote more collaboration between organizations. The researchers Joost van der Nat and Marcel Ras plan to create a map of digital preservation services in the Netherlands and this survey will give the first ingredients. 50 organizations were selected for this survey, 44 of them responded. 27 of them said to have a digital preservation solution in place , although the impression is that not every respondent meant the same with having a “digital archive” so it is more safe to say that 50% has a digital preservation solution (this was based on the answers they gave on other questions). A third of these 27 organizations did the development of the digital archive themselves (9), but amongst the respondents were early adopters that started years ago when there was hardly any system on the market. The other respondents implemented Preservica (2) and Archivematica (1) or a solution created by a 3rd party provider like Data Matters (1) or Picturae (3). In the Category “others”, systems that were mentioned were Islandora, arQive, DSpace, De Ree and Adlib Filemaker (which are not all long term preservation systems in the OAIS sense). A new iteration of this survey will show a different overview, as there are for example more implementations of Preservica and Archivematica in the Netherlands.

Most of the respondents were familiair with the OAIS functional entities. 10 Organisations had all 6 entities implemented (Preservation Planning is absent in most organizations), but 6 respondents out of 27 did not know which functionalities of OAIS were present in their system, although they said to have a preservation system implemented! And despite the explanation given in the survey.

And here I realized that although people were familiar with OAIS concepts, the answers in the survey showed that they did not have the same definition of a digital archive. Although every question was accompanied by an explanation of the survey creators, respondents still gave answers that were for me beside the point.  And that it might not help me either to have an overview of who is using what digital preservation system. It is the way it is implemented and the organization around the digital archive, that matters. But these things cannot be shared in lists.

So perhaps the old fashioned way of picking up the phone and meeting people is still the best way to get your knowledge. However… for that you need a “phonebook” to know who to contact. So a list might be handy after all.

OAIS and the KB Web Collection history

The Open Archival Information System (OAIS) values the (future) user of the digital archive very much. This “Designated Community” of the archive need to be served by extra information about the archived material in order to be able to make “information” of the preserved bits in the content data object. The understandability of the content of the digital archive can be improved by contextual information about the archive. In a recent article in Alexandria, my colleague Kees Teszelszky and I describe our vision on how to present this contextual information about one special digital collection: the web collection.


The Nikhef website in 1992, the first in the Netherlands and the third worldwide.

Lees verder

The Dutch extension to the 4C Cost Model for Digital Preservation


The Beggar (Rijksmuseum)

Based on the 4C Cost Model for Digital Preservation, a dedicated working group in the Network Digital Heritage created and validated an extension to the 4C Cost Model for Digital Preservation. This model will offer better insight into the costs of digital preservation, by detailed information based on activities and processes. Link this information to the institutional and preservation policies and this will offer a better insight in the costs and a better steering mechanism.

The Network Digital Heritage was initiated by the Ministry of Education, Culture and Science, with a focus on exploring more the Dutch digital cultural heritage, by making our digital collections more visible, more connected with each other and more sustainable. This working group is one of the activities in the Program Sustainable acces.

Inspired by the European Project 4C

The financial experts from BMC Research used the results from the European project 4C (Collaboration to Clarify the Costs of Curation). In this project a cost model was delivered (amongst other valuable results) and a tool, the CCEx module, which enables on an international scale to benchmark the costs related to digital preservation.

Lees verder

A broken bridge between archivists and IT?

How do you build a bridge between thorough domain knowledge of a digital archivist and the sophisticated technical skills of an Information Technology expert, in order to achieve mutual goals and develop a “culture of collaboration”?  The recently published OCLC report “Demystifying IT: A Framework for Shared Understanding between Archivists” by Seth Shaw, Richard C. Adler, and Jackie Dooley sketches the outlines of building this bridge.

Harmen ter Borch: De Gebroken Brug, 1655, Rijksmuseum Lees verder

Preservation Watch: suggested change in OAIS review

preservation-watchAs a late Christmas present I submitted a change for the OAIS review  by suggesting to introduce the term Preservation Watch into the standard as part of the Preservation Planning module.

During the European project Planets (2007-2011) where we investigated the Preservation Planning functional entity, we had a feeling that the monitoring functionality in OAIS should be extended to other areas. In the standard the monitoring is very much focused on monitoring the Designated Community (of course, these are the people that will use your archive) and the Technology changes. Well it is generally accepted that the rapid changes in technology are seen as a threat to our collected digital files. But there are more threats, that should be monitored systematically and so need to be part of a Preservation Planning function. Changes in your organisation (budget cuts, staff cuts, a merge with another organisation), changes in the environment you’re operating in: political changes for example. The election of Donald Trump was one of the reasons Brewster Kahle of Internet Archive decided to have an extra copy of their archive outside the US.

After the Planets project was finished, the concept of Preservation Watch is taken up by the digital preservation community, for example in the SCAPE project and in various papers and presentations. This justifies for me the concept to be introduced into the OAIS standard. But it will be up to the community to better define this concept and to describe for example the relationship with risk management. This could be done in the next 5 years, so that after a soft introduction in 2017,  a more profound description of the concept of Preservation Watch can be part of OAIS 2022. Let’s wait and see what the CCSDS people think of it.

OAIS: a cage or a guide?

Last week I gave a presentation at the Pericles conference Acting on Change: New Approaches and Future Practices in LTDP in London. This is what I told during the panel about OAIS.

OAIS as a cage?

Is the OAIS standard a cage, with the preservation archive inside as a captivated bird? With clipped wings, unable to fly away, but kept inside by the functional model, the data model and metrics in OAIS and the related standards like the audit and certification standard?oais-cage-klein


Lees verder

Experts bediscussiëren OAIS

Veertien Nederlandse en Vlaamse experts bespraken op uitnodiging van de NCDD hun dilemma’s bij de vertaling naar de praktijk van dé standaard in digitale duurzaamheid: OAIS (ISO 14721). Ze deelden een breed scala aan visies op OAIS. Is OAIS een bijbeltekst? Een magische tempel der waarheid? Een kompas om op te varen? Een donkere dreigende wolk of een wolk met af en toe een verkwikkend buitje? Een venster op je organisatie? Op de buitenwereld? Een vliegtuig, de machinekamer van een schip?

Vertaling naar de praktijk

OAIS is al ruim 15 jaar de internationale standaard die we gebruiken als we het hebben over digitale duurzaamheid. De gemeenschappelijke taal helpt ons bij het communiceren over complexe problemen. OAIS is de beschrijving van een conceptueel model voor digitale duurzaamheid, geen reeks van voorschriften. Je moet het model dus naar je eigen omgeving vertalen. Hoe weet je of je de standaard goed interpreteert? Als de groep van experts het ergens over eens was, dan was het wel de behoefte aan praktijkvoorbeelden. In het Engels is daar een begin mee gemaakt via een wiki OAIS community. Deze NCDD-bijeenkomst zou wel eens de opmaat kunnen zijn voor een Nederlandse variant [daar wordt aan gewerkt].


OAIS in aluminiumfolie

De experts hadden vooraf hun visie op OAIS gegeven. Wat betekent OAIS voor hen? Dit werd met behulp van aluminiumfolie door iedereen in 2 minuten in een kunstige sculptuur samengevat. Men was het er vrijwel unaniem over eens dat de standaard een goede richtlijn was, goed in elkaar zit en zeker als leidraad bij de inrichting van zowel je organisatie als je systeem gebruikt kan worden. Kritiek komt vaak voort uit onkunde, omdat men stokt bij de beschrijving van het functionele model, of de teksten te letterlijk wil interpreteren. En niet verder leest in de standaard, terwijl het bijbehorende datamodel ook van belang is voor het begrip van de standaard. Er was een gedeeld pleidooi om meer aandacht te geven aan een klein, maar uitermate belangrijk stukje tekst in OAIS: de verantwoordelijkheden van het digitale archief (paragraaf 3.1. voor de kenners).

Voorbeelden gevraagd

Naast hun visie hadden de expert ook hun dilemma’s opgeschreven. Hier kwam vooral naar voren dat men vaak met de praktische vertaling worstelt. Omdat OAIS niet voorschrijft hoe het moet, kan er verschil van interpretatie zijn. Meer voorbeelden van collega’s hoe ze bepaalde richtlijnen naar de (vaak weerbarstige) praktijk vertalen, zou de digitale duurzaamheidscommunity enorm kunnen helpen.

AIP, Pre-Ingest, Designated Community en Access

Is het bijvoorbeeld zo dat een Archival Information Package dat is opgeslagen altijd ongewijzigd moet blijven, of mag men in de loop van de geschiedenis metadata toevoegen en wijzigen? Zou er niet een Pre-Ingest-functie moeten worden toegevoegd aan het OAIS model, omdat alle organisaties worstelen met het verschil tussen wat ze rechtstreeks aangeleverd krijgen en de tussenstappen die nodig zijn voordat het een Submission Information Package is (en dus weer past in het model)? En kunnen we hier dan een onderscheid maken tussen het moment waarop de organisatie de digitale objecten onder zijn hoede genomen heeft en het moment waarop de keuze nog gemaakt moet worden of het materiaal wel geaccepteerd wordt (met andere woorden zit “appraisal” in de pre-ingest of niet)? Het begrip Designated Community – feitelijk de mensen voor wie je het materiaal toegankelijk houdt – is redelijk vaag en ook de Access-functie kent in de praktijk veel meer haken en ogen dan nu in de OAIS standaard verwoord zijn. Via een buitengewoon democratische procedure (je schreef niet alleen op waar je wél maar ook waarover je persé niet wilde discussiëren) werden groepen samengesteld om een selectie van de stellingen nader uit te diepen en om te zetten in een scherp geformuleerde aanbeveling. Waarom dat dan?


Voorbereiding op de review

Wel, er is op dit moment een review proces gestart voor OAIS en dat is bij uitstek de gelegenheid voor de gebruikers van de OAIS-standaard om verbeteringen en wijzigingen voor te stellen. De standaard is oorspronkelijk in de jaren negentig opgesteld door en voor ruimtevaartdeskundigen. De variatie aan gebruikers is echter sindsdien toegenomen: archieven, bibliotheken, data centers, medici, universitaire repositories en ga zo maar door. Wil de standaard ook voor die gebruikers relevant blijven, dan zal die moeten mee veranderen als de wereld van de gebruikers verandert.

Vandaar dat er in internationaal verband een wiki is ingericht om praktische en theoretische kennis over OAIS te verzamelen. Praktijkvoorbeelden dus. Daarnaast kan deze inbreng, net als de resultaten van de NCDD-workshop, leiden tot aanbevelingen voor de nieuwe versie van de standaard. Iedereen kan deelnemen aan de discussie, zodat het proces transparant en open is. Uiteindelijke verzoeken tot aanpassingen dienen via het officiële kanaal ingediend te worden bij

Maar voordat het tot een nieuwe versie van de standaard komt, duurt nog even omdat eerst alle officiële processen en inspraakrondes doorlopen moeten zijn, zodat de verwachting voor een nieuwe versie van OAIS nu rond 2020 ligt. Genoeg tijd om te discussiëren en te analyseren waar de knelpunten liggen en samen te werken aan een online kennisbron over OAIS in de praktijk – in het Engels of in het Nederlands (zie de nieuwe informatiepagina over OAIS van de NCDD).

Wordt vervolgd

Meer nieuws volgt binnenkort: de resultaten van deze NCDD-workshop brengen we in bij een OAIS-paneldiscussie op de iPRES Conferentie in Bern op 2 oktober. Wordt vervolgd!

iPRES 2015 in Chapel Hill

Afbeelding1Audit, CD-ROMS, Emulatie, Ingest, OAIS en Web, dat waren in alfabetische volgorde de meest besproken onderwerpen tijdens de jaarlijkse conferentie iPRES 2016, die vorige week plaatsvond in Chapel Hill, North Carolina. Dit is mijn persoonlijke indruk, want natuurlijk kwamen in de lezingen, posters en workshops nog veel meer onderwerpen aan bod. Het is tenslotte een jaarlijkse reünie waarbij iedereen probeert zijn resultaten en toekomstplannen te presenteren. Lees verder

Let’s discuss OAIS!

Today our “gold standard” in preservation will have its own place on the Internet: the OAIS wiki


Since its first publication the OAIS standard has become a crucial guidance in our digital preservation community. It is in our own interest to keep this standard up to date and to monitor its connection with our daily practices. We are now better informed how to preserve our digital collections. But we need to be alert to keep the OAIS standard connected to our daily practices.

A wiki for OAIS
The idea to create a wiki for OAIS was raised last year at the 4C/DPC Conference and was realised in close cooperation by William Kilbride (DPC), Hervé L’Hours (UKDA), Paul Wheatley (DPC) en me (KB).

What are we heading for? A place to discuss OAIS and to share experiences. For everyone working in digital preservation, in our “community of practice”. Despite the advantage of using a shared OAIS terminology, translating the OAIS concepts into daily practice often raises questions. Implementing these concepts can lead to different interpretations of the standard and to confusion. Sharing examples and real life practices can help everyone in their situation. This wiki is intended to become a central place where everyone can start to discuss OAIS aspects. This way we can keep the OAIS standard relevant in our daily work.

ISO 5- year review in 2017
There is another reason to discuss the OAIS standard. In 2017 the ISO process will be started to review the standard, which happens every 5 years. This review will offer us a chance to propose changes to the standard. Changes we think are necessary to keep the standard relevant.

Therefore we put the integral text of the standard on-line with an opportunity to add your commentary and annotations and the possibility to discuss this. Based on this feedback we will draft an official proposal for the review. Apart from that we will investigate what will be the best way to take part in this official review process.

Join us and help to keep the OAIS standard relevant. Go to the OAIS wiki, register and contribute your bit!