SCAPE Preservation Policies continued


This week we launched a Dutch translation of the Catalogue of Policy Elements as  Duurzaamheidsbeleid , a wiki on the website of the National Coalition for Digital Preservation (NCDD).

The original Catalogue was created in the European project SCAPE (2010-2014) and is hosted on the website of the Open Preservation Foundation and one of their popular hits. The Dutch translation was initiated by the Network Digital Heritage, a national initiative to improve the accessibility, usability and sustainability of the Dutch cultural and scientific heritage.

The original catalogue is based on the SCAPE policy framework of three levels: the Guidance Policies on strategic level, the Preservation Procedure Policies on tactic level and the Control Policies on a detailed operational level. In the translation we followed the framework and the template but added Dutch policy examples from the archival and audio-visual domains. It is planned to extend this with examples from digital art collections, research data centres  etc.

During the SCAPE project we found it hard to phrase preservation policies on the lowest level, the Control Policies. Control Policies require a thorough technical knowledge in order to formulate policies that are not only human readable (after all more people need to understand the requirements and policy decisions) but also computer actionable for automated workflows.  Hence we decided to leave out this category in the Dutch  translation.

But some new developments might help us. In the European project Preforma three suppliers are working on developing tools for conformance checking of file formats:

The work done on the conformance checkers generated a wealth of knowledge about the features of these file formats and one can use this information for the Control level policies. “Feature extraction” is one of the facilities that will be offered to the users of the tools. But the tools will also offer the possibility to indicate policy rules, based on these features. And this is exactly what we were hoping for when we were designing the SCAPE policy framework! This way it will be possible to create a consistent set of policies, whereby the lowest levels can refer to higher level decisions.  It requires some file format knowledge to make a well-founded decision but the tools will assist the user. See for example the recent webinar about the VeraPDF policy checking of the Open Preservation Foundation.



Whitts cure for preservationists despair?

A cure for preservation despair?

A cure for preservation despair?

After Christmas I tried to reduce my digital pile of recent articles, conference papers, presentations etc. on digital preservation. Interesting initiatives (“a pan European AIP” in the e-Ark project:  wow!) could not prevent that after a few days of reading I ended up slightly in despair: so many small initiatives but should not we march together in a shared direction to get the most out of these initiatives? Where is our vision about this road? David Rosenthals blog post offered a potential medicine for my mood.



He referred to the article of Richard Whitt “Through A Glass, Darkly” Technical, Policy, and Financial Actions to Avert the Coming Digital Dark Ages.” 33 Santa Clara High Tech. L.J. 117 (2017). Lees verder

Preservation Watch: suggested change in OAIS review

preservation-watchAs a late Christmas present I submitted a change for the OAIS review  by suggesting to introduce the term Preservation Watch into the standard as part of the Preservation Planning module.

During the European project Planets (2007-2011) where we investigated the Preservation Planning functional entity, we had a feeling that the monitoring functionality in OAIS should be extended to other areas. In the standard the monitoring is very much focused on monitoring the Designated Community (of course, these are the people that will use your archive) and the Technology changes. Well it is generally accepted that the rapid changes in technology are seen as a threat to our collected digital files. But there are more threats, that should be monitored systematically and so need to be part of a Preservation Planning function. Changes in your organisation (budget cuts, staff cuts, a merge with another organisation), changes in the environment you’re operating in: political changes for example. The election of Donald Trump was one of the reasons Brewster Kahle of Internet Archive decided to have an extra copy of their archive outside the US.

After the Planets project was finished, the concept of Preservation Watch is taken up by the digital preservation community, for example in the SCAPE project and in various papers and presentations. This justifies for me the concept to be introduced into the OAIS standard. But it will be up to the community to better define this concept and to describe for example the relationship with risk management. This could be done in the next 5 years, so that after a soft introduction in 2017,  a more profound description of the concept of Preservation Watch can be part of OAIS 2022. Let’s wait and see what the CCSDS people think of it.

Two Dutch DPC Preservation Awards: what is it all about?

Accompanied by traditional festival tunes of Scottish bagpipes the finalists of the 2016 Digital Preservation Awards and their colleagues “celebrated digital preservation”, as William Kilbride called this event last week in London. And in the audience the proud Dutch group of attendees celebrated even more as we won both the Award for Research and Innovation sponsored by the Software Sustainability Institute and the award for Safeguarding the digital legacy sponsored by The National Archives. The 17 international judges looked at 33 submissions, from 10 different countries.  What was the magical ingredient that helped the Netherlands submitting 3 projects, two of them worthwhile to receive the trophees?

With the help of Rijksmuseum digitization

Lees verder

OAIS: a cage or a guide?

Last week I gave a presentation at the Pericles conference Acting on Change: New Approaches and Future Practices in LTDP in London. This is what I told during the panel about OAIS.

OAIS as a cage?

Is the OAIS standard a cage, with the preservation archive inside as a captivated bird? With clipped wings, unable to fly away, but kept inside by the functional model, the data model and metrics in OAIS and the related standards like the audit and certification standard?oais-cage-klein


Lees verder

20 Years of Digital Preservation


During the preparations for iPRES 2016 the Programme Committee discussed the fact that exactly 20 years ago Preserving Digital Information. Report of the Task Force on Archiving of Digital Information was published. A landmark report by The Commission on Preservation and Access and The Research Libraries Group, published in May 1996. It describes a broad view on digital preservation and is often looked at as one of the first comprehensive reports on this topic.

It was interesting to read it again and I was wondering what the view on preservation was 20 years ago and how this relates to the topics presented at iPRES 2016?

Lees verder

Experts bediscussiëren OAIS

Veertien Nederlandse en Vlaamse experts bespraken op uitnodiging van de NCDD hun dilemma’s bij de vertaling naar de praktijk van dé standaard in digitale duurzaamheid: OAIS (ISO 14721). Ze deelden een breed scala aan visies op OAIS. Is OAIS een bijbeltekst? Een magische tempel der waarheid? Een kompas om op te varen? Een donkere dreigende wolk of een wolk met af en toe een verkwikkend buitje? Een venster op je organisatie? Op de buitenwereld? Een vliegtuig, de machinekamer van een schip?

Vertaling naar de praktijk

OAIS is al ruim 15 jaar de internationale standaard die we gebruiken als we het hebben over digitale duurzaamheid. De gemeenschappelijke taal helpt ons bij het communiceren over complexe problemen. OAIS is de beschrijving van een conceptueel model voor digitale duurzaamheid, geen reeks van voorschriften. Je moet het model dus naar je eigen omgeving vertalen. Hoe weet je of je de standaard goed interpreteert? Als de groep van experts het ergens over eens was, dan was het wel de behoefte aan praktijkvoorbeelden. In het Engels is daar een begin mee gemaakt via een wiki OAIS community. Deze NCDD-bijeenkomst zou wel eens de opmaat kunnen zijn voor een Nederlandse variant [daar wordt aan gewerkt].


OAIS in aluminiumfolie

De experts hadden vooraf hun visie op OAIS gegeven. Wat betekent OAIS voor hen? Dit werd met behulp van aluminiumfolie door iedereen in 2 minuten in een kunstige sculptuur samengevat. Men was het er vrijwel unaniem over eens dat de standaard een goede richtlijn was, goed in elkaar zit en zeker als leidraad bij de inrichting van zowel je organisatie als je systeem gebruikt kan worden. Kritiek komt vaak voort uit onkunde, omdat men stokt bij de beschrijving van het functionele model, of de teksten te letterlijk wil interpreteren. En niet verder leest in de standaard, terwijl het bijbehorende datamodel ook van belang is voor het begrip van de standaard. Er was een gedeeld pleidooi om meer aandacht te geven aan een klein, maar uitermate belangrijk stukje tekst in OAIS: de verantwoordelijkheden van het digitale archief (paragraaf 3.1. voor de kenners).

Voorbeelden gevraagd

Naast hun visie hadden de expert ook hun dilemma’s opgeschreven. Hier kwam vooral naar voren dat men vaak met de praktische vertaling worstelt. Omdat OAIS niet voorschrijft hoe het moet, kan er verschil van interpretatie zijn. Meer voorbeelden van collega’s hoe ze bepaalde richtlijnen naar de (vaak weerbarstige) praktijk vertalen, zou de digitale duurzaamheidscommunity enorm kunnen helpen.

AIP, Pre-Ingest, Designated Community en Access

Is het bijvoorbeeld zo dat een Archival Information Package dat is opgeslagen altijd ongewijzigd moet blijven, of mag men in de loop van de geschiedenis metadata toevoegen en wijzigen? Zou er niet een Pre-Ingest-functie moeten worden toegevoegd aan het OAIS model, omdat alle organisaties worstelen met het verschil tussen wat ze rechtstreeks aangeleverd krijgen en de tussenstappen die nodig zijn voordat het een Submission Information Package is (en dus weer past in het model)? En kunnen we hier dan een onderscheid maken tussen het moment waarop de organisatie de digitale objecten onder zijn hoede genomen heeft en het moment waarop de keuze nog gemaakt moet worden of het materiaal wel geaccepteerd wordt (met andere woorden zit “appraisal” in de pre-ingest of niet)? Het begrip Designated Community – feitelijk de mensen voor wie je het materiaal toegankelijk houdt – is redelijk vaag en ook de Access-functie kent in de praktijk veel meer haken en ogen dan nu in de OAIS standaard verwoord zijn. Via een buitengewoon democratische procedure (je schreef niet alleen op waar je wél maar ook waarover je persé niet wilde discussiëren) werden groepen samengesteld om een selectie van de stellingen nader uit te diepen en om te zetten in een scherp geformuleerde aanbeveling. Waarom dat dan?


Voorbereiding op de review

Wel, er is op dit moment een review proces gestart voor OAIS en dat is bij uitstek de gelegenheid voor de gebruikers van de OAIS-standaard om verbeteringen en wijzigingen voor te stellen. De standaard is oorspronkelijk in de jaren negentig opgesteld door en voor ruimtevaartdeskundigen. De variatie aan gebruikers is echter sindsdien toegenomen: archieven, bibliotheken, data centers, medici, universitaire repositories en ga zo maar door. Wil de standaard ook voor die gebruikers relevant blijven, dan zal die moeten mee veranderen als de wereld van de gebruikers verandert.

Vandaar dat er in internationaal verband een wiki is ingericht om praktische en theoretische kennis over OAIS te verzamelen. Praktijkvoorbeelden dus. Daarnaast kan deze inbreng, net als de resultaten van de NCDD-workshop, leiden tot aanbevelingen voor de nieuwe versie van de standaard. Iedereen kan deelnemen aan de discussie, zodat het proces transparant en open is. Uiteindelijke verzoeken tot aanpassingen dienen via het officiële kanaal ingediend te worden bij

Maar voordat het tot een nieuwe versie van de standaard komt, duurt nog even omdat eerst alle officiële processen en inspraakrondes doorlopen moeten zijn, zodat de verwachting voor een nieuwe versie van OAIS nu rond 2020 ligt. Genoeg tijd om te discussiëren en te analyseren waar de knelpunten liggen en samen te werken aan een online kennisbron over OAIS in de praktijk – in het Engels of in het Nederlands (zie de nieuwe informatiepagina over OAIS van de NCDD).

Wordt vervolgd

Meer nieuws volgt binnenkort: de resultaten van deze NCDD-workshop brengen we in bij een OAIS-paneldiscussie op de iPRES Conferentie in Bern op 2 oktober. Wordt vervolgd!

“Visible data, invisible infrastructure” iDCC conferentie 2016

Deze blog verscheen ook op

Slechts 12% van data ontstaan bij onderzoek, gefinancierd door National Institutes of Health,  komt in een ‘trusted repository’ terecht, de rest is verloren, aldus Barend Mons (professor Biosemantics, LUMC), de keynote spreker op deze 11de IDCC conferentie. Verbeteren van deze situatie gaat langzamer dan verwacht. Maar hij heeft wel een visie op wat er beter moet. Data moet FAIR zijn (Findable, Accessible, Interoperable, Re-usable) maar vooral ook machine readable.  Waarom? Om sneller betere ontdekkingen in de wetenschap te doen. “ Research as a social machine”: door een continue interactie tussen miljoenen computers en miljoenen onderzoekers. Hergebruik van datasets wordt steeds belangrijker maar om ze aan de FAIR principles te laten voldoen, zijn er goed opgeleide “data stewards” nodig, die de onderzoekers hierbij helpen. Mons voorziet dat er op korte termijn 500.000  data stewards in Europa nodig zijn en maakt zich daar hard voor.

Het wetenschappelijk artikel gaat volgens Mons de huidige centrale plek verliezen ten faveure van de datasets. Niet iedereen was het hiermee eens, maar vanuit een collectieoogpunt zijn deze ontwikkelingen belangrijk. Verzamelen we wel de juiste zaken en sluiten onze activiteiten aan bij wat er in de wereld gebeurt?

Lees verder

Developments in Preservation Policies

Often it is unclear whether results from European projects have any follow-up after the project is finished. If so, how can one monitor this? With regard to our work in SCAPE, including the Catalogue of Policy Elements and the list of Published Preservation Policies, however I am under the impression that these tools are still supporting organisations in creating preservation policies. People sometimes tell me this directly and sometimes I see references in articles and presentations.


One initiatives I’m involved in myself is a Dutch working group under the flag of the Network Digital Heritage, that will use the SCAPE Catalogue to create Dutch Guidelines for creating preservation policies, with a focus on smaller organisations in various domains. Not only libraries and data centres – which were involved in the creation of the SCAPE version – but also archives, museums and organisations collecting digital art and architectural materials. These Guidelines should support these organisations and also help them to not only write the preservation policies, but to also implement them in their organisations (often it is the other way around: policies are not written down but actions are based on implicit “policies” ).

The Institute for Sound and Vision is partner in this working group.. Annemieke de Jong, whom I mentioned earlier in a blogpost about their work to become a TDR , created Preservation Policies for their institute. I’ve read all the preservation policies collected here, but this policy is exemplary and should be high on the list of Best Preservation Policies. This is the first preservation policy that looks good, reads well and covers all main topics mentioned in the SCAPE catalogue. The design of this policy shows that this document is not seen as an obligatory task, but as way of communicating with the Producers and Consumers of the content of the digital archive. From what I’ve seen of policies so far is that they are seldom attractively designed. In this case, the text itself is understandable and clear, without too much jargon, but instead explaining the concepts and approaches in a clear language. And as said it covers all topics we identified as Guidance Policies in the SCAPE Preservation Policy model and added much information to it that is part of the Procedure Policies, the middle level in which you translate the high level policies into practical approaches. Based on this policy you will get a good overview of what the Institute is collecting and how this is preserved. With additional internal guidelines, referred to in the text, it should be clear to the employers of the Institute what is expected from them and as I mentioned earlier at iPRES 2014, this is one of the goals of a good policy. A new item on your reading list!

Interactive born-digital artworks and authenticity

Digital art objects are often presented as a very difficult category of digital objects to preserve. Recently a report of Cornell University Library documents their efforts to set up the “Preservation and Access Frameworks for Digital Art Objects (PAFDAO)”. Even if you preserve other kinds of digital objects, the report contains some interesting remarks of which I took two topics “authenticity” and web archiving.


Cultural Authenticity

In order to find out what the users expected of the Rose Goldsen Archive of New Media Art at Cornell, the project group did a survey amongst the users of their interactive born-digital artworks. Cornell University Library had already chosen a preservation strategy for this material, namely emulation. It came as a surprise to find out that their potential users had other opinions about emulation. “Emulation was controversial for many, in large part for its propensity to mask the material historical context (for example, the hardware environments) in which and for which digital artworks had been created”. This historical context was seen as part of its authenticity, in the report called “cultural authenticity” , present outside the digital object. Perhaps not quite the same but at least related to the concept of  “the original look and feel”.

Harvesting web art

Another interesting aspect of the report is that they witnessed an “increasing prominence of video and web art.” But the currently available technologies for web harvesting are in their opinion not mature enough and too costly. I wonder whether they thought the International Internet Preservation Consortium (IIPC) could play a role there? At the IIPC there is a lot of experience in web harvesting, also of difficult material. The IIPC could at least help them with the Environments Database. In finding the right emulation system, requirements of the original environment are needed. But what if that is not available? Then “it is recommended to consider which operating systems and web browsers (and versions) were contemporary with the work, and configuring an emulator or virtual machine to closely match that environment”. (p. 28) And that is exactly why the Preservation Working Group of the IIPC started their Environments Database, in which IIPC organisations regularly give an overview of the equipment in the reading rooms where the public can look at the web collection.

We preservationists have more in common than we sometimes think of. Perhaps you’ll find other interesting topics in this document!