4.3 Súborný katalóg

Tvorba súborného katalógu bibliografických dát predstavuje proces integrácie heterogénnych bibliografických záznamov pochádzajúcich z viacerých knižničných systémov, lokálnych katalógov, historických databáz a externých metadátových zdrojov. Jej hlavným cieľom nie je iba zhromaždiť záznamy do jednej databázy, ale vytvoriť konzistentné vyhľadávacie a analytické prostredie, ktoré umožní používateľovi pracovať s jedným reprezentatívnym opisom informačného zdroja a zároveň zachová vzťahy k lokálnym exemplárom, signatúram, holdingom a správcovským inštitúciám.

Z metodického hľadiska ide o viacvrstvový integračný problém. Prvá vrstva zahŕňa technické prijatie dát, konverziu znakového kódovania, syntaktickú validáciu a mapovanie polí. Druhá vrstva sa sústreďuje na normalizáciu bibliografických entít, najmä názvov, mien autorov, identifikátorov, vydavateľských údajov, ročníkov, edícií a fyzického opisu. Tretia vrstva je analytická: v tejto fáze sa rozhoduje, či dva alebo viac záznamov opisujú ten istý zdroj, rôzne vydanie toho istého diela, viacero exemplárov tej istej manifestácie alebo odlišné bibliografické entity.

MARC 21 ostáva praktickým výmenným formátom pre štruktúrované bibliografické záznamy a Library of Congress poskytuje jeho úplnú aj stručnú špecifikáciu pre bibliografické dáta. BIBFRAME nadväzuje na potrebu sprístupniť bibliografický opis ako prepojené dáta a jeho model rozlišuje najmä úrovne Work (všeobecný popis diela – často v čase nemenný – autor, názov, …), Instance (špecifický popis – vydania, jazykové mutácie, ..) a Item (konkrétny exemplár). Z toho vyplýva, že súborný katalóg by mal byť navrhnutý ako hybridný systém: na vstupe akceptuje MARC 21 a príbuzné formáty, vo vnútri buduje normalizované identifikačné a kvalitatívne vrstvy a smerom k budúcim službám umožňuje export alebo transformáciu do modelu BIBFRAME.

Postup tvorby súborného katalógu možno rozdeliť na šesť opakovateľných fáz. Každá fáza musí byť auditovateľná, pretože v praxi sa pracuje s dátami rôznej proveniencie, kvality a historického vývoja. Stabilná architektúra preto nepredpokladá jednorazové zlúčenie záznamov, ale cyklický proces prijímania dávok, vyhodnocovania kvality, spätnej opravy pravidiel a opätovného prepočtu deduplikačných klastrov.

• Ingest a identifikácia zdroja - každý importovaný záznam sa uloží s informáciou o pôvodnom systéme, dátume prijatia, lokálnom identifikátore, type záznamu a pravidlách transformácie.

• Syntaktická kontrola - overuje sa validita štruktúry MARC, prítomnosť záhlavia, kontrolných polí a korektných tagov, indikátorov a podpolí.

• Normalizácia a obohatenie - jednotne sa spracujú názvy, osobné a korporatívne mená, ISBN/ISSN, dátumy, vydavateľské údaje, jazyk, krajina vydania a typ dokumentu.

• Vyhľadanie kandidátskych dvojíc - systém znižuje kombinatorickú zložitosť porovnávania pomocou blokovania, indexov alebo lokálne citlivého hashovania.

• Výpočet podobnosti a rozhodovanie - záznamy sa porovnajú kombináciou deterministických pravidiel, štatistických váh a expertných prahov.

• Konsolidácia a publikovanie - výsledkom je autoritatívny alebo reprezentatívny záznam, ktorý je previazaný s lokálnymi zdrojovými záznamami a holdingami.

Dôležitou zásadou je oddeliť zlúčenie dát od zlúčenia identity. V prvom kroku sa môžu záznamy len zoskupiť do klastrov podobnosti bez fyzickej straty pôvodných záznamov. Až následne sa vytvára konsolidovaný opis, v ktorom sa podľa pravidiel proveniencie, úplnosti a dôveryhodnosti vyberajú preferované polia. Takýto postup minimalizuje riziko nevratných chýb pri falošných pozitívach a zároveň umožňuje kurátorskú revíziu sporových prípadov.

Deduplikácia bibliografických záznamov patrí do širšej triedy úloh známej ako recordlinkage. Klasický model formuluje problém ako rozhodovanie, či dvojica záznamov reprezentuje tú istú entitu, pričom rozhodnutie sa opiera o porovnanie viacerých atribútov a o prahové hodnoty pre zhodu, nezhodu a neistý interval. V bibliografickom prostredí však nemožno očakávať, že jeden univerzálny identifikátor vyrieši všetky prípady. ISBN môže chýbať, byť zapísané s chybou, odkazovať na sériu alebo byť spoločné pre viaceré väzby; názov môže obsahovať transkripčné rozdiely; meno autora môže byť rozšírené o životné dáta, iniciály alebo autoritný identifikátor.

Základom algoritmického riešenia je preto viacprvkový model podobnosti. Každý záznam sa transformuje na porovnávací profil pozostávajúci zo stabilných identifikátorov, normalizovaných textových polí, kódovaných údajov a bibliografických signálov. Porovnanie dvoch profilov je potom možné vyjadriť ako váženú funkciu podobnosti – v našom prípade súborného katalógu INFOGATE ide o kaskádu testov hašovacích funkcií.

Tabuľka. Príklady porovnávacích znakov a vhodných algoritmov

Špecificky v súbornom katalógu kde zdrojom sú knižničné systémy je silným príznakom pre spracovanie aj lokálny identifikátor – najmä pre fázu znovuspracovania. Váhy jednotlivých polí a ich kombinácií (hašovacích funkcií) je potrebné určiť expertným nastavením, štatistickou kalibráciou na označenej vzorke alebo kombináciou oboch prístupov. Práve v tomto nastavení váh záznamy s hodnotou nad horným prahom sa považujú za pravdepodobné duplicity, záznamy pod dolným prahom za odlišné a záznamy v medzipásme sa posúvajú na manuálnu alebo poloautomatickú revíziu. Pri rozsiahlych katalógoch je rozhodujúce, aby sa táto funkcia nepočítala pre všetky dvojice. Pri počte N záznamov by úplné porovnanie malo kvadratickú zložitosť, čo je pri miliónoch záznamov prevádzkovo neprijateľné.

Prvou triedou algoritmov sú deterministické pravidlá. Tie sú vhodné najmä vtedy, keď existuje spoľahlivý identifikátor alebo kombinácia identifikátorov, napríklad rovnaké ISBN, rovnaký typ dokumentu, rovnaký rok a takmer zhodný názov. Výhodou deterministického prístupu je vysvetliteľnosť a jednoduchá auditovateľnosť. Nevýhodou je nižšia citlivosť na chyby, historické zápisy a chýbajúce hodnoty.

Druhou triedou sú metriky reťazcovej podobnosti. V bibliografických záznamoch sú užitočné najmä pri porovnávaní názvov, mien a vydavateľských údajov. Editačná vzdialenosť a jej normalizované varianty zachytávajú počet transformácií potrebných na premenu jedného reťazca na druhý. Použili sme podobnosť ktorá zvýhodňuje zhodné prefixy, čo je praktické pri menách a názvoch, kde sú začiatky reťazcov často najinformatívnejšie. Tokenové prístupy sa neosvedčili z dôvodu, že názvové údaje sú pomerne krátke. Horšie však je, že nie sú vždy dodržiavané katalogizačné pravidlá v oblasti zápisu hlavného názvu, podnázvu, súbečného názvu, prekladu a čísla a názvu časti. V praxi sa často pri konkrétnom zázname je možné stretnúť aj s piatimi rôznymi kreatívnymi spôsobmi zápisu týchto údajov a ich kombinácií. Často sa však nejedná len o miesto a poradie, najväčším problémom je absencia údajov.

Skúmali sme aj tretiu triedu algoritmom, teda škálovacie techniky. Vytváranie blokov vytvorí skupiny kandidátov podľa zjednodušeného kľúča, napríklad prvé znaky normalizovaného názvu, rok vydania a typ dokumentu. V tejto kombinácií sa ako problematický ukazuje typ dokumentu. Pre bibliografické dáta v našom prípade sme tieto techniky kombinovali vždy so striktnejšími pravidlami, pretože krátke názvy a formálne frázy môžu vytvárať vysokú podobnosť aj pri odlišných dielach. Menšie škody nám vznikali nerozpoznaním duplicity, ako spojením záznamov ktoré reprezentujú inú knihu.

Výstupom deduplikácie v prípade INFOGATE nie je len binárny príznak duplicity, držíme neustále aj pôvodné dáta a tie pravidelne revalidujeme. Rovnako držíme aj pôvodné lokálne identifikátory a tak vieme v prípade ručnej deduplikácie (pomocou brigádnikov) docieliť, aby sa nám opakovaný import dát vždy znovu a znovu nevytváral nežiaduce duuplicity.Konsolidovaný záznam vzniká použitím najdôveryhodnejšieho zdroja alebo záznamu s najvyššou kvalitou.

KontrolI kvality bibliografických záznamov chápeme ako samostatnú a dôležitú vrstvu, nie iba ako vedľajší efekt deduplikácie. MARC 21 definuje značky, indikátory, kódy podpolí a význam jednotlivých dátových prvkov. Samotný formát však nepredpisuje univerzálny zoznam povinných polí pre každú inštitúciu a každý typ dokumentu. Preto je potrebné vytvoriť lokálny validačný profil, ktorý kombinuje technické požiadavky formátu, pravidlá katalogizačnej politiky, typ dokumentu a cieľovú úroveň opisu.

Validačný profil by mal rozlišovať štyri stupne závažnosti: kritická chyba, chyba, varovanie a odporúčanie. Kritická chyba znamená, že záznam nemožno bezpečne zaradiť do súborného katalógu, napríklad pre nečitateľnú štruktúru, chýbajúci identifikátor zdrojového záznamu alebo nedostatočný rozsah povinných údajov. Chyba označuje nesplnenie povinného pravidla profilu, napríklad chýbajúce pole názvu.

Tabuľka. Príklady kontrolných pravidiel pre MARC 21 profil súborného katalógu

Pole 245 je príkladom nosného prvku, pretože obsahuje názov a údaje o zodpovednosti. Vzorové úplné a minimálne záznamy Library of Congress zároveň ukazujú, že základný opis tlačenej monografie typicky obsahuje hlavné bibliografické údaje ako autor, názov, vydavateľské údaje a fyzický opis. V súbornom katalógu to neznamená mechanické vyžadovanie rovnakých polí pre všetky dokumenty, ale vytvorenie maticového profilu: pre monografiu, seriál, mapu, hudobninu alebo elektronický zdroj môžu platiť odlišné minimálne požiadavky. V súbornom katalógu INFOGATE sa špecializujeme na moongrafie.

Kontrola kvality je úzko prepojená s deduplikáciou. Chýbajúci alebo nekonzistentný názov, nesprávne zapísaný rok, chýbajúci typ dokumentu či neštandardné ISBN priamo znižujú schopnosť algoritmu rozlíšiť duplicitu od podobnosti. Nedostupnosť údajov môže byť (a v praxi aj je) dôvodom na nezaradenie do súborného katalógu.

BIBFRAME predstavuje model bibliografického opisu založený na princípoch LinkedData. Library of Congress ho opisuje ako iniciatívu, ktorej cieľom je pripraviť prechodovú cestu od formátov MARC 21 k webovo orientovanému prostrediu bibliografických dát. Pre súborný katalóg to znamená, že už pri návrhu validačného a deduplikačného modelu je vhodné uvažovať v entitách Work, Instance a Item, nie iba v plochých MARC záznamoch. Deduplikácia na úrovni rovnakého výtlačku, rovnakého vydania a rovnakého abstraktného diela sú tri odlišné úlohy.

Úroveň Work sa viaže na konceptuálnu podstatu diela, napríklad na autora, preferovaný názov, jazyk a predmet. Úroveň Instance reprezentuje konkrétne vydanie alebo stelesnenie diela, vrátane vydavateľa, roku, rozsahu a nosiča. Úroveň Item zodpovedá konkrétnemu exempláru alebo lokálnej držbe. Ak súborný katalóg nerozlišuje tieto úrovne, môže nesprávne zlúčiť rôzne vydania, preklady alebo nosičové varianty. Naopak, príliš prísne pravidlá môžu ponechať duplicity tam, kde ide iba o lokálne zápisy toho istého vydania.

Tabuľka. Kvalitatívne kontroly pripravené pre MARC 21 aj BIBFRAME

V prostredí BIBFRAME sa validačné pravidlá dajú formulovať ako profil zdrojov a vlastností. Prakticky to môže znamenať, že súborný katalóg interne generuje mapu MARC polí na očakávané BIBFRAME triedy a vlastnosti. Pri každom zázname sa potom kontroluje, či existuje minimálny opis Work a Instance, či sú identifikátory transformovateľné na URI alebo stabilné lokálne identifikátory a či sú vzťahy medzi dielom, vydaním a exemplárom jednoznačné.

Prechod na BIBFRAME zároveň nemení potrebu dôslednej deduplikácie. Naopak, chybné zoskupenie MARC záznamov sa v grafe prepojených dát môže premietnuť do nesprávnych vzťahov medzi entitami. Preto je vhodné uchovávať nielen výsledný graf, ale aj dôkazovú vrstvu: zdrojové polia, dátumy transformácie, hodnoty podobnosti, rozhodovacie pravidlá a stav ľudskej revízie. Takto navrhnutý katalóg umožňuje postupne zvyšovať kvalitu dát bez straty historickej auditovateľnosti.

V súbornom katalógu INFOGATE bol zavedený referenčný validačný profil záznamov pre účely deduplikácie a metriku kvality. Profil je konfigurovateľný a vyhodnocuje záznamu z pohľadu prítomnosti povinných polí, minimálnej naplnenosti a realizujú sa tiež krížové kontrolu hodnôt (vydavateľstvo je cenné len s rokom vydania, preklad názvu len s jazykom a podobne)

Deduplikačný model je budovaný s dôrazom na vysokú presnosť, aby sa minimalizovalo chybné zlúčenie odlišných zdrojov. Zvyšovať citlivosť algoritmu je možné, ide však o časovo náročný proces kedy do hry vstupuje aj ručná deduplikácia. Pri nej je dôležité, že my evidujeme pôvodné dáta pre účely neskoršej analýzy. Pre doplnenie nových pravidiel však potrebujeme zvýšiť počet takýchto záznamov aby sme pomocou učenia na manuálne potvrdených pároch a klastroch mohli pridať ďalšie pravidlá. Máme:

• zavedený jednotný normalizačný modul pre ISBN/ISSN, názvy, mená, roky, jazyk a typ dokumentu;

• vytvorenú tabuľku deduplikačných rozhodnutí a pôvodných dát;

• jasnú evidenciu automaticky potvrdených duplicít;

• definovaný minimálny MARC 21 profil a mapovanie na formát BIBFRAME Work, Instance a Item;•

Z pohľadu riadenia dát je dôležité, že súborný katalóg podporuje aj spätnú dohľadateľnosť k zdroju. Opakovane sme vďaka tomuto systému boli schopní upozorniť zdrojovú knižnicu a chybu a dosiahnuť opravu v zdrojovom systéme. Naopak, možnosť transparentného nahlasovania duplicít a chýb v záznamoch nám umožňuje zvyšovať presnosť dát a prispievať k ich vyššej dôveryhodnosti.