4.8 Testovanie a prevádzka

Kapitola sumarizuje výsledky aktivity zameranej na komplexné testovanie, stabilizáciu a uvedenie vybraných výstupov projektu BIBLIB.AI do prevádzkového alebo pilotného režimu. Testovanie nebolo chápané ako samostatná záverečná formalita, ale ako priebežná súčasť výskumno-vývojového procesu. Jednotlivé komponenty boli overované už počas implementácie, následne v integračných väzbách a napokon v prostrediach, ktoré čo najviac zodpovedali reálnym dátovým a používateľským podmienkam.

Cieľom tejto fázy bolo overiť, či vytvorené riešenia možno bezpečne a opakovateľne používať nad existujúcimi bibliografickými databázami, či sú technicky stabilné, či rešpektujú existujúce dátové modely a či ich výstupy majú praktickú hodnotu pre používateľa, administrátora alebo odborného správcu údajov. Osobitný dôraz bol kladený na overenie integrácie do systémov INFOGATE, BIBLIB a REPČO, pretože práve tieto systémy predstavujú prirodzené prostredie pre využitie výsledkov projektu.

Východiská a rozsah testovania

Testovanie nadväzovalo na predchádzajúce výskumno-vývojové línie projektu. Overované boli najmä výstupy v oblastiach rozšírenia metadátovej schémy, deduplikácie a kontroly kvality záznamov, BIBFRAME transformácií, sémantického vyhľadávania, dialogického vyhľadávania, grafových vizualizácií a prevádzkovej pripravenosti infraštruktúry.

Z hľadiska rozsahu testovania boli rozlišované tri úrovne:

• komponentové testovanie, pri ktorom sa overovala funkčnosť jednotlivých modulov, transformačných skriptov, REST služieb, parserov, exportov a používateľských komponentov;

• integračné testovanie, pri ktorom sa overovalo prepojenie nových komponentov s existujúcimi databázami, Elasticsearch indexami, aplikačnými rozhraniami a používateľským prostredím;

• prevádzkové overenie, pri ktorom sa vybrané riešenia nasadili do testovacieho, pilotného alebo ostrého režimu a overovala sa ich stabilita, výkonnosť, použiteľnosť a správanie nad reálnymi dátami.

Takto zvolený postup bol dôležitý preto, že projekt BIBLIB.AI nevytváral izolované laboratórne prototypy, ale rozširoval existujúcu technologickú základňu. Každý nový prvok musel preto rešpektovať existujúce procesy importu, indexovania, prezentácie, autentifikácie, správy dát a používateľskej interakcie.

Testovacie prostredia a infraštruktúra

Na testovanie boli využité samostatné vývojové, testovacie a produkčné alebo pilotné prostredia. Základ tvorili databázové servery, Elasticsearchcluster, aplikačné servery Ubuntu, pracovné stanice riešiteľského tímu a existujúca sieťová a zálohovacia infraštruktúra spoločnosti SVOP. Tento model umožnil oddeliť experimentálne overovanie od stabilných produkčných služieb a zároveň zabezpečiť, aby boli výsledky testovania relevantné pre reálne nasadenie.

Testovacie prostredia boli využívané najmä na:

• overenie funkčnosti nových databázových procedúr, importných mechanizmov a hashovacích pravidiel;

• overenie BIBFRAME transformácií a prezentačných výstupov nad reprezentatívnymi bibliografickými záznamami;

• vytvorenie a doplnenie vektorových polí do Elasticsearch indexov;

• testovanie REST služieb pre embedding a dialogické vyhľadávanie;

• overenie grafových vizualizácií v samostatných prototypoch aj v prostredí REPČO;

• kontrolu odozvy, stability a správania služieb pri opakovaných požiadavkách.

Dôležitou vlastnosťou infraštruktúry bola možnosť pracovať s reálnymi dátami alebo ich vývojovými kópiami. Tým sa testovanie neobmedzilo na umelo vytvorené jednoduché príklady, ale zahŕňalo aj typické problémy reálnych bibliografických databáz: neúplné záznamy, odlišnú kvalitu metadát, rôzne varianty zápisu názvov, viacjazyčnosť, rozdielne zdrojové systémy, duplicity a lokálne holdingové údaje.

Metodika testovania

Testovanie bolo realizované kombináciou manuálnych odborných kontrol, technických „smoke“ testov, automatizovaných jednotkových a integračných testov, vizuálnej kontroly používateľských rozhraní a overenia výstupov nad reprezentatívnymi dátami. Tento kombinovaný prístup bol zvolený zámerne, pretože jednotlivé výstupy projektu majú rozdielnu povahu. Niektoré vlastnosti možno overiť automaticky, napríklad dostupnosť REST endpointu, validitu XML alebo prítomnosť očakávaných polí. Iné vlastnosti vyžadujú odborné posúdenie, najmä zrozumiteľnosť bibliografického výstupu, správnosť mapovania významu alebo relevanciu vyhľadávacích výsledkov.

Pri testovaní sa sledovali tieto základné kritériá:

Metodika bola prispôsobená charakteru výskumno-vývojového projektu. Cieľom nebolo iba potvrdiť, že komponent neobsahuje technickú chybu, ale aj zistiť, či zvolený návrhový princíp prináša očakávanú odbornú hodnotu. Preto sa pri viacerých komponentoch testovanie spájalo s empirickým overovaním a spätným dopĺňaním pravidiel.

Overované komponenty

V rámci záverečnej fázy boli overované najmä tieto komponenty a integračné väzby:

Takto realizované testovanie ukázalo, že jednotlivé výsledky projektu sú nielen samostatne funkčné, ale sú schopné vytvárať aj spoločnú technologickú vrstvu. Významné bolo najmä prepojenie medzi dátovou kvalitou, transformáciou metadát, vyhľadávaním a vizualizáciou. Slabá kvalita vstupných údajov sa totiž okamžite prejavuje v deduplikácii, BIBFRAME výstupe, embedding texte aj v kvalite výsledkov používateľského vyhľadávania. Testovanie preto potvrdilo potrebu chápať kvalitu dát ako priebežnú prevádzkovú disciplínu, nie ako jednorazový importný krok.

Reprezentatívne testovacie scenáre

Pre potreby overenia boli vytvorené a použité viaceré reprezentatívne scenáre. Ich cieľom bolo pokryť nielen technickú dostupnosť komponentov, ale aj odborné správanie systému v typických prípadoch používania.

Výsledky týchto scenárov potvrdili, že vytvorené komponenty možno používať v reálnych alebo realistických dátových podmienkach. Zároveň ukázali, že niektoré oblasti budú vyžadovať ďalšiu kalibráciu. Ide najmä o nastavovanie prahov deduplikácie, kvalitu ranking vrstvy v hybridnom vyhľadávaní, stabilitu odpovedí pri opakovaných dopytoch a postupné rozširovanie BIBFRAME mapovania.

Uvedenie do prevádzky a pilotné nasadenie

Výstupy projektu boli nasadzované diferencovane podľa ich zrelosti, rizikovosti a väzby na existujúce systémy. Nie všetky komponenty mali rovnaký cieľový režim. Niektoré výstupy boli vhodné na okamžité ostré nasadenie, iné na pilotné overenie a ďalšie predstavujú stabilný výskumno-vývojový základ pre neskoršie produkčné rozšírenie.

Takýto spôsob nasadzovania zodpovedá charakteru projektu. Pri výstupoch, ktoré priamo zasahujú do používateľskej prevádzky alebo do dátovej integrity, bol zvolený opatrnejší postup. Pri komponentoch s nižším rizikom, napríklad grafová vizualizácia hierarchie inštitúcií, bolo možné pristúpiť k rýchlejšiemu produkčnému využitiu. Pri AI a sémantických moduloch sa ako primeraný javí pilotný režim s priebežným monitorovaním a ďalším ladením.

Prevádzkové aspekty

Prevádzka riešení BIBLIB.AI si vyžaduje koordináciu viacerých technologických vrstiev. Ide najmä o databázovú vrstvu, Elasticsearch indexy, aplikačné servery, REST služby, používateľské rozhrania, transformačné skripty a monitorovanie logov. V rámci projektu bolo overené, že nové komponenty možno prevádzkovať ako samostatné služby alebo integračné moduly bez potreby zásadného narušenia existujúcej architektúry.

Pri prevádzke boli identifikované tieto kľúčové aspekty:

• stabilita dátového modelu, pretože zmeny v schéme, indexoch alebo embedding modeli môžu mať vplyv na viacero nadväzných služieb;

• verzionovanie transformačných pravidiel, najmä pri BIBFRAME a XML výstupoch;

• kontrola kompatibility vektorov, keďže zmena embedding modelu vyžaduje reindexáciu alebo zavedenie samostatného vektorového poľa;

• oddelenie vývojového a produkčného režimu, najmä pri experimentálnych AI komponentoch;

• logovanie a diagnostika, pretože pri viacfázových procesoch je nevyhnutné vedieť spätne určiť, v ktorej vrstve vznikol problém;

• zálohovanie a obnova, najmä pri databázových a indexačných procesoch;

• bezpečnosť API rozhraní, najmä pri službách, ktoré sú výpočtovo náročné alebo pracujú s internými dátami.

Z prevádzkového hľadiska je dôležité, že nové komponenty boli navrhované modulárne. Embedding služba je samostatná REST služba, BIBLIO-CHAT je samostatný backendový servis, BIBFRAME transformácie sú oddelené od prezentačných vrstiev a grafové vizualizácie používajú jednoduchý model uzlov a hrán. Táto modularita znižuje riziko, že výpadok alebo zmena jedného komponentu spôsobí nefunkčnosť celého systému.

Monitoring a diagnostika

Osobitnú pozornosť si vyžadovala diagnostika správania AI a vyhľadávacích komponentov. Pri tradičných databázových alebo XML procesoch možno chybu často identifikovať porovnaním vstupu a výstupu. Pri hybridnom alebo dialogickom vyhľadávaní je však potrebné sledovať aj rozhodovacie kroky systému: interpretáciu používateľského vstupu, vytvorený vyhľadávací plán, použité filtre, aktiváciu sémantickej vrstvy, počet výsledkov a odpoveď používateľovi.

Preto boli v riešení BIBLIO-CHAT zavedené mechanizmy observability, ktoré umožňujú sledovať priebeh jedného turnu, priradiť mu trace identifikátor, zaznamenať vyhľadávací plán, stav Phase 0 grounding vrstvy a technické informácie o použitom vyhľadávaní. Tento prístup je dôležitý nielen pre ladenie, ale aj pre dôveryhodnosť riešenia. Umožňuje totiž spätne preskúmať, prečo systém vrátil konkrétnu množinu výsledkov a aké podmienky boli použité.

Podobný princíp sa uplatňuje aj pri deduplikácii a kontrole kvality. Systém uchováva pôvodné dáta, rozhodovacie stavy a pomocné hodnoty, ktoré umožňujú neskoršiu revíziu. Tento prístup je zásadný najmä preto, že pri bibliografických dátach je často prijateľnejšie ponechať neistý prípad na odborné posúdenie, než automaticky a nevratne zlúčiť nesprávne záznamy.

Výsledky testovania a prevádzkovej stabilizácie

Na základe realizovaného testovania možno konštatovať, že projekt dosiahol požadovaný stav prevádzkovej pripravenosti vybraných výstupov. Niektoré komponenty boli uvedené do ostrej prevádzky alebo do produkčne použiteľného režimu, iné boli stabilizované ako pilotné moduly a ďalšie boli pripravené ako technologický základ pre nadväzujúci vývoj.

Najdôležitejšie výsledky tejto fázy možno zhrnúť nasledovne:

• Bolo overené, že nové dátové a metadátové vrstvy sú kompatibilné s existujúcim prostredím BIBLIB.

• Boli otestované mechanizmy deduplikácie, kontroly kvality a spracovania hashov v súbornom katalógu.

• BIBFRAME transformácie boli validované nad reprezentatívnymi záznamami a prepojené s prezentačnou a grafovou vrstvou.

• Embedding služba a backfill mechanizmus vytvorili funkčný základ pre sémantické a hybridné vyhľadávanie.

• BIBLIO-CHAT bol overený prostredníctvom API testov, konverzačných scenárov a integračných testov.

• VIS-network bol overený v samostatných prototypoch a následne použitý v systéme REPČO pre vizualizáciu hierarchie inštitúcií.

• Boli identifikované limity a oblasti ďalšieho ladenia, najmä pri stabilite ranking vrstvy, rozširovaní mapovania a produkčnom škálovaní AI služieb.

Výsledky zároveň potvrdili, že prevádzková hodnota projektu nespočíva iba v jednej samostatnej funkcionalite. Prínos vzniká kombináciou viacerých vrstiev: kvalitnejšie metadáta zlepšujú deduplikáciu, deduplikácia zlepšuje vyhľadávanie, sémantické vyhľadávanie rozširuje používateľské možnosti, BIBLIO-CHAT znižuje bariéru práce s katalógom a grafové vizualizácie umožňujú lepšie porozumieť vzťahom medzi entitami.

Limity zistené počas testovania

Testovanie zároveň identifikovalo viaceré limity, ktoré sú prirodzené pre výskumno-vývojový charakter projektu. Pri BIBFRAME transformáciách ostáva potrebné pokračovať v dopĺňaní ďalších mapovacích pravidiel a v systematickom porovnávaní s oficiálnymi konverznými špecifikáciami. Pri sémantickom vyhľadávaní je potrebné ďalej ladiť váhy medzi fulltextovou a vektorovou zložkou, najmä pri hybridnom skórovaní. Pri BIBLIO-CHAT sa ukázalo, že opakované alebo šumové vstupy v prirodzenom jazyku môžu viesť k širším alebo menej stabilným výsledkom, čo si vyžaduje ďalšiu kalibráciu plánovacej a rankingovej vrstvy.

Z prevádzkového hľadiska je dôležité aj to, že niektoré experimentálne komponenty zatiaľ používajú riešenia vhodné pre pilotný režim, napríklad dočasné ukladanie relácií alebo vývojové konfigurácie. Pred ich plným produkčným rozšírením bude vhodné doplniť perzistentné session úložisko, rozšírený monitoring, metriky výkonu, alerting a presnejšie pravidlá prevádzkovej obnovy.

Tieto limity však nepredstavujú zásadnú prekážku splnenia cieľov projektu. Naopak, presne definujú hranicu medzi dosiahnutým výskumno-vývojovým výsledkom a ďalšou etapou produktového rozvoja. Projekt vytvoril použiteľné jadro, ktoré možno postupne rozširovať, stabilizovať a prenášať do ďalších systémov.

Aktivita testovania a uvedenia do prevádzky potvrdila, že výstupy projektu BIBLIB.AI dosiahli úroveň praktickej overiteľnosti a vybrané časti aj úroveň reálneho prevádzkového využitia. Testovanie preukázalo funkčnosť komponentov, ich integračný potenciál a schopnosť pracovať s reálnymi bibliografickými dátami. Zároveň pomohlo pomenovať oblasti, ktoré si vyžadujú ďalší rozvoj, najmä v oblastiach produkčného škálovania, dlhodobej observability, optimalizácie relevancie a postupného rozširovania mapovacích pravidiel.

Za hlavný prínos tejto fázy možno považovať to, že výstupy projektu neostali na úrovni samostatných vývojových experimentov. Boli overené v kontexte existujúcich systémov, reálnych dátových štruktúr a konkrétnych používateľských alebo odborných scenárov. Tým sa vytvoril stabilný základ pre ich ďalšie využitie v systémoch INFOGATE, BIBLIB, REPČO a v ďalších produktoch spoločnosti SVOP.

Z tohto pohľadu možno uzavrieť, že aktivita testovania a prevádzky splnila svoju úlohu. Prepojila výskumno-vývojové výstupy s praktickou aplikačnou realitou, potvrdila ich technickú životaschopnosť a vytvorila predpoklady pre ich ďalšiu stabilizáciua využitie v širšom digitálnom ekosystéme bibliografických a akademických informačných systémov.

Na základe plánovanej štruktúry projektu možno záverečné vyhodnotenie formulovať tak, že aktivity boli logicky previazané od prípravy infraštruktúry a metadátového modelu cez vývoj algoritmov, vyhľadávania a vizualizácie až po testovanie, nasadenie a komunikáciu výsledkov. Táto postupnosť podporuje preukázateľnosť výstupov a znižuje riziko, že technické výsledky budú hodnotené izolovane bez väzby na hlavný cieľ projektu.

Najdôležitejším výsledkom projektu je, že viaceré riešenia boli dopracované od ideového návrhu, cez analýzu a návrh riešenie a prototyp až do fázy reálneho nasadenia a viaceré riešenia až do nasadenia do produkcie.