23.2.1994 Laboratorij za umetno inteligenco ================================= Raziskave umetne inteligence v Sloveniji so se pri~ele leta 1972 v Odseku za ra~unalni{tvo in informatiko Instituta Jo`ef Stefan. Laboratorij je bil formalno ustanovljen leta 1979. Vodja laboratorija, prof. dr. Ivan Bratko, je med najvidnej{imi raziskovalci umetne inteligence v svetu s prek 100 mednarodnimi objavami. Njegova knjiga "Prolog Programming for Artificial Intelligence" (Addison-Wesley) je bila nekajkrat ponatisnjena in prevedena v poglavitne svetovne jezike (angle{~ino, nem{~ino, italijan{~ino, franco{~ino, japon{~ino, ru{~ino in sloven{~ino. Prvih deset let je bil poudarek na teoreti~nih dose`kih, od leta 1982 pa je del aktivnosti usmerjen na razvojne in aplikativne raziskave ter prenose v prakso. Sodelavci laboratorija so implementirali `e ~ez 60 aplikacij na razli~nih podro~jih, od ekonomije in organizacije dela (npr. evaluacije investicij, projektov in podjetij) do tehnike (metalurgija, geologija, in`enirstvo) in medicine. Ve~ina aplikacij temelji na ekspertnih sistemih, sistemih za empiri~no u~enje (predvsem sistemu Asistent) in sistemih za pomo~ odlo~anju (predvsem DEX). Razvitih je bilo {e okoli 10 sistemov, med njimi GINESYS, LINUS, m-FOIL, MARCUS, RETIS. Nekateri izmed njih so, ~eprav prototipni, dosegali in presegali najbolj{e obstoje~e tr`ne pakete. Laboratorij poleg raziskovalnih dose`kov nudi tudi razvojne in aplikativne mo`nosti sodelovanja. S prek 150 leti na podro~ju dela v umetni inteligenci pa aktivno sodeluje pri svetovanju in pou~evanju. Sodelavci laboratorija sodelujejo s Fakulteto za elektrotehniko in ra~unalni{tvo, Fakulteto za ogranizacijske vede, Ekonomsko fakulteto in Pedago{ko fakulteto v Sloveniji, ter nekaj fakultetami v tujini. V letu 1993 je sodelovanje z Ministrstvom za znanost in tehnologijo potekalo predvsem prek dveh znanstvenih projektov: Avtomatizirana sinteza znanja in In`eniring znanja ter enega razvojnega projekta: Ekspertni sistemi - sistemi znanja. Raziskovalno delo je povezano s prenosi v prakso in prek sodelavcev laboratorija s pedago{kimi aktivnostmi doma in v tujini. Laboratorij je vklju~en v naslednje mednarodne projekte: ESPRIT III Basic Research Project no. 6020 Inductive Logic Programming, ESPRIT III Network of Excellence in Computational Logic, ESPRIT III European Network of Excellence in Machine Learning. Je tudi koordinator PECO92 projekta ILPNET - Inductive Logic Programming Pan-European Scientific Network. V organizaciji laboratorija je bila aprila 1993 na Bledu organizirana mednarodna delavnica The Third International Inductive Logic Programming Workshop. Strokovne usmeritve laboratorija so: (a) Induktivno logi~no programiranje (b) Obravnavanje verjetnosti in {uma (c) Evolucijski algoritmi (d) Integracija: ve~strate{ko u~enje in mnogotero znanje (e) Sinteza znanja za modeliranje, vodenje, diagnostiko in na~rtovanje (f) Sinteza znanja za podporo odlo~anja. Podrobnej{i opis po podro~jih: (a) Induktivno logi~no programiranje (ILP) Induktivno logi~no programiranje (ILP) je raziskovalno podro~je v preseku induktivnega u~enja in logi~nega programiranja, ki si prizadeva razviti teoreti~ni okvir in prakti~ne postopke za u~enje relacij v logiki prvega reda. V tem kontekstu je pomembna tudi obravnava {umnih podatkov v ILP. Integrirani sistem za u~enje LINUS, ki omogo~a u~enje atributnih in relacijskih opisov, smo uporabili za izgradnjo medicinskih diagnosti~nih pravil iz realnih {umih podatkov. Osnovni algoritem LINUS je bil raz{irjen tudi z mo`nostjo uvajanja novih spremenljivk. Na ta na~in je bil raz{irjen razred ILP problemov, ki se jih da re{iti s transformacijo v atributni formalizem, kjer lahko uporabimo `e razvite mehanizme za obravnavo {uma. Raz{irjeni algoritem je bil osnova za dokaz PAC-nau~ljivosti ij-determiniranih in omejenih (constrained) nerekurzivnih logi~nih programov. [tudij mehanizmov za obravnavo {uma je bil opravljen tudi v kontekstu u~enja ve~ predikatov. [tudij problema u~enja ve~ predikatov je pokazal neprimernost obstoje~ih ILP sistemov FOIL in GOLEM. Razvili smo nov algoritem MPL, ki re{uje mnoge od navedenih problemov. Sistem MARKUS, ki prina{a ve~ izbolj{av glede na sistem MIS, je bil uporabljen za sestavljanje programov iz specifikacij ter dokazovanje pravilnosti programov, za inovativno na~rtovanje ter za interpretacijo rezultatov diskretne simulacije dogodkov. (b) Obravnavanje verjetnosti in {uma Razvite metode za obravnavanje {uma, implementirane v programu RETIS, smo uporabili v ekolo{kem modeliranju, pri snovanju zdravil in pri interpretaciji meritev v fiziki delcev. V ekolo{skem modeliranju smo s programom RETIS zgradili regresijska drevesa za napovedovanje koli~ine in prirastka alg v Bene{ki laguni. Rezultati so spodbudni, ker je generirano znanje v obliki regresijskih dreves netrivialno in se sklada z ekspertnim znanjem. V snovanju zdravil smo napovedovali biolo{ko aktivnost zdravila iz njegove strukture. RETIS je bil uporabljen tudi v analizi rezultatov simulacije diskretnih dogodkov. Eksperimenti v fiziki delcev so obsegali identifikacijo subatomskih delcev na osnovi atributov dobljenih z elektromagnetnim kalorimetrom. Bistven prispevek dela je, da smo pokazali, da za uspe{no identifikacijo elektronov in pionov namesto do sedaj uporabljanih 18 atributov zadostujeta le dva. Ostali atributi torej predstavljajo {um v obliki redundan~nih atributov. Identifikacijska pravila dobljena na osnovi samo dveh atributov so tudi kraj{sa in po mnenju ekspertov uporabnej{sa. (c) Evolucijski algoritmi V letu 1993 smo nadaljevali s prou~evanjem evolucijskih algoritmov kot optimizacijske metode za re{evanje nalog s podro~ja vodenja dinami~nih sistemov in atributnega strojnega u~enja. Rezultat tega dela je doktorska disertacija, v kateri so za re{evanje omenjenih nalog uporabljeni genetski algoritmi, ter ve~ mednarodnih objav. V okviru prou~evanja metod vodenja dinami~nih sistemov je bil za dolo~anje vrednosti parametrov PID-regulatorja za regulacijo zahtevnega nelinearnega in nestabilnega procesa, realiziranega na testni laboratorijski napravi, razvit t.i. interaktivni genetski algoritem, ki omogo~a optimizacijo parametrov z izvajanjem poskusov na realni napravi. Pristop omogo~a upo{tevanje ~loveku razumljivih optimizacijskih kriterijev in izbolj{uje rezultate dobljene s klasi~nimi metodami iz teorije vodenja. Razvili smo sistem atributnega strojnega u~enja z genetskimi algoritmi Gallus, ki za osnovo uporablja prekrivni algoritem, iz podanih u~nih primerov pa generira odlo~itveni seznam za klasifikacijo novih primerov. Uporablja dvoji{ko kodiranje pravil in obi~ajna genetska operatorja kri`anje in mutacijo, s poskusih na realnih u~nih problemih smo pokazali, da je tudi genetski algoritem primerna osnova sistema induktivnega u~enja. (d) Integracija: ve~strate{ko u~enje in mnogotero znanje Podro~je ve~strate{kega u~enja in mnogoterega znanja se je v letu 1993 raz{irilo in pribli`alo raziskavam v japonskem projektu Real-World Computing, tj. nasledniku projekta 5. generacije, ter ti. pomnilni{kem pristopu, ki je bil ena izmed osrednjih tem na dvoletnem svetovnem sre~anju z umetne inteligence, IJCAI93. V laboratoriju so bile narejene poglobljene analize modelov mnogoterega znanja in ve~strate{kega u~enja, ki ka`ejo, da je v splo{nem mo`no pri~akovati precej{nje izbolj{ave z uporabo mnogoterega znanja. Izpeljane analize so uporabne predvsem za dva klasifikatorja, zanesljivost zaklju~kov z ve~jim {tevilom klasifikatorjev upada, ka`e pa na izbolj{evanje vsaj za nekaj klasifikatorjev. Zasnovana in implementirana je bila shema za avtomatsko in avtomatizirano integracijo baz znanja. Ta univerzalna shema omogo~a kombiniranje poljubnega {tevila baz znanja, tj. sistemov znanja, ki znajo brati vhodne podatke in znajo klasificirati nove primere. V aplikaciji v Jeseni{ki `elezarni so bili integrirani {tirje sistemi, izbolj{ave pa so se gibale okoli treh odstotkov. V `elezarni Acroni Jesenice `e nekaj let delujejo ekspertni sistemi v zahtevnih industrijskih okoljih. Podobno okolje za integriranje ve~ sistemov je bilo razvito in dopolnjeno na institutu. Omogo~a prena{anje podatkov za u~enje med razli~nimi sistemi za empiri~no u~enje, med sistemi za induktivno logi~no u~enje in statisti~nimi sistemi. V integriranem sistemu je zajetih okoli 10 originalnih programskih paketov v skupni kodi okoli 100.000 vrstic. Narejen je bil prototip sistema, ki temelji na intenzivni uporabi pomnilnika. To je inteligentni operacijski vmesnik VAX/VMS, ki se u~i in prilagaja vsakemu uporabniku. Sistem je razvit do prototipnega nivoja in `e ka`e zna~ilnosti novega pristopa: z intenzivno uporabo pomnilnika dose~i podobne ali bolj{e performanse kot zapleteni algoritmi ob bistveno manj{ih programih. (e) Sinteza znanja za modeliranje, vodenje, diagnostiko in na~rtovanje Po vzoru uporabe alternativnih semantik v induktivnem logi~nem programiranju smo razvili sistema QMN in LAGRANGE za avtomatsko odkrivanje kvalitativnih in kvantitativnih zakonitosti o dinami~nih sistemih iz primerov obna{anja. QMN in LAGRANGE sistemati~no preiskujeta prostor kvalitativnih oz. kvantitativnih ena~b nad spremenljivkami sistema in njihovimi ~asovnimi odvodi, katerih veljavnost testirata z uporabo linearne regresije. Razvit je bil tudi sistem GOLDHORN, ki sistemu LAGRANGE dodaja mo`nost obravnave {umnih meritev. Z njim sta bila rekonstruirana modela dveh realnih sistemov iz meritev njujnega obna{sanja. Definirali smo problem planiranja v kvalitativnih domenah dinami~nih sistemov. Pokazali smo, kako lahko kvalitativni model dinami~nega sistema tipa QSIM definiramo v formalizmu dogodkovnega ra~una, kot domeno abduktivnega planerja APEC. Ideja je bila preverjena s poskusi na preprostih kvalitativnih domenah. Na osnovi raz~lenitve problema sinteze vodenja dinami~nih sistemov smo razvili shemo, v kateri do sedaj prevladujo~ ~asovno zahteven na~in u~enja brez predznanja le skrajna mo`nost. Kot primer realizacije te sheme smo predstavili postopek, ki integrira metode induktivnega avtomatskega u~enja, kvalitativnega modeliranja in genetske optimizacije. Pomemben ~len tako dekomponiranega problema je strategija vodenja, do katere je mo`no priti tudi ob upo{tevanju eksplicitnega apriornega znanja na simboli~nem nivoju ali z ekstrakcijo implicitne strategije izurjenega operaterja. Obravnavali smo oba na~ina, prvega na testnem problemu vodenja inverznega nihala, drugega pa na industrijsko zanimivem problemu vodenja kontejnerskega `erjava. Pri prvem je bil poudarek na analizi vpliva, ki ga ima vnaprej{nja uporaba simboli~nega znanja na karakteristike u~enja. Kot predznanje smo uporabili kvalitativno kontrolno pravilo, izpeljano iz kvalitativnega modela dinami~nega sistema. Drugi na~in je bil preizku{en na novi problemski domeni, kar je omogo~ilo odkrivanje metodolo{kih vrzeli in preu~evanje razli~nih mo`nosti za njihovo odpravljanje. Razvili smo eksperimentalno okolje za sintezo vodenja dinami~nih sistemov. Okolje vklju~uje fizi~ni model kontejnerskega `erjava. Sestavljeno je iz okvirja z vozi~kom, motorjev, krmilne elektronike, senzorjev, povezave z osebnim ra~unalnikom ter krmilne in komunikacijske programske opreme. (f) Sinteza znanja za podporo odlo~anja Delo v okviru raziskav metod umetne inteligence pri podpori odlo~anja je bilo usmerjeno v integracijo kvalitativnih ve~parametrskih odlo~itvenih modelov s klasi~nimi, ki temeljijo na numeri~nih atributih in analiti~no izra`enih funkcijah koristnosti. Razvili smo novo metodo za avtomatsko pretvarjanje kvalitativnih modelov v kvantitativne. Pomen metode je predvsem v tem, da po eni strani ohranja vse prednosti kvalitativnih odlo~itvenih modelov, kot so transparentnost, preglednost, preprosto zajemanje znanja ter posebej poudarjene mo`nosti razlage rezultatov vrednotenja in analize variant, po drugi strani pa bistveno pove~uje njihovo lo~ljivost. Ta je {e posebej pomembna pri odlo~itvenih problemih, kjer nastopa veliko {tevilo variant. Nova metoda je bila uspe{no uporabljena pri podpori ve~ zahtevnih prakti~nih odlo~itvenih problemov. Tako smo v sodelovanju z Ministrstvom za znanost in tehnologijo razvili ekspertni sistem za vrednotenje razvojno-raziskovalnih projektov, s katerim je bilo v letih 1992 in 1993 ovrednotenih okrog 1500 projektov. Na podro~ju dodeljevanja stanovanjskih posojil smo razvili sistem za oblikovanje prioritet, s katerim je bilo v kon~ni fazi obdelanih okrog 6000 pro{enj za posojila. Na podoben na~in smo razvili tudi prototipne sisteme za strate{ko planiranje v podjetjih, vrednotenje proizvodnih programov in klasifikacijo odlagali{~ odpadkov.