Tudásgráfokkal javították a műalkotásokat azonosító MI pontosságát
Olasz és német kutatók olyan mesterségesintelligencia-rendszert fejlesztettek, amely tudásgráfok segítségével pontosabban azonosít festményeket és más kulturális javakat. A Machine Learning folyóiratban bemutatott KARAMEL nemcsak a képek vizuális jellemzőit és a hozzájuk kapcsolódó szövegeket vizsgálja, hanem művészettörténeti összefüggéseket is felhasznál. Így hiányos dokumentáció vagy absztrakt, többféleképpen értelmezhető ábrázolás esetén is megbízhatóbb eredményt adhat.
A rendszert az Aldo Moro Egyetem, a potsdami Hasso Plattner Intézet és a kieli egyetem kutatói fejlesztették. A multimodális entitás-összekapcsolás egy képi vagy szöveges utalást a Wikidata megfelelő eleméhez rendel. A KARAMEL egyik része képeket és szövegeket dolgoz fel, a másik, gráf neurális hálózat pedig az adatbázisban szereplő kapcsolatokat értelmezi. Ennek révén összekapcsolható például egy műalkotás az alkotójával, keletkezési idejével vagy anyagával.
A tesztekben a modell felülmúlta a kizárólag nagy nyelvi modellekre épülő korábbi megoldásokat, ami arra utal, hogy a strukturált tudás beépítése hatékonyabb lehet a puszta számítási kapacitás növelésénél. A kutatócsoport WikiMuSA néven nyilvános adatbázist is létrehozott. Ennek alapjául a Wikipédia 2023. novemberi állapota szolgált, a szócikkeket pedig a Llama 3 segítségével 30–100 szavas összefoglalókká egységesítették. A módszer más területeken, például az orvosbiológiában is alkalmazható lehet.
Folytasd az appban — szavazz és szólj hozzá ➔