Si dice che l'informazione è valida e conoscibile solo se tutti i soggetti e gli oggetti rispetto a un particolare dominio sono tutti disposti in modo quantitativo. Per progettare un sistema di recupero semantico dell'informazione, tutti questi soggetti e oggetti rispetto al suo predicato devono essere definiti nel database dato. Questo può essere fatto tramite l'ingegneria ontologica. Lo scopo principale di questo lavoro è quello di costruire una struttura di ricerca semantica multimodale intellettuale, che ha la combinazione di semantica testuale e visiva. Per sostenere il concetto di multimodalità, il concetto di ontologia è usato in questa ricerca. La conoscenza del dominio del basket rispetto all'immagine e alla modalità testuale sono integrate in un'ontologia. Questa ontologia sarà la spina dorsale di un quadro di ricerca semantica. Tuttavia, per raffinare la ricerca, invece di fornire attributi di dati nitidi rispetto alle caratteristiche dell'immagine, vengono forniti set di dati fuzzy. Una nuova procedura deve essere seguita per identificare il vettore di caratteristiche testuali e di immagine per riempire gli attributi di dati dell'ontologia fuzzy.