BSL richt zich al meer dan twintig jaar op intelligente zoekapplicaties. Zoektechnologie, -intelligentie en -prestaties ontwikkelen zich voortdurend, dus inmiddels hebben wij ervaring met een breed scala aan zoekmogelijkheden. Dit blog beschrijft een aantal van onze ervaringen met Azure Cognitive Search – een Microsoft-dienst die we binnenkort gaan gebruiken om elke dag duizenden documenten te classificeren, waardoor abonnees op maat gemaakte attenderingen krijgen.
Intelligent zoeken vs. simpel zoeken
Simpel zoeken is wat we bijna elke dag gebruiken in de Google zoekbalk. Dus toen ik onlangs zocht op “stretch film”, op zoek naar een oude filmrecensie, kreeg ik een heel scala aan huishoudfolie-oplossingen en -verkopers. Geen film, wel teleurstelling 😔.
Google zoekt alleen naar woordcombinaties zonder verdere context. Vreemd genoeg, toen ik in de zoekbalk klikte, kreeg ik een lijst van acteurs die spelen in de film die ik zocht. Dus Google gebruikt een ander algoritme om hun “Mensen zoeken ook naar” lijst te vullen. Dit deel van Google heeft duidelijk de context wel begrepen. Het weet dat film kan verwijzen naar “movies” en geeft terug wat het weet over de film “Stretch”.
Google helpen beter te zoeken
Je kunt Google hints geven. Als je bijvoorbeeld zoekt op “film stretch” vind je nog steeds een aantal reclames voor huishoudfolie (omdat bedrijven deze woorden gebruiken in hun advertentiecampagnes), maar Google geeft het woord “Film” meer prioriteit, omdat dit het eerste woord is. En dus toont het de film in hun aangepaste resultaten blok. Het geeft ook Wikipedia en IMDB matches. “Movie Stretch” is nog beter, omdat het alle verwarring wegneemt. In tegenstelling tot het woord “Film”, is de betekenis van “Movie” ondubbelzinnig.
Met een beetje moeite kun je Google overhalen naar bepaalde inhoud te zoeken en zelfs vertellen waar te zoeken, maar er zijn maar weinig gebruikers die tijd besteden aan het leren van de Google-syntax. Als je geïnteresseerd bent, kan dit spiekbriefje helpen. Alleen al het gebruik van elementaire operatoren, zoals AND/OR, aanhalingstekens en haakjes, kan Google helpen beter te zoeken.
Intelligent zoeken in zakelijke apps
Context is leidend in zakelijke toepassingen. Gebruikers verwachten een mate van intelligentie die je niet zult vinden als je gewoon een paar woorden in de zoekbalk van Google typt. Deze intelligentie levert Azure Cognitive Search met hun ingebouwde AI. De AI technologie kan automatisch informatie verrijken, waardoor de zoekmachine beter snapt in welke context er gezocht moet worden. Cognitive Search kan ook werken met een onbeperkte hoeveelheid gegevens.
Ontwikkelaars kunnen gebruik maken van Cognitive Search services om afbeeldingen, teksten en audio te interpreteren, of “Machine Learning” gebruiken om inhoud te begrijpen. Azure Cognitive Search biedt ook semantische zoekmogelijkheden. Het maakt gebruik van geavanceerde Machine Learning om de intentie van de gebruiker te begrijpen en de meest relevante zoekresultaten te rangschikken.
Je inhoud gemakkelijk toegankelijk maken
Wij werken regelmatig voor klanten met honderdduizenden documenten, en soms komen daar dagelijks duizenden documenten bij. Sommige van deze documenten kunnen eenvoudige tekst-, HTML- of XML-bestanden zijn, maar we werken vaak met veel verschillende bronnen, waaronder Word-documenten, Excel-spreadsheets, PowerPoint-decks of PDF’s. Azure Cognitive Search services kan met deze en nog veel meer formaten overweg. Het kan ook gebruik maken van OCR om tekst uit afbeeldingen te herkennen en bewaren. Bij het importeren van deze documenten indexeren we de inhoud, waardoor een doorzoekbaar archief ontstaat. Gebruikers kunnen gemakkelijk naar informatie zoeken met eenvoudige zoekopdrachten, of complexere zoekopdrachten die gebruik maken van booleans, wildcards, en taalfuncties zoals het herkennen van stammen.
Betekenis extraheren en inhoud verrijken met “Skills”
“Skills” zijn Azure Cognitive Search services die inhoud, structuur en betekenis filteren uit ruwe ongestructureerde tekst- en beeldbestanden. Bijvoorbeeld, sentiment analyse kan identificeren of een document positief, negatief, of neutraal gestemd is. Andere Skills kunnen de brontaal identificeren en automatisch alle inhoud vertalen naar het Nederlands of een andere taal. Er zijn meer dan 15 van deze Skills om uit te kiezen – en je kunt zelfs gebruik maken van de kracht van AI-zoekmogelijkheden en Machine Learning om op maat gemaakte Skills te ontwikkelen speciaal voor een specifieke klant.
Drie van de meest waardevolle en flexibele Skills die beschikbaar zijn voor ontwikkelaars zijn “Entiteitsherkenning”, “Persoonlijke gegevens”, en “Kernzinnen”.
Entiteitsherkenning
De Entity Recognition Skill haalt entiteiten van verschillende types uit de tekst, zoals personen (namen), organisaties, URL’s en telefoonnummers. Andere entiteiten zijn data en tijden, adressen, e-mailadressen en hoeveelheden. Je kunt deze items automatisch uit documenten of tekst filteren en ze gebruiken voor zoekopdrachten of als metadata om de inhoud te classificeren. Zo kun je bijvoorbeeld snel alle documenten markeren die verwijzen naar ABN AMRO of Coca Cola.
Persoonlijke gegevens
GDPR vereist specifieke zorgvuldigheid bij het maken van datasets. In de meeste gevallen moet je de privacy van individuen beschermen door hun persoonlijke details te verbergen. Bovendien zijn de opslag en het gebruik van persoonlijke informatie onderworpen aan een steeds strengere controle. Met behulp van de Personal Information Skill kun je automatisch persoonlijke informatie zoals sofinummers, namen en adressen detecteren en de informatie automatisch maskeren voordat de inhoud van het document wordt opgeslagen.
Kernzinnen
De Key Phrase Extraction Skill evalueert ongestructureerde tekst, en geeft voor elk record een lijst van kernzinnen. Dit wordt gedaan door middel van Machine Learning modellen geleverd binnen Cognitive Search. Deze Skill is nuttig als je de belangrijkste gespreksonderwerpen in de inhoud moet identificeren. Bijvoorbeeld, als de gegeven invoertekst is “Het eten was heerlijk, en er was geweldig personeel” dan retourneert de Skill “eten” en “geweldig personeel“.
Samenvattend
Dit zijn slechts enkele voorbeelden van de flexibiliteit van Cognitive Search. We kunnen de diensten van Azure Cognitive Search gebruiken om snel volledig op maat gemaakte systemen te ontwikkelen die je content importeren en automatisch AI en leermodellen toepassen om je content te verrijken. En die tegelijkertijd de GDPR-verplichtingen en privacy respecteren. Dus neem contact op met BSL om te bespreken hoe wij je kunnen helpen een intelligente datastore binnen je organisatie te creëren. We kunnen prototypes bouwen in slechts een paar weken.
