Itequia

Creació de models personalitzats i aprenentatge semi-automàtic amb AI Builder

AI Builder dashboard showing a list of prebuilt and custom models for tasks like document processing, sentiment analysis, and object detection.

Dins de la creació de processos automàtics en l’entorn de Microsoft 365, trobem eines com Power Automate i AI Builder. Aquestes eines ens ajuden en la creació de processos automàtics. En aquest article, descobrirem com podem utilitzar una nova acció dins d’AI Builder. Aquesta acció permet entrenar automàticament els nostres models a mida utilitzant resultats anteriors.

INTRODUCCIÓ als MODELS PERSONALItZAtS 

Dins del lloc web de l’eina Power Platform, al menú de la part esquerra, podem navegar a l’opció Centre d’IA. A la part inferior, podem veure els models a mida que hem creat o que han compartit amb nosaltres.

List of recently created AI models with details such as name, owner, permissions, status, and last training date.

CREACIÓ DE MODELS PERSONALITZATS

Vegem els passos que s’han de seguir per crear un model personalitzat. Partirem d’un exemple de model de factures de taxi que he creat.

A la primera pàgina, podrem triar el tipus de document que tractarem. Optarem per “Documents de plantilla fixa.”

Interface for selecting document types to process, including templates, general documents, and invoices, with a sample form from the School of Fine Art.

La segona pantalla ens permetrà seleccionar els camps, assignant-los un nom i un tipus. En aquest cas, intentarem extreure l’hora, l’import i el nombre de quilòmetres.

Field selection interface for document processing, allowing users to define text, number, date, checkbox, table, and signature fields.

El tercer apartat ens permet crear col·leccions per carregar documents de prova per a l’entrenament. Fixem-nos en un origen especial que se’ns dóna, el “Bucle de retroalimentació”. En aquest moment, tenim 0 elements disponibles.

Document collection interface showing a group named 'Colección 1' with five uploaded documents for model training.

Finalment, l’última pàgina ens permet marcar els diferents camps i associar-los als que hem creat.

Close-up of a taxi receipt used for training, displaying fields like license number, start and end time, distance, service charge, and total amount.

EXTRACCIÓ DE dades mitjançant EL MODEL PERSONALItZAt 

En els nostres fluxos de Power Automate, podem utilitzar els nostres models personalitzats per extreure informació de documents. En el nostre cas d’exemple, podrem extreure informació de factures de taxis usant l’acció “Extreure informació de documents”. Marcarem l’ús del nostre model de factures de taxi, el tipus de document i el contingut del document.

AI Builder interface for extracting data from JPEG-format taxi invoices using a custom model.

CONFIANÇA EN ELS VALORS RETORNATS PER AI BUILDER

Per a cadascun dels valors retornats, AI Builder ens donarà una puntuació de confiança del 0 al 100% indicant com de segur està que la dada és correcta. Això ens permet confiar i automatitzar el procés aplicant un llindar mínim per a aquesta confiança. En el nostre cas, hem establert un valor del 85%. És a dir, si la confiança supera el 85%, confiarem en la dada i continuarem amb el procés automàtic. Si no, ho deixarem per al processament humà.

Extracted data preview showing a time field with a confidence score of 0.995.
Conditional workflow in Power Automate based on AI confidence score, triggering different actions depending on the result.

Millora automàtica de l’entrenament

Tal com hem vist en el punt d’entrenar el nostre model, no podem automatitzar totalment l’entrenament d’aquests models a partir de resultats extrets de l’ús del nostre model en els nostres fluxos. No obstant això, Power Automate ara ofereix una nova acció que afegeix valor a l’entrenament dels nostres models. Aquesta acció es diu “Desar fitxer en el bucle de comentaris d’AI Builder”.

En aquesta acció, enviarem el fitxer a l’apartat que he anomenat prèviament com a “Bucle de retroalimentació” en l’edició del nostre model. Aquest punt és interessant si el combinem amb el tema de la confiança comentat anteriorment. Quan els resultats de l’extracció amb el nostre model siguin positius, els enviarem a aquest apartat. Així, de manera senzilla, una persona podrà reentrenar de nou el model només amb fitxers que estiguin donant resultats positius.

AI Builder configuration window for saving a file in the feedback loop, showing selected model 'taxi invoices' and source fields like body and title.

Si volem continuar millorant el funcionament del nostre model, hem de seguir reentrenant-lo. I quina millor manera de fer-ho que amb casos reals que s’han anat processant. Per això, és important que l’encarregat de mantenir el model el reentreni periòdicament amb aquests fitxers enviats directament des dels fluxos. En entrar a la llista de models, ho veurà marcat d’aquesta manera.

List of AI models including 'taxi invoices' and a document processing model, with details such as owner, status, and last training date.

Un cop entrem en l’edició i anem a la part d’afegir nous documents a les col·leccions, veurem el següent:

Interface for managing document collections in AI Builder, showing a notification about new feedback loop documents and an existing collection named 'Colección 1'.

I si fem clic a la col·lecció per afegir un nou document, veurem que ja tenim N elements. N serà el nombre de documents processats amb èxit pel nostre model.

Data source selection screen in AI Builder with options like My Device, Feedback Loop, SharePoint, and Azure Blob Storage.

CONCLUSIó

Tot i que encara no podem realitzar un entrenament totalment automàtic dins dels nostres models d’AI Builder, hem fet un gran avenç. Podem millorar l’eficiència dels nostres entrenaments i enviar fitxers als nostres models de manera automàtica. Això evita pujar fitxers de baixa qualitat que redueixen el rendiment dels nostres models.

Vegem si en el futur apareix l’única acció que ens falta per automatitzar completament aquest pas. Aquesta acció ens estalviaria l’últim pas d’anar al mode d’edició del model, afegir, entrenar i publicar la nova versió del model.

T’agradaria millorar l’automatització dels teus processos amb Power Automate i AI Builder? Comença avui mateix i descobreix com aquestes eines poden transformar el teu flux de treball! Contacta’ns.

Adrian Cano Esteban – Architecture Team – Lead Developer at Itequia