A la indústria tecnològica, difícilment podeu tenir una conversa sense que algú mencioni la inferència, la intel·ligència artificial (IA) i l'aprenentatge automàtic (ML). Tanmateix, és important tenir en compte que, tot i que tots aquests termes estan interconnectats, també difereixen significativament.
En aquest article, explicarem les diferències fonamentals i destacarem la importància d'utilitzar la tecnologia d'IA de punta basada en el processament de tensors-, especialment en sistemes perifèrics i integrats. En comparació amb les solucions basades en unitats de processament gràfic (GPU), les unitats de processament tensor (TPU) ofereixen un rendiment més eficient i rendible-. També oferirem alguns exemples de casos d'ús que il·lustren on podeu trobar solucions d'IA d'avantguarda en el futur.
Fonaments de ML i inferència
ML es refereix a la metodologia dels models d'entrenament que utilitzen dades representatives per permetre que les màquines aprenguin a realitzar tasques. Aquest procés pot ser molt intensiu computacionalment, generant bilions d'operacions per nou punt de dades d'entrenament. La naturalesa iterativa del procés d'entrenament, combinada amb els enormes conjunts de dades d'entrenament necessaris per aconseguir una gran precisió, impulsa la demanda de processament de coma flotant de-rendiment- extremadament alt. La formació de ML s'implementa millor com a infraestructura de centre de dades, on els costos operatius i de capital elevats es poden justificar amortitzant-los a nombrosos clients.
La inferència implica utilitzar models entrenats per generar coincidències potencials per a dades noves rellevants per a les dades representatives sobre les quals s'ha entrenat el model. La inferència té com a objectiu oferir respostes ràpides en mil·lisegons. Alguns exemples d'inferència inclouen el reconeixement de veu, la traducció d'idiomes-en temps real, la visió artificial i les decisions d'optimització de la inserció de publicitat. Tot i que la inferència només requereix una fracció de la potència de processament necessària per a l'entrenament, encara supera amb escreix el que els sistemes tradicionals basats en unitats de processament central (CPU)-poden oferir, especialment per a les aplicacions de visió per ordinador. És per això que tantes empreses estan recorrent a solucions d'acceleració basades en-tensors-ja sigui com a IP en SoC o com a-acceleradors de sistemes-per aconseguir els temps de resposta de sub-segons necessaris a la vora. La realitat és que passar fins i tot un minut o uns segons processant imatges en un sistema de visió no és gaire útil. Els sistemes de visió industrial busquen velocitats de processament-de mil·lisegons.
Separant entrenament i inferència
La implementació del mateix maquinari que s'utilitza per a l'entrenament per gestionar les càrregues de treball d'inferència pot donar lloc a un-provisionament excessiu de màquines d'inferència amb acceleradors i maquinari de CPU. Les solucions de GPU desenvolupades per a ML durant l'última dècada no són necessàriament l'opció òptima per al desplegament a gran-escala de tecnologies d'inferència ML. El diagrama següent il·lustra perfectament la comparació entre acceleradors de TPU i acceleradors de GPU. Mostra clarament que els acceleradors de TPU ofereixen un consum d'energia menor, costos reduïts i una eficiència més alta en comparació amb les solucions AGX basades en GPU-, alhora que ofereixen nivells de rendiment convincents per a aplicacions d'inferència.
Una altra consideració crítica a l'hora d'apropar-se a solucions d'entrenament i inferència d'ML és l'entorn del programari. Actualment, s'utilitzen nombroses biblioteques populars, com ara CUDA per a GPU de NVIDIA, marcs de ML com TensorFlow i PyTorch, biblioteques de models multiplataforma optimitzades com Keras i molt més. Aquests conjunts d'eines són essencials per desenvolupar i entrenar models de ML, però les aplicacions d'inferència requereixen un conjunt diferent i més petit d'eines de programari.
Els conjunts d'eines d'inferència se centren a executar models a plataformes de destinació. Admeten la portabilitat de models entrenats a plataformes, cosa que pot implicar algunes transformacions d'operadors, quantificació i serveis d'integració d'amfitrió. Tanmateix, això representa un conjunt de funcionalitats relativament senzill en comparació amb les necessàries per al desenvolupament i la formació de models.
Les eines d'inferència es beneficien de començar amb una representació estandarditzada del model. L'Open Neural Network Exchange (ONNX) és el format estàndard per representar models de ML. Com el seu nom indica, és un estàndard obert gestionat com un projecte de la Fundació Linux. Tecnologies com ONNX permeten desacoblar sistemes d'entrenament i inferència, atorgant als desenvolupadors la llibertat d'escollir diferents plataformes optimitzades per a cadascun.
Exemples d'aplicacions visuals
A mesura que les tecnologies de processadors d'ML i d'inferència continuen avançant i evolucionant, les aplicacions estan proliferant. A continuació es mostren només alguns llocs on trobareu aquesta tecnologia en el futur.
Servidors Edge en empreses com ara fàbriques, hospitals, botigues minoristes i institucions financeres. Per exemple, en entorns industrials, la IA pot ajudar amb la gestió d'inventari, la detecció de defectes i fins i tot el manteniment predictiu abans que sorgeixin problemes. A la venda al detall, permet funcions com l'estimació de la postura, utilitzant la visió per ordinador per detectar i analitzar la postura humana. Les dades d'aquesta anàlisi ajuden els minoristes-i-de maó i morter a entendre millor el comportament humà i el trànsit de vianants a les seves botigues, cosa que els permet optimitzar els dissenys de les botigues per obtenir el màxim de vendes i la satisfacció del client.
Imatges d'alta{0}}precisió/alta-qualitat per a aplicacions com ara robòtica, automatització/inspecció industrial, imatges mèdiques, imatges científiques, càmeres de vigilància i reconeixement d'objectes i fotònica. Per exemple, els mètodes d'aprenentatge automàtic han demostrat la capacitat de detectar càncer mitjançant el processament de raigs X-digitals. Aquest procés implica desenvolupar un model ML dissenyat per processar imatges de raigs X-, normalment utilitzant algorismes de segmentació semàntica entrenats per identificar lesions canceroses. Durant la formació, les imatges de càncer identificades pels radiòlegs s'utilitzen per ensenyar a la xarxa què no és càncer, què és càncer i com apareixen els diferents tipus de càncer. Com més s'entrena un model de ML, millor serà per maximitzar els diagnòstics correctes i minimitzar els errors de diagnòstic. Això vol dir que l'aprenentatge automàtic es basa no només en un disseny intel·ligent de models, sinó també en grans quantitats (desenes de milers a milions) d'exemples de dades curosament seleccionades on el càncer s'ha identificat per experts.
Carrets de compra intel·ligents-Algunes empreses estan desenvolupant i desplegant sistemes de compres intel·ligents que reconeixen els productes no pels seus codis de barres UPC, sinó per l'aparença visual de l'envàs mateix. Aquesta funció permet als compradors simplement col·locar articles al carretó o al sistema de pagament sense necessitat de localitzar el codi UPC i escanejar-lo amb un escàner làser UPC. Aquesta tecnologia fa que el procés de compra sigui més precís, ràpid i còmode.
Prendre la decisió correcta
Les empreses han d'avaluar totes les solucions disponibles avui i seleccionar-ne l'òptima en funció del seu cas d'ús específic. Tampoc no poden suposar simplement que totes les solucions d'IA s'implementen millor als dispositius GPU, ja que les solucions basades en TPU-ofereixen una major eficiència de processament i una menor utilització de silici, reduint així el consum d'energia i els costos.