La nueva tecnología acelerará procesos como chatbots, recomendaciones y búsquedas en línea.
a nvidia Se anunció una nueva generación de tecnología de aceleración de inteligencia artificial (IA), TensorRT 8, que conduce a saltos en el rendimiento en escenarios de inferencia de máquinas, mejorando las capacidades de los sistemas para realizar inferencias de lenguaje en hasta la mitad del tiempo en comparación con tecnologías anteriores, y esta característica puede ser aplicado en situaciones como búsquedas en línea, recomendaciones automatizadas y chats automatizados como chatbots.
El secreto para aumentar el rendimiento se logra a través de un tema que ya hemos cubierto en los tableros de los jugadores: datos dispersos. Los núcleos tensores que se encuentran en las placas modernas de la serie RTX 30 ya aprovechan esta capacidad, y se aplica un concepto similar en esta tecnología: en lugar de realizar cálculos en la resolución INT32 tradicional, la máquina funciona con una cuarta parte de los datos (INT8), lo que resulta en una velocidad de procesamiento mucho más rápida, pero el grado final de precisión es superior al de la tecnología anterior que utiliza núcleos tensores, proporcionando el doble de precisión y el doble de rendimiento en comparación con TensorRT 7.
En el uso práctico, TensorRT 8 pudo ofrecer 2,5 veces más rendimiento que la tecnología anterior en la prueba BERT-Large, una tecnología de inferencia automatizada que convierte de lenguaje natural a modelos neuronales implementados por Google. El modelo grande para esta prueba es un escenario extremo donde el grado de precisión puede superar la interacción humana, por lo que su implementación es costosa y depende de un alto rendimiento en los dispositivos utilizados, y su modelo suele estar minimizado, lo que conlleva una pérdida de precisión pero no obstante, la implementación es posible.
TensorRT 8 ahora está disponible para implementación, Con SDK disponibles en el programa para desarrolladores de NVIDIA y bibliotecas También disponible en GitHub. Actualmente, la tecnología TensorRT ya es utilizada por grandes empresas como GE Healthcare, que se dedican a tecnologías médicas, diagnósticos y soluciones digitales, y según Nvidia, ya se han realizado más de 2,5 millones de descargas de TensorRT. Ha sido implementado por más de 350.000 desarrolladores en todo el mundo.
