Jev Can Now SEE (And It's Absurdly Fast)

Jev a introduit une nouvelle fonctionnalité d'analyse d'images, permettant désormais de prendre des décisions basées sur le contenu visuel en plus du texte. Cette capacité est particulièrement utile pour des tâches nécessitant des réponses rapides, comme la classification d'images ou la détection d'objets spécifiques. Une nouveauté majeure est le type de question "box", qui fournit les coordonnées précises d'un objet dans une image, éliminant le besoin d'entraîner des modèles de vision par ordinateur personnalisés pour de telles analyses. Cette fonctionnalité est actuellement en phase bêta et disponible pour tous les utilisateurs de la plateforme Jev, avec des améliorations prévues. Elle a été testée sur un ensemble de 200 tickets de support contenant des captures d'écran, démontrant une efficacité remarquable : l'analyse complète des 200 images a pris moins de 4 secondes et coûté seulement 2 cents. Les résultats incluent la classification des images, l'identification des problèmes pertinents et, dans certains cas, le renvoi vers une vérification humaine lorsque le score de confiance était insuffisant. Les cas d'usage potentiels sont vastes, allant de la détection d'emballages endommagés à la classification de bibliothèques d'images, en passant par le filtrage d'images inappropriées et l'analyse de sécurité pour réduire les fausses alertes. La plateforme permet d'interroger les images de diverses manières, notamment en demandant si un élément est consommable ou en identifiant des pictogrammes spécifiques. Par exemple, une image d'étagère remplie de produits a été analysée pour déterminer la potabilité d'un article et identifier un pictogramme d'inflammabilité, localisant l'alcool à brûler comme étant inflammable. Une autre application concerne l'évaluation de réclamations, comme celle d'un téléphone tombé. L'outil peut évaluer la gravité des dommages physiques visibles, confirmer si la photo correspond à la réclamation, et identifier le type de téléphone. Il est important de noter une limite du type de question "box" : il générera toujours une boîte, même si l'objet recherché est absent. Il est donc conseillé de poser une question de type "null" pour vérifier la présence de l'objet avant d'utiliser la fonction "box". La capacité d'intégrer des images dans n'importe quelle partie de la requête ouvre la voie à des modèles de comparaison, permettant de déterminer si une image correspond à une image de référence connue. D'autres modèles incluent la détection des changements entre deux images, utile pour la surveillance vidéo, ou le découpage d'images haute résolution en tuiles pour une analyse plus fine. Les modèles de décision ne sont pas parfaits. L'analyse de 1000 tickets synthétiques a montré une précision de 93,4% pour Jev. En utilisant un seuil de confiance de 65% pour les décisions automatiques, aucune erreur n'a été commise parmi les 899 décisions automatiques. Cependant, parmi les 101 cas envoyés à un examen humain, Jev avait trouvé la mauvaise réponse dans certains cas, indiquant un manque de calibration. Les limites actuelles incluent le support des images fixes (PNG, JPEG) avec des contraintes de taille et de résolution.