Accueil A la une Baidu dépasse Google dans la course à l’IA

Baidu dépasse Google dans la course à l’IA

par Arthur Toce
baidu google IA

Début décembre, le moteur de recherche Baidu a marqué des points dans la course à l’IA. Dans un domaine bien particulier, celui de la compréhension du langage naturel – ce qui n’est pas une mince affaire… –, il est passé devant Google ! Un signe de plus qu’il faut désormais compter avec les géants du numérique chinois.

Duel d’IA dans la GLUE

Un des secteurs assez matures de l’IA est la compréhension du langage naturel. Il existe même un test qui permet aux équipes du monde entier de s’affronter et de se comparer : la GLUE pour General Language Understanding Evaluation. La GLUE est reconnue par les experts comme un vrai domaine pour faire des benchmarks sur les capacités des IA.

Le test de GLUE consiste par exemple à identifier les noms d’organisations ou de personnes dans un texte. Le logiciel qui passe le test obtient ensuite une note sur 100. Les humains parviennent en général à un score de 87. Il y a encore peu, les IA les plus avancées dépassaient difficilement les 70 points. Mais elles plafonnent désormais aux alentours de 90 points !

tableau leaders test GLUE

La tableau des leaders du test GLUE : Baidu, Alibaba, Microsoft, Google…
Source :
https://gluebenchmark.com/leaderboard

On le voit donc, les IA, dans ce domaine comme dans d’autres, sont en train de dépasser les humains. L’explosion de la compétition entre les labos de recherche a poussé à des améliorations sans précédent !

Le leader actuel est le logiciel ERNIE, pour “Enhanced Representation through kNowledge IntEgration”, développé par Baidu. L’équipe s’est basée sur un langage open source de Google : le Google Bert.

La révolution Google BERT

Le BERT ou “Bidirectional Encoder Representations from Transformers” a été annoncé fin 2018 par Google. A l’époque, ce fut une révolution dans le secteur du search. Avant, les moteurs de recherche utilisaient des technologies de type “natural-language models”. Ils étaient bons pour prévoir le mot suivant, ce qui a permis l’émergence de l’auto-complétion dont chacun dispose désormais sur son smartphone.

Mais, gros défaut, ces modèles étaient quasiment incapables de comprendre à quoi pouvait faire référence un pronom comme “it” dans une phrase en anglais.

C’était finalement une forme de régression dans la compréhension des phrases par les machines. En effet, la technologie précédente savait prendre en compte le contexte qu’il y avait avant les mots ou après. En revanche, elle était incapable de le faire dans les deux sens. L’innovation de BERT a été de prendre en compte les deux contextes : avant ET après de façon simultanée !

explications notion bidirectional

Explication de la notion de bidirectional. BERT est capable de “lire” une phrase dans les deux sens.
Source :
Abondance.com

ERNIE déloge BERT

Sauf que Google Bert a un gros défaut. Il ne savait pas lire le mandarin. C’est la raison pour laquelle Baidu a développé ERNIE. Sauf qu’en le développant, ils sont parvenus à rendre ERNIE meilleur que BERT… y compris en anglais !

C’est finalement la complexité du mandarin qui a permis à ERNIE de devenir meilleur que BERT. En chinois, le même idéogramme peut avoir plusieurs sens suivant la manière dont il est associé à un autre. Par exemple l’idéogramme 灵 (líng) peut vouloir dire 灵魂 (línghún), l’âme, ou 机灵 (jīlíng), l’ingéniosité.

Pour parvenir à améliorer cet algorithme, Baidu a masqué aléatoirement 15 % du texte et entraîné l’IA à combler les trous. Grace à ce système d’apprentissage et de compréhension du sens du texte, le labo OpenAI était par exemple arrivé à produire des textes très convaincants.

Baidu est passé de l’idée de masquer 15 % des mots aléatoirement à celui de masquer plusieurs mots à la suite et cela a permis d’entraîner l’algorithme au fait de savoir si masquer cette suite de mots avait une importance ou non. C’est ainsi que l’innovation est apparue.

C’est aussi une chose importante car cette innovation d’ERNIE a des répercussions en traduction et en récupération d’informations dans un document.

Enceinte vocale Baidu

L’enceinte vocale de Baidu.

Depuis Baidu a introduit d’autres ajouts comme la distance entre les phrases, par exemple… Mais surtout Baidu a intégré ERNIE dans son moteur de recherche, son assistant vocal DuerOS pour l’améliorer et son robot XiaoDu. Et c’est bien ce qui compte : pouvoir appliquer la recherche fondamentale dans des applications concrètes.

D’ailleurs, nous devrions de plus en plus entendre parler de Baidu dans ce secteur. Ils sont passés devant Google en part de marché et seul l’Alexa d’Amazon les devance.

Afin de permettre à la recherche de progresser encore, les équipes de Baidu ont “ouvert” ERNIE qui est disponible sur le web (https://arxiv.org/pdf/1907.12412.pdf).

Soyez le premier informé des dernières Opportunités Technos directement dans votre boîte mail

Articles similaires

Laissez un commentaire