Qu'est-ce que la recherche distribuée ?

Il s'avère que l'adage « l'union fait la force » est aussi vrai pour les serveurs que pour toute tâche manuelle importante ou difficile. Les serveurs d'un processus de recherche Web, ou toute recherche d'un ensemble de données volumineux, effectuent des tâches lourdes, d'abord pour identifier et indexer les données, puis pour rechercher et apporter des réponses. Nous explorerons comment la recherche distribuée utilise de nombreux serveurs individuels pour aider les applications de recherche et à collecter des réponses à partir de vastes ensembles de données.

Qu'est-ce que la recherche distribuée ?

La recherche distribuée est un moyen de rechercher rapidement des ensembles de données volumineux en divisant la charge de travail de recherche entre plusieurs serveurs. Ceci est différent d'une recherche sur le disque dur de votre ordinateur, qui peut facilement être indexée et recherchée par le processeur de votre ordinateur. Dans une recherche distribuée, une requête d'un ensemble de données très volumineux est distribuée à plusieurs serveurs, ou noeuds, pour accélérer le processus. Chaque noeud du système indexe une partie des données afin qu'elle puisse être recherché rapidement. Lorsqu'une question est posée à l'application de recherche, chaque noeud effectue une recherche sur ses données locales en parallèle avec les autres noeuds du système. Ces résultats locaux sont ensuite compilés, classés et présentés à la personne qui a tapé la question dans la barre de recherche.

Un processus de recherche distribué peut se composer de quelques serveurs dans un data center ou de milliers de serveurs dans les régions globales. Dans les deux cas, le processus distribué fournit un processus de recherche rapide et efficace qui aurait été impossible sur un seul serveur.

Un système de recherche distribué peut prendre en charge plusieurs types de recherche, y compris les recherches de texte simples pour le contenu Web, les recherches sémantiques et les recherches visuelles souvent utilisées dans les moteurs de recommandation et le traitement du langage naturel.

Une recherche distribuée est différente d'une recherche fédérée. Bien que les deux visent à gérer de grands volumes de données, une recherche distribuée est un système cohérent qui partitionne un seul ensemble de données volumineux sur plusieurs nœuds, qui effectuent des recherches locales en parallèle. En revanche, une recherche fédérée interroge simultanément plusieurs sources de données indépendantes, dont chacune peut avoir ses propres mécanismes d'indexation et de recherche. Bien que la recherche distribuée soit optimisée pour l'évolutivité et les performances, la recherche fédérée est conçue pour effectuer des recherches dans diverses sources de données. Les deux, cependant, peuvent être réalisés dans une architecture simplifiée à l'aide d'une base de données distribuée et multimodale.

Points à retenir

• La recherche distribuée est un moyen d'accélérer les recherches de très grands ensembles de données en divisant les calculs nécessaires pour effectuer la recherche entre de nombreux serveurs ou nœuds.
• La recherche distribuée améliore également la tolérance aux pannes car si un serveur cesse de fonctionner, un autre noeud peut prendre en charge cette charge globale et la recherche réussit.
• La recherche distribuée est la forme la plus courante de processus de recherche dans les moteurs de recherche Web et la puissance derrière les barres de recherche dans les réseaux sociaux et les grands sites de vente au détail, ainsi que de nombreuses applications d'entreprise et sites municipaux.

Recherche distribuée - Explication

La recherche distribuée est un moyen de gérer les recherches de grands volumes de données en divisant l'opération entre de nombreux serveurs, ce qui accélère le processus de recherche tout en améliorant l'évolutivité et la disponibilité du système. Cependant, la réalisation d'une recherche distribuée nécessite de nombreuses étapes et ressources coordonnées.

notamment :

Partitionnement des données : la première étape consiste à partitionner les données entre les noeuds, chaque noeud étant un serveur responsable d'un sous-ensemble des données. Selon le cas d'emploi, il existe différentes façons d'extraire les données, telles que le partitionnement par plage, couramment utilisé pour les données de série chronologique (c'est-à-dire les partitions mensuelles ou annuelles basées sur des dates), ou le hachage cohérent, souvent utilisé lorsque les données doivent être réparties uniformément pour l'équilibrage de charges.

Indexation : chaque noeud de l'architecture distribuée doit créer et tenir à jour un index des données qu'il contient pour permettre une recherche et une extraction rapides. Selon le cas d'usage, l'indexation peut être effectuée via diverses techniques, notamment des index inversés pour les recherches de texte, des arborescences B pour le stockage et l'extraction des données dans l'ordre trié, et des tables de hachage, qui fournissent des recherches rapides pour les correspondances exactes dans un ensemble de données.

Répartition de la requête : lorsqu'une recherche est lancée, la requête est distribuée à tous les noeuds, ou à un sous-ensemble de noeuds. Un routeur de requêtes garantit que la requête atteint tous les noeuds pertinents.

Recherche locale : en parallèle, chaque noeud effectue la recherche sur ses données indexées localement.

Groupement de résultats : les résultats de tous les noeuds pertinents sont collectés, fusionnés et triés par le routeur de requête, parfois appelé coordinateur de requêtes.

Présentation du résultat : Les résultats agrégés finaux sont ensuite classés et présentés à la personne ou à l'application qui a lancé la recherche.

Comment fonctionne la recherche distribuée ?

La recherche distribuée fonctionne en permettant à plusieurs nœuds interconnectés de collaborer pour effectuer des requêtes de recherches sur une grande quantité de données. Ces systèmes utilisent souvent des algorithmes et des techniques spécialisés pour optimiser la distribution des requêtes, l'équilibrage de charges et l'agrégation des résultats requis pour gérer les requêtes sur des ensembles de données massifs.

Avantages de la recherche distribuée

La recherche distribuée est conçue pour offrir le type de performance, d'évolutivité et de flexibilité qui en font un outil essentiel pour les applications à grande échelle dans la recherche Web, le e-commerce, les réseaux sociaux, l'analyse en temps réel, etc. Le succès de ces systèmes est évalué par leur capacité à effectuer les tâches suivantes :

Recherchez rapidement de grands ensembles de données : un système de recherche distribué utilise la puissance de calcul de nombreux serveurs individuels travaillant en parallèle pour répondre rapidement aux questions, même dans les moteurs de recherche à l'échelle du Web.

Fournissez des réponses de manière fiable : la recherche distribuée offre une haute disponibilité et fiabilité grâce à sa capacité à stocker des parties des données sur plusieurs serveurs, ce qui lui permet de s'ajuster rapidement lorsqu'un serveur passe hors ligne en basculant le workload vers un autre serveur opérationnel du système.

Adaptabilité à différents types de recherche : une architecture de recherche distribuée permet au système de gérer différents types de recherche, tels que la recherche sémantique ou la recherche de texte, en optimisant les noeuds pour différents types de données ou de requêtes, tels qu'une recherche d'image ou une recherche de correspondance.

Avantages de la recherche distribuée

Voici pourquoi la recherche distribuée est l'approche la plus courante dans les grands systèmes.

Disponibilité. Au-delà de l'amélioration des performances, la haute disponibilité et la tolérance aux pannes sont des objectifs essentiels pour de nombreux systèmes distribués. Un système de recherche distribué réussira à fournir des résultats même si un ou plusieurs nœuds échouent.

Flexibilité. La recherche distribuée permet à une organisation d'optimiser différents nœuds pour des types de données ou de requêtes spécifiques. Cette spécialisation permet de nombreux types de recherche rapide : par exemple, une recherche élastique sur du texte, une recherche sémantique sur des données vectorielles ou une recherche sur des documents et des données relationnelles qui tire parti de la génération augmentée par récupération ou de la RAG. Dans une architecture de recherche distribuée, tout cela peut se produire derrière une seule barre de recherche.

Performance : personne ne veut attendre les résultats de la recherche. Les ingénieurs savent que la distribution d'un terme de recherche sur de nombreux serveurs est le moyen d'éviter cela. La recherche distribuée améliore les performances en répartissant la charge de recherche sur les serveurs qui gèrent les parties de l'opération de recherche en parallèle.

Évolutivité : l'objectif principal d'une recherche distribuée est de fournir des fonctionnalités de recherche sur une grande quantité de données. La répartition du travail entre de nombreuses ressources de calcul permet à cette barre de recherche simple de gérer les volumes de données croissants et les demandes croissantes des utilisateurs en ajoutant simplement plus de nœuds. Cette architecture, par exemple, permet à OpenSearch, un moteur de recherche et d'analyse distribué open source, de passer d'une limite de 250 nœuds de données à 750 nœuds.

Défis liés à la recherche distribuée

La recherche distribuée reste populaire malgré les défis qu'elle pose car elle a prouvé sa valeur dans de nombreux cas d'usage, des grands moteurs de recherche grand public aux recherches plus ciblées sur les sites Web d'entreprise. Néanmoins, les ingénieurs doivent relever certains défis fondamentaux, notamment les suivants :

Complexité : la gestion d'un système distribué est complexe par rapport aux serveurs individuels et augmente au fur et à mesure que le volume de données augmente. Elle est mieux gérée par les bases de données distribuées qui possèdent des mécanismes sophistiqués de coordination et de gestion des erreurs.

Cohérence : il peut être difficile de tenir à jour tous les noeuds d'un processus de recherche distribué avec des données cohérentes, en particulier dans les environnements hautement dynamiques qui promettent des données de recherche en temps quasi réel. Selon le cas d'utilisation, la nécessité d'une cohérence forte peut entraver les performances de recherche, tandis qu'un système moins parfaitement synchrone qui offre une « cohérence éventuelle », tel que l'utilisation d'une base de données de documents, peut fournir des recherches plus rapides à grande échelle.

Latence potentielle : la distribution d'une requête, l'exécution de la requête sur plusieurs machines et l'agrégation des résultats peuvent prendre du temps. Alors que les alternatives à une configuration distribuée vont avoir un problème beaucoup plus important avec la latence, ces systèmes doivent toujours être réglés et surveillés en continu pour conserver des performances optimales.

Cas d'usage de la recherche distribuée

Les cas d'usage de la recherche distribuée partagent plusieurs caractéristiques et exigences communes qui rendent cette approche particulièrement avantageuse pour certains scénarios. Pensez à de grands volumes de données, potentiellement dispersés géographiquement, et à de nombreux utilisateurs simultanés qui exigent des performances optimales.

La recherche distribuée s'est révélée être le bon choix pour ces cas d'usage, et plus encore.

Activation des workflows d'IA : les architectures de recherche distribuées sont la pierre angulaire des processus d'inférence en IA. Cela génère de meilleurs résultats de recherche vectorielle pour connecter les modèles d'IA et les agents d'IA aux banques de données d'entreprise et aide le système d'IA composite à distribuer les données pour chaque modèle à utiliser.

Plateformes de e-commerce : les vendeurs en ligne utilisent la recherche distribuée pour aider les clients à parcourir leurs vastes catalogues de produits et à identifier rapidement les produits. Pensez à la recherche distribuée la prochaine fois que vous naviguerez sur Amazon, eBay ou d'autres grands sites de vente au détail.

Recherche d'entreprise : les grandes entreprises utilisent également la recherche distribuée pour créer des moteurs de recherche internes pour les documents, les e-mails et les bases de données. Ces systèmes peuvent également inclure la RAG et la recherche vectorielle pour des recherches sémantiques plus polyvalentes dans les grandes banques de documents, ce qui améliore encore l'accès aux informations internes.

Analyse et surveillance des journaux : les équipes informatiques dépendent d'applications qui tirent parti de la recherche distribuée pour les systèmes de gestion et de surveillance des journaux. Cela leur permet de rechercher et d'analyser rapidement les données des journaux de plusieurs applications et d'autres sources informatiques à des fins de dépannage, de sécurité et de conformité.

Applications en temps réel : vous trouverez la recherche distribuée dans les applications qui nécessitent un traitement des données en temps réel, telles que les plateformes de négociation financière, la gestion des stocks et les analyses en temps réel.

Recherche scientifique : la recherche distribuée est utile dans de nombreux domaines techniques, tels que ce cas d'usage de la génomique, ainsi que l'astronomie, la science du climat et bien d'autres, permettant aux chercheurs de gérer et d'analyser de grands ensembles de données en constante évolution.

Plateformes de réseaux sociaux : les plateformes de réseaux sociaux populaires utilisent des processus de recherche distribués pour indexer et rechercher rapidement du contenu généré par l'utilisateur, ce qui permet aux utilisateurs de trouver rapidement des profils, des publications, des vidéos et des commentaires intéressants sur leurs vastes sites.

Moteurs de recherche web : un exemple évident est le grand nombre de moteurs de recherche web grand public qui ont rendu la recherche populaire. Ces sites utilisent la recherche distribuée pour indexer et renvoyer les grandes quantités de données sur Internet afin de fournir des millions d'utilisateurs avec des résultats de recherche rapides et précis.

Laissez Oracle simplifier votre plateforme de recherche distribuée à l'échelle mondiale

La meilleure façon de simplifier une architecture de recherche distribuée est d'utiliser une base de données distribuée multimodale. Oracle AI Database fournit une gestion native des données vectorielles, JSON, textuelles et relationnelles, entre autres, afin que vous puissiez indexer et rechercher différents types de données dans une architecture de bases de données simple. De plus, étant donné qu'Oracle propose une base de données cloud entièrement automatisée et distribuée à l'échelle mondiale, vous pouvez facilement intégrer la recherche distribuée à vos applications stratégiques à l'échelle du cloud et à vos projets open source.

Essayez Oracle AI Database gratuitement.

Il y a une raison pour laquelle la recherche distribuée continue de gagner en popularité, en particulier lorsque des techniques telles que la recherche vectorielle et la RAG entrent en jeu. Alors que les agents d'IA et d'IA multimodaux prennent de l'ampleur dans l'entreprise, les systèmes distribués, y compris la recherche, garantiront que les applications peuvent fonctionner avec la vitesse, la précision et la tolérance aux pannes exigées par les entreprises d'aujourd'hui.

FAQ sur la recherche distribuée

Quelle est la différence entre la recherche distribuée et la recherche fédérée ?

La recherche distribuée et la recherche fédérée visent à prendre en charge les recherches dans de grands volumes de données. La différence est que la recherche distribuée partitionne un seul ensemble de données volumineux sur plusieurs noeuds pouvant faire l'objet d'une recherche en parallèle. En revanche, une recherche fédérée interroge de nombreuses sources de données indépendantes, où chacune peut disposer de ses propres mécanismes d'indexation et de recherche, ce qui permet de rechercher dans diverses sources de données.