Collecte des données. Des robots (Web robot, spider, crawler) naviguent en permanence sur le Web, et aussi dans les forums de discussion, et archivent intégralement les pages qu'ils trouvent dans des serveurs. Ces moteurs recherchent non seulement du texte, mais aussi des images, des fichiers audio et vidéo.

L'indexation est effectuée par un autre moteur qui associe à chaque page :

• les mots-clés inscrits dans l'en-tête et dans certaines zones significatives de la page (que l'internaute de voit pas);
• la position des mots dans la page et leur répétition (dans une certaine mesure);
• l'indice de popularité (le nombre de liens qui pointent vers la page);
• etc.

Moteur d'interrogation. Lorsque l'internaute tape une requête, celle-ci est envoyée au moteur qui accède à ses bases de données pour chacun des mots, et restitue les résultats sous forme de liens vers des pages. Les documents repêchés sont classés selon un ordre de pertinence décroissant.

• On trouve généralement deux niveaux de recherche sur la même interface : recherche simple et recherche avancée (mode expert).

  • La recherche simple, très utilisée, se fait avec des opérateurs logiques faciles à retenir.
  • La recherche avancée est accessible grâce à un formulaire qui insère automatiquement des opérateurs booléens entre les termes de la recherche. On peut aussi de choisir le pays, le type de fichier, la date, etc.

• La syntaxe d'interrogation varie peu d'un moteur à un autre.

• Les moteurs ne cherchent pas de synonymes. Il faut consulter un dictionnaire de synonymes pour améliorer les termes d'une équation de recherche.

• La plupart des moteurs ne tiennent pas compte du sens des mot et retournent tous les résultats d'une recherche. Le terme tableau par exemple a plusieurs sens différents : oeuvre d'art, données chiffrées, panneau plat sur lequel on écrit dans une classe, tableau de bord dans un avion, etc.

• Les métamoteurs cherchent dans les bases de données de plusieurs moteurs et répertoires.

Certains moteurs permettent de rechercher efficacement plusieurs formats de documents : Word, PowerPoint, Excel, Adobe PDF, HTML, images gif et jpg, mp3, etc.

La mise à jour des bases de données se fait à des intervalles réguliers, mais cela peut prendre des semaines, voire des mois, pour qu'une nouvelle page soit indexée.

Autres services. Afin de fidéliser leur clientèle, les moteurs les plus populaires tels Google et Yahoo offrent de nombreux services associés à la recherche d'information :

• Diffusion d'articles d'actualité au format RSS (nouvelles actualisées en permanence, provenant de quotidiens, agences de presse...);
• Traduction de textes personnels et de pages Web;
• Fabrication automatique de cartes géographiques et d'itinéraires.
• Recherche sur le disque dur du PC des usagers (desktop search), etc.

Moteurs de recherche spécialisés. Accède d'abord à un moteur général (Google, Yahoo!...) et, pour éviter les sites publicitaires, raffine la recherche : ex. : "moteur de recherche" biologie.

Le "Web invisible" - environ 40 % du contenu total du Web désigne la partie non accessible aux moteurs de recherche classiques. L'internaute ne trouvera pas :

• le contenu d'une base de données interrogeable uniquement par un moteur de recherche interne;
• les pages protégées par un mot de passe;
• les pages interdites aux robots d'indexation, etc.