histoire des premiers moteurs de recherche

Le but de tous les moteurs de recherche est de trouver et d’organiser des données distribuées trouvées sur Internet. Avant le développement des moteurs de recherche, Internet était un ensemble de sites FTP (File Transfer Protocol) dans lesquels les utilisateurs naviguaient pour trouver des fichiers partagés spécifiques.

Au fur et à mesure que la liste centrale des serveurs Web rejoignant Internet augmentait et que le World Wide Web devenait l’interface de choix pour accéder à Internet, le besoin de trouver et d’organiser les fichiers de données distribués sur les serveurs Web FTP augmentait.

Les moteurs de recherche ont commencé en raison de ce besoin de naviguer plus facilement dans les serveurs Web et les fichiers sur Internet.

Le premier moteur de recherche a été développé dans le cadre d’un projet scolaire par Alan Emtage, étudiant à l’Université McGill à Montréal. En 1990, Alan a créé Archie, un index (ou des archives) de fichiers informatiques stockés sur des sites Web FTP anonymes dans un réseau d’ordinateurs donné (« Archie » plutôt que « Archives » correspond aux paramètres de longueur du nom – il est donc devenu le nom du premier moteur de recherche).

En 1991, Mark McCahill, étudiant à l’Université du Minnesota, a effectivement utilisé un paradigme hypertexte pour créer Gopher, qui recherchait également des références en texte brut dans des fichiers.

La base de données consultable de sites Web d’Archie et Gopher ne disposait pas de capacités de mots clés en langage naturel utilisées dans les moteurs de recherche modernes.

Au contraire, en 1993, le navigateur Web graphique Mosaic a amélioré l’interface principalement textuelle de Gopher. À peu près à la même époque, Matthew Gray a développé Wandex, le premier moteur de recherche sous la forme que nous connaissons aujourd’hui.

La technologie de Wandex a été la première à explorer l’indexation Web et à rechercher le catalogue des pages indexées sur le Web. Un autre développement important dans les moteurs de recherche est survenu en 1994 lorsque le moteur de recherche de WebCrawler a commencé à indexer le texte intégral des sites Web au lieu des seuls titres de page Web.

Alors que les annuaires Web et les moteurs de recherche ont gagné en popularité dans les années 1990, les moteurs de recherche ont développé leur propre vie en devenant la méthode préférée de recherche sur Internet. Par exemple, les principaux moteurs de recherche utilisés aujourd’hui ont été développés entre 1993 et ​​1998.

Excite – Né en 1993

Excite est né en février 1993 en tant que projet universitaire appelé Architext impliquant six étudiants de premier cycle à Stanford cherchant à utiliser l’analyse statistique des relations entre les mots pour améliorer la pertinence des recherches sur Internet.

Ce projet d’école a finalement conduit à la sortie commerciale d’Excite en tant que moteur de recherche d’exploration à la fin de 1995. Avec une croissance solide en 1996, Excite a acheté WebCrawler et Magellan. Vers la fin des années 1990, Excite s’est associé à MSN et Netscape pour fournir des services de recherche.

En 1999, Excite a été vendu au fournisseur de haut débit @Home.com (devenant plus tard Excite@Home) dans le cadre d’une fusion de 6,7 milliards de dollars après que son trafic a commencé à décliner avec la sortie de Google en 1998. Avec des dettes importantes, Excite@Home a demandé la failliteen octobre 2001 et a vendu son réseau haut débit à AT&T pour 307 millions de dollars.

Un mois plus tard, InfoSpacea fait une offre de 10 millions de dollars pour acheter les actifs d’Excite @ Home, y compris les noms de domaine et les marques déposées, auprès du tribunal des faillites.

L’offre d’Infospace a été acceptée et ils ont ensuite alimenté le site Web Excite et vendu des composants de portail à iWon. Le robot d’exploration Dogpile d’InfoSpace a remplacé celui d’Excite, ce qui rend les résultats de recherche de Dogpile et d’Excite identiques.

Excite et Dogpile sont également alimentés par le répertoire de LookSmart, sauf que Dogpile comprend un certain nombre d’autres répertoires InfoSpace. Toujours dans le cadre de l’accord, InfoSpace a acquis les droits de WebCrawler. Ask Jeeves (aujourd’hui Ask.com) a acheté le portail Excite.com en 2004.

Aujourd’hui, Excite propose des résultats de recherche via un outil de métarecherche combinant les résultats des outils de paiement par clic et de recherche naturelle.

Yahoo! – Né en 1994

Yahoo! LogoDavid Filo et Jerry Yang ont lancé Yahoo! en 1994. À l’origine, il s’agissait d’un annuaire très apprécié de sites catalogués par des éditeurs humains.

Ce répertoire fournissait une liste exhaustive de sites Web pris en charge par un réseau de répertoires régionaux.

En 2001, Yahoo! a commencé à facturer des frais pour l’inclusion dans son annuaire. L’action de Yahoo ! a aidé à contrôler le nombre de sites répertoriés et à couvrir les coûts grâce à des revenus supplémentaires.

Initialement, Yahoo! utilisé des services de moteurs de recherche secondaires pour soutenir son annuaire. Les partenariats ont inclus des accords avec Inktomi et Google. En octobre 2002, Yahoo est passé à la liste basée sur les robots pour ses résultats de recherche.

En 2004, Yahoo! a acheté le service de paiement au clic d’Overture, qui n’avait acheté que quelques mois plus tôt AltaVista et AlltheWeb, et la base de données de recherche d’Inktomi. Avec ces acquisitions, Yahoo! combiné ces outils pour créer son propre index de recherche.

Aujourd’hui, Overture est renommé Yahoo! Search Marketing et fournit des revenus publicitaires de recherche payés. Le Yahoo! L’annuaire reste l’un des principaux index alimentant les listes de recherche.

WebCrawler – Né en 1994

WebCrawler a été le premier moteur de recherche à proposer une recherche en texte intégral.

En 1994, Brian Pinkerton, étudiant en informatique et ingénierie à l’Université de Washington, a utilisé son temps libre pour créer WebCrawler. Avec WebCrawler, Brian a généré une liste des 25 meilleurs sites Web le 15 mars 1994.

Seulement un mois plus tard, le 20 avril 1994, Brian a annoncé la sortie de WebCrawler en direct sur le Web avec une base de données de 4000 sites Web.

Le 11 juin 1994, Brian a posté sur le groupe Usenet comp.infosystems.announce que l’index WebCrawler était disponible pour la recherche.

Le 14 novembre 1994, WebCrawler répondait à sa millionième requête. À la fin de l’année, WebCrawler a signé deux sponsors, DealerNetet Starwave fournissant le capital nécessaire pour financer WebCrawler. Un peu moins d’un an plus tard, WebCrawler fonctionnait entièrement sur les revenus publicitaires.

Un jeune America Online, sans accès au Web, a acquis WebCrawler le 1er juin 1995.

Le 4 septembre 1995, Spidey a été créé comme mascotte de WebCrawler.

Le 1er avril 1997 (pas dupe), WebCrawler a été vendu par AOL à Excite. Initialement, WebCrawler allait être géré par sa propre équipe dédiée au sein d’Excite, mais finalement les deux ont été fusionnés sur le même back-end.

En 2001, Excite a fait faillite et a été racheté par InfoSpace. Dans le cadre de l’accord, InfoSpace a acquis WebCrawler. Aujourd’hui, InfoSpace exécute WebCrawler en tant qu’outil de méta-recherche combinant les résultats de Google, Yahoo!, Live Search (anciennement MSN Search), Ask, About.com, MIVA, LookSmart et autres. Quant à Spidey, il est maintenant violet.

Lycos – Né en 1994

Lycos a été l’un des premiers moteurs de recherche développés en 1994 à l’Université Carnegie Mellon par le Dr Michael Mauldin et une équipe de chercheurs.

Le nom Lycos vient du terme latin « lycosidea » faisant référence aux araignées-loups qui chassent et traquent activement leurs proies. La société a été fondée grâce à un financement en capital de risque de 2 millions de dollars de CMGI. La société était dirigée par Bob Davis, qui s’est concentré sur la transformation de Lycos en un portail Web financé par la publicité. La société est devenue publique en avril de l’année suivante avec peu d’argent. Avec une croissance phénoménale de son catalogue, Lycos disposait fin 1996 du plus gros index avec 60 millions de documents.

En 1997, Lycos Pro a été lancé avec un nouvel algorithme de recherche et a continué à se développer.

En 1999, Lycos émergeait d’un pack bondé pour devenir le portail Web le plus visité. Au cours des prochaines années,

Par exemple, en février 1998, Lycos a acquis Tripod Inc., un site Web où les gens construisaient leurs propres pages Web. Cet été-là, la recherche linguistique a été introduite et les pages de résultats de recherche ont été repensées. Au même moment, les services d’annuaire de WhoWhere Inc. et les services de messagerie de Mail City ont été acquis pour 133 millions de dollars en stock.

Vers la fin de 1998, Lycos a acquis Wired Digital (propriétaire de HotBot) pour 83 millions de dollars.

En 1999, Lycos était l’un des outils de recherche les plus visités sur le Web et continuerait à être impliqué dans de nouveaux projets et acquisitions. En février de la même année, Lycos est devenu USA/Lycos Interactive Networks lorsque USA Networks a acheté une participation de 61,5 % dans la société pour 18 milliards de dollars.

En conséquence, Lycos a annoncé plus tard un projet de création d’un outil de recherche pour rechercher des informations sur le site d’actualités d’USATODAY.com.

En avril 1999, Lycos a rejoint le projet Open Directory dirigé par Netscape. En juin 1999, Lycos s’est associé à Intelliseek pour fournir un annuaire de plus de 7 400 bases de données qui n’étaient auparavant pas sur le Web.

En septembre 1999, Lycos a acquis Quote.com, un site d’information sur les investissements et a lancé Lycos Zone, un site Web éducatif pour les enfants avec filtrage de contenu. Enfin, en décembre 1999,

En mai 2000, Terra Networks, une branche Internet du géant espagnol des télécommunications Telef?nica, a acheté Lycos pour 5,4 milliards de dollars, formant une nouvelle société Terra Lycos. Cette prise de contrôle a marqué un retour de 3 000 fois sur l’investissement initial en capital-risque et 20 fois la valeur de l’offre publique initiale. Lycos est resté le nom de la marque de franchise américaine.

À l’étranger, l’entreprise était connue sous le nom de Terra Networks et le fondateur Bob Davis a quitté l’entreprise.

Lycos a souffert du crash de la dotcom en 2001. Fin 2001, Lycos a abandonné son propre robot d’exploration et a commencé à fournir des résultats exclusivement à partir de FAST.

En août 2004, Terra a vendu Lycos à Daum Communications Corporation pour 95,4 millions de dollars. Ce faible nombre représentait moins de 2 % de l’investissement initial de Terra.

En octobre 2004, l’accord a été finalisé et le nom de la société est revenu à Lycos.

Avec un nouveau propriétaire, Lycos s’est recentré sur le fait de devenir une destination communautaire pour le divertissement à large bande plutôt qu’un portail de recherche.

En juillet 2006, Wired News, qui faisait partie de Lycos depuis l’acquisition de Wired Digital en 1998, a été vendue. La division Lycos Finance, connue pour Quote.com et Raging Bull.com, et son site de rencontres en ligne, Matchmaker.com, ont également été vendus. Lycos a également repris la propriété de la marque Lycos de l’Université Carnegie Mellon, lui permettant de devenir Lycos, Inc.

Depuis 2006, Lycos a annoncé l’introduction de Lycos Phone, Lycos Mail et Lycos MIX. Ces services et outils combinent le chat vidéo IM, le lecteur mp3 et l’envoi et la réception de fichiers de taille illimitée par e-mail, la visualisation et le chat vidéo et les applications de médias sociaux. Lycos reste l’une des 25 premières destinations Internet, est la 13e plus grande propriété en ligne au monde et reste l’un des 5 premiers portails Internet derrière Yahoo!, MSN, AOL et MySpace.

Infoseek – Né en 1994

Infoseek, également connu sous le nom de « grand jaune », a été fondé par Steve Kirsch en 1994.

Au début en janvier 1994, InfoSeek était un service payant. Le service payant a été abandonné en août 1994 et Infoseek a été re-présenté sous le nom d’Infoseek Search en février 1995.

La position d’Infoseek dans le monde des moteurs de recherche a été accélérée en 1995 par un accord avec Netscape dans lequel il est devenu le moteur de recherche par défaut de Netscape.

En juin 1996, Infoseek est devenu public et, en septembre de l’année suivante, servait 7,3 millions de visiteurs par mois.

Infoseek présentait de manière unique un système très complexe de modificateurs de recherche, y compris des modificateurs booléens.

En novembre 1996, InfoSeek a lancé Ultrasmart / Ultraseek et a repensé son site Web l’année suivante pour inclure des informations sur les chaînes ou les répertoires.

En mars 1998, Infoseek a inclus une page de recherche avec des techniques de recherche avancées. Infoseek offrait également de manière unique un service d’hébergement Web gratuit sans publicité et n’avait aucune limite sur la quantité d’espace de stockage pour les utilisateurs.

A l’été 1998, 43% d’Infoseek est racheté par Disney. À partir de ce moment, Infoseek faisait partie de la vaste activité médiatique de Disney Corporation. L’accord comprenait l’acquisition par Infoseek de Starwave Corporation, y compris ESPN.com et ABCNews.com. La technologie d’Infoseek a ensuite été fusionnée avec celle de Starwave pour former le réseau Go.com.

En juillet 1999, Disney détenait une participation de 72% dans Go.com et l’intérêt médiatique de Disney comprenait Disney.com, Family.com, ABC.com, ABCNews.com et ESPN.com.

Outre sa relation avec Disney, Infoseek a continué à changer. En septembre 1998, Infoseek a commencé à proposer une combinaison de résultats de recherche Web revus manuellement et traditionnels. Le mois suivant, Infoseek a repris Excite comme moteur de recherche par défaut sur la WebTV de Microsoft et Infoseek Express, un site Web de logiciels gratuits, a été lancé.

En 1999, Li Yanhong, un ingénieur d’Infoseek, a déménagé à Pékin, en Chine, et a cofondé le moteur de recherche Baidu.

À l’été 2000, la technologie logicielle Ultraseek Server d’Infoseek a été vendue à Inktomi et renommée Inktomi Enterprise Search.

En décembre 2002 (avant l’achat d’Inktomi par Yahoo!), Ultraseek a été vendu à un concurrent Verity Inc. Verity a rétabli la marque Ultraseek et le développement du produit jusqu’à son acquisition par Autonomy PLC en décembre 2005. Autonomy continue de se développer et commercialiser la recherche sur le site d’Ultraseek.

En février 2001, de nombreux employés d’Infoseek ont ​​tenté de racheter collectivement Infoseek à Disney lorsque Disney a licencié tout le personnel d’Infoseek. Aujourd’hui, le domaine Infoseek.com est transmis à Go.com et le nom de marque n’est pas utilisé en Amérique du Nord. Le nom Infoseek n’est utilisé qu’au Japon (comme Infoseek Japan) et en Australie (Infoseek Australia).

AltaVista – Né en 1995

AltaVista, qui signifie « une vue d’en haut », a été développé à partir de recherches menées par des scientifiques du Western Research Laboratory de Digital Equipment Corporation (DEC) à Palo Alto, en Californie, au printemps 1995. Ils essayaient de présenter leur système de base de données informatique appelé Alpha 8400. TurboLaser qui était plus rapide que ses concurrents.

Les scientifiques ont développé un outil de recherche pour explorer, stocker et indexer rapidement chaque mot de toutes les pages Web HTML sur Internet. Ce nouvel outil de recherche était puissant. Par exemple, en août 1995, il a effectué sa première exploration complète du Web, ramenant environ 10 millions de pages.

Les deux principaux scientifiques impliqués dans le développement d’AltaVista étaient Louis Monier et Michael Burrows. Louis a écrit le crawler (appelé Scooter) et Michael a écrit l’indexeur. Après avoir testé le nouveau moteur de recherche auprès de 10 000 employés de DEC, AltaVista a ouvert ses portes au public le 15 décembre 1995 sur altavista.digital.com. Initialement, les machines de traitement back-end recevaient 13 millions de requêtes par jour. Avec sa sortie, AltaVista est devenue la première base de données de texte intégral consultable sur le World Wide Web avec une interface simple. Plus de 300 000 visiteurs ont utilisé l’outil de recherche le premier jour et avaient 19 millions de visites à la fin de 1996 et 80 millions par jour à la fin de 1997.

Ironiquement, en 1996, AltaVista a commencé à fournir exclusivement des résultats de recherche pour Yahoo! qui deviendra un jour propriétaire d’AltaVista.

Auparavant, DEC avait été acquis par Compaq pour 9,6 milliards de dollars au début de 1998. Malgré le succès en tant qu’interface de recherche modeste, en 1999, Compaq a lancé AltaVista en tant que portail Web, espérant à nouveau ironiquement rivaliser avec Yahoo! On peut penser que la stratégie de portail d’AltaVista a été la cause de son déclin éventuel ainsi que de l’essor de Google.

En 2002, les efforts ont repris pour améliorer la qualité de l’interface de recherche simple.

En juin 1999, CMGI, une société d’investissement Internet détenant 20 % des parts de Lycos, a accepté d’acquérir 83 % d’AltaVista. CMGI a prévu une offre publique d’AltaVista en avril 2000, mais a annulé l’introduction en bourse alors que la bulle Internet s’effondrait.

Vers la fin de 2002, AltaVista est devenu le premier moteur de recherche Internet à offrir la recherche d’images, de sons et de vidéos dans le cadre d’une nouvelle gamme de fonctionnalités multimédias. De plus, AltaVista s’est mérité une reconnaissance novatrice pour le lancement de Babel Fish, la toute première recherche Internet multilingue sur le Web. Babel Fish peut traduire des mots, des phrases ou un site Web entier vers et depuis l’anglais, l’espagnol, le français, l’allemand, le portugais, l’italien et le russe. Avec ses capacités de recherche multimédia avancées et ses services de traduction et de reconnaissance linguistique, AltaVista était probablement l’outil de recherche le plus technologiquement avancé d’Internet à l’époque.

En février 2003, Overture a acheté AltaVista pour 140 millions de dollars. Ce prix était une fraction de la valorisation d’AltaVista de 2,3 milliards de dollars trois ans plus tôt. Malheureusement, la probabilité qu’AltaVista poursuive son héritage innovant avec Overture Services, Inc. a été rapidement anéantie lorsque Yahoo! a acheté Overture fin 2003. Avec cet achat, AltaVista est devenu Yahoo! en utilisant le même index de recherche et la même interface utilisateur. En mai 2008, le service de traduction Babel Fish d’AltaVista a également été commercialisé sous la marque Yahoo! Poisson Babel.

Inktomi – Né en 1996

La société a été nommée d’après une mythique araignée indienne Lakota connue pour sa ruse plutôt que pour sa force brute. Après une formation avec Dave Perterschmidt en tant que PDG, Brewer en tant que scientifique en chef et Gauthier en tant que directeur de la technologie, la société a établi son premier client avec HotWired qui a introduit le moteur de recherche HotBot en 1996.

HotBot comprenait le logiciel Audience 1 d’Inktomi qui personnalisait les pages Web et publicités selon le navigateur de l’utilisateur. HotBot a finalement évolué vers des versions plus récentes, dont la version 5.0 publiée en 1998, utilisant une plate-forme Windows NT plutôt qu’Unix. L’interface et l’infrastructure du serveur ont été modifiées pour augmenter la convivialité et offrir de nouvelles fonctionnalités.

Inktomi n’était pas seulement un moteur de recherche ; sa mission était de créer des applications logicielles évolutives au cœur d’Internet. En tant que tels, les efforts d’Inktomi ont entraîné de nombreux développements d’outils de recherche et des fonctionnalités d’outils de recherche connus, ainsi que des outils de gestion du trafic Internet et des capacités en général. Par exemple, en 1997, Inktomi a testé en version bêta des serveurs de trafic Web qui géraient le flux de données réseau en éliminant les goulots d’étranglement et le trafic et la bande passante Internet et Intranet d’entreprise redondants. Les serveurs ont utilisé la mise en cache pour créer des référentiels d’informations localisés.

Cela a rapproché l’information de l’utilisateur plutôt que de s’appuyer à chaque fois sur l’épine dorsale d’Internet. À l’époque, la quantité de trafic redondant sur Internet se situait entre 40 et 80 %. En conséquence, il existait un vaste marché pour une telle technologie auprès des fournisseurs de services Internet, les fournisseurs de réseau et les entreprises commerciales. Un gros client qui s’est intéressé aux technologies de serveur de trafic d’Inktomi était Microsoft en 1997. Microsoft a accepté d’utiliser la technologie de serveur de trafic et de moteur de recherche d’Inktomi dans le réseau Microsoft à partir de 1998.

À partir de 1998, Inktomi a signé de nombreux contrats avec des clients. America Online et Digex Inc. sont devenus licenciés du serveur de trafic d’Inktomi et ont commencé à l’utiliser sur leurs propres réseaux plus tard cette année-là. Inktomi a également conclu des accords avec Digital Equipment Corporation et Intel pour porter Traffic Server avec leurs plates-formes Unix et Windows NT. Toujours en mai 1998, Yahoo! a décidé d’utiliser la technologie de moteur de recherche d’Inktomi comme choix préféré. Toutes ces transactions ont influencé l’introduction en bourse d’Inktomi en juin 1998.

Le prix de l’action a doublé le premier jour, passant de 18 $ à 36 $ et un mois plus tard, il se négociait à 90 $. En novembre 1998, il avait grimpé à 130 dollars par action.

Parmi les autres événements importants de 1998, citons la sortie de Traffic Server 2.0 avec un cache multimédia en continu, davantage de protocoles et d’autres fonctions de performance et de support. Cette même année, Inktomi a acquis C2B Technologies pour environ 90 millions de dollars, contribuant ainsi au développement de capacités et de services de recherche d’achats pour des clients comme Yahoo! et nouveaux médias.

Le moteur d’achat a fait ses débuts au printemps 1999. À peu près au même moment, Inktomi a acquis ImpulseBuy.net pour 110 millions de dollars, fournissant une base de données et davantage de fonctionnalités aux commerçants. Alors que ses services d’achat en ligne se développaient en 1999, Inktomi a mis à niveau et publié Traffic Server 3.0. Traffic Server 3.0 incluait davantage de prise en charge des systèmes d’exploitation, notamment Windows NT, et de nouvelles interfaces de programmation d’applications permettant aux fournisseurs tiers de fournir des services à valeur ajoutée. Par conséquent,

En août 1999, une offre d’actions secondaires a été réalisée pour lever 300 millions de dollars. À peu près au même moment, Inktomi a acheté WebSpective Software pour 106 millions de dollars. Vers la fin de l’année, Inktomi a lancé Traffic Server E5000 et Traffic Server E200. Ces serveurs de trafic aidaient les réseaux d’entreprise à gérer les données des utilisateurs sans avoir à utiliser l’intégralité de l’infrastructure du réseau et des serveurs.

Fin 1999, America Online a abandonné Excite pour la base de données d’Inktomi afin d’alimenter son moteur de recherche. De même, MSN a abandonné AltaVista, qu’ils avaient commencé à utiliser plus tôt dans l’année, pour Inktomi.

En 2000, Inktomi a créé des alliances avec plusieurs partenaires pour entrer sur le marché des infrastructures Internet sans fil. En juin 2000, Inktomi a acquis Ultraseek d’Infoseek pour 344,7 millions de dollars. Inktomi a annoncé la création d’une base de données de moteur de recherche de 500 millions d’enregistrements appelée GEN3.

En août 2000, Inktomi a créé une alliance avec America Online et Adero Inc. pour former le réseau de distribution Content Bridge. Le pont de contenu permettrait aux producteurs Web et aux hébergeurs d’informations et de commerce électronique de payer pour que leur contenu soit poussé vers les serveurs de mise en cache d’un vaste réseau de fournisseurs de services d’hébergement Internet. Juste avant que le Content Bridge ne soit mis en service en janvier 2001, Adero s’est retiré et a vendu sa participation à Inktomi pour 23,5 millions de dollars.

Dans le cadre d’un autre gros contrat commercial en 2000, Inktomi a acquis FastForward Networks pour 1,3 milliard de dollars. FastForward Networks a abandonné son nom et est devenu une partie de la division médias d’Inktomi. FastForward Network était un développeur de logiciels pour les diffusions Internet prenant en charge des milliers de diffusions Internet simultanées. Grâce à cette acquisition, Inktomi a pu lancer une suite de produits appelée Media Distribution Network qui gérait la distribution de médias à la vapeur dans un réseau. La suite Media Distribution Network a bien complété leur Content Delivery Suite pour la gestion et la distribution de contenu statique.

En 2001, Inktomi a lancé sa solution Search Everywhere intégrant les différents produits de recherche d’Inktomi. Inktomi a également commencé à améliorer son logiciel de moteur de recherche avec XML (Extensible Markup Language) au niveau de l’entreprise et des résultats de recherche plus complets, y compris la pertinence, la classification et les classements. Inktomi a ajouté une architecture d’exploration distribuée analysant le Web plus fréquemment avec un mélange de contenu provenant de bases de données distinctes.

En février 2001, Inktomi a publié Traffic Server 4.0 étendant la plate-forme aux systèmes d’exploitation Linux avec une puissance de traitement et des performances accrues. En mai 2001, Inktomi a lancé un programme de rémunération au placement appelé Index Connect dans lequel les participants pouvaient soumettre des méta-informations sur les fichiers multimédias et autres leur permettant d’apparaître dans les résultats de recherche.

À peu près au même moment, afin de réduire la pression de son activité de commerce électronique, Inktomi a vendu sa division de commerce électronique avec son moteur de recherche d’achats et sa clientèle à e-centives, une société de marketing en ligne. Pendant ce temps, Inktomi a élargi ses services de distribution de contenu.

En juillet 2001, Inktomi a acquis eScene Networks avec ses ventes de médias en streaming. De cette acquisition a été développé l’Inktomi Media Publisher avec des capacités pour les entreprises de cataloguer, d’indexer et de publier leur contenu multimédia.

Malgré des acquisitions réussies et des lancements de produits, Inktomi a subi des pertes financières en 2001. Avec l’éclatement de la bulle Internet, des tensions économiques ont pesé sur le secteur des entreprises Internet. En conséquence, Inktomi a réduit ses effectifs. La valeur des actions d’Inktomi a diminué, entraînant une perte importante pour l’année.

En mars 2003, Inktomi a été racheté par Yahoo! pour 235 millions de dollars. Inktomi a continué à fournir des résultats à Yahoo! concurrent de MSN Search. Pendant ce temps, Google a continué à fournir des résultats à Yahoo! En février 2004, Yahoo! a remplacé Google par un moteur de recherche basé sur les technologies d’Inktomi.

Ask Jeeves (maintenant Ask) – Né en 1997

Ask Jeeves a été développé en 1996 par Garret Gruener et David Warthen et lancé en 1997 sous le nom de Ask Jeeves. En 2006, le nom « Jeeves » a été supprimé ; la refonte de son image après l’achat d’Ask Jeeves en 2005 par InterActiveCorp (IAC) de Barry Diller . À l’origine sous le nom de Ask Jeeves, les éditeurs humains répertorient les sites importants ainsi que les listes payantes et les résultats extraits des sites partenaires.

Suite à l’acquisition de Direct Hit en 2000 et de Teoma en 2001, Ask a commencé à développer sa propre technologie de recherche. Avec la croissance financière, Ask a acquis d’autres sociétés, notamment Excite et iWon.

Aujourd’hui, en mettant l’accent sur les listes d’inclusion payantes, Ask lutte pour des parts de marché contre Google, Yahoo! et MSN Search.

Google – Né en 1997

Google a été fondé en 1998 dans le cadre d’un autre projet scolaire à l’Université de Stanford en Californie.

En janvier 1996, Larry Page et Sergey Brin, doctorants à Stanford, ont commencé à rechercher le concept d’un moteur de recherche basé sur le classement par pertinence. Page et Brin pensaient que les moteurs de recherche devraient analyser et classer les sites Web en fonction du nombre de fois où les termes de recherche sont apparus sur les pages Web. De même, Page et Brin ont développé un moteur de recherche surnommé « BackRub ». BackRub vérifiait le nombre et la qualité des liens revenant vers des sites Web afin d’estimer la valeur d’un site Web. Les recherches de Brin et Page les ont finalement amenés à développer l’algorithme d’analyse de liens PageRank™, marque déposée, que le moteur de recherche de Google utiliserait pour attribuer une pondération numérique aux éléments de document hyperliés.

En 2000, Google a remplacé Inktomi en tant que fournisseur de résultats de recherche pour Yahoo! et plus tard AOL et Netscape. Même si Yahoo! s’est séparé de Google en 2004, sa part de marché n’a cessé de croître pour représenter environ 70 % de toutes les recherches sur le Web. La part de marché de Google n’a cessé d’augmenter au fil des ans.

MSN Search (maintenant Windows Live) – Né en 1998

MSN Search était un service proposé dans le cadre du réseau de services Web de Microsoft. Le réseau Microsoft a fait ses débuts en tant que fournisseur de services en ligne et de services Internet en août 1995. Au cours des années 1990, Microsoft a lancé Internet Explorer en tant que partie intégrante de son système d’exploitation et de ses produits logiciels.

MSN Search a été lancé pour la première fois en 1998, affichant les résultats de recherche d’Inktomi et fusionnant plus tard les résultats avec Looksmart. Pendant une courte période en 1999, les résultats de recherche AltaVista ont été utilisés à la place d’Inktomi. Depuis 2004, MSN Search a commencé à utiliser ses propres résultats de recherche intégrés.

Depuis ce temps, MSNBot explore continuellement le Web. Aujourd’hui, la recherche d’images est alimentée par Picsearch. MSN Search a été renommé Windows Live en 2006.

Overture – Né en 1998

Overture est considéré comme le pionnier de la recherche payante. Il a été lancé par Bill Gross en 1998 sous le nom de GoTo. Overture a été dominé par Google lorsqu’AOL a sélectionné Google comme partenaire publicitaire.

Overture a acheté AltaVista et AllTheWeb dans l’espoir d’obtenir un effet de levier contre Google, mais ils ont finalement été achetés par Yahoo! en 2003.

AllTheWeb – Né en 1999

AllTheWeb a été lancé en 1999 et présente les technologies de recherche de la division de recherche Web de FAST. Il est parfois appelé FAST ou FAST Search. En avril 2003, ALLTheWeb a été racheté par Overture pour 70 millions de dollars en 2003 et intégré à Yahoo! Rechercher après Yahoo! acheté Overture.