Intuiti Webmarketing : Découvrir et exploiter le Web Invisible
Le Web Invisible est constitué de documents web mal ou non indexés par les moteurs de recherche généralistes conventionnels. Le Web Invisible reprend, selon les sources, près de 90% des ressources sur le réseau, ce qui revient à dire que les moteurs de recherche (Google, MSN, Ask, Seekport, Exalead...) n'indexent que 10% des documents disponibles.
Pourquoi ? Certains auteurs empêchent l'indexation de leurs documents, via le fichier robots.txt.
De plus, les moteurs tels que Google et Yahoo! n'archivent que les pages dont le poids est inférieur à 500k, ce qui ne permet pas une bonne indexation de documents lourds. Certains sites protègent également par identifiant (login) et mot de passe l'accès à leurs ressources.
Nous comprenons aisément pourquoi certains annuaires exigent que les contenus soient librement accessibles aux internautes, à l'instar du projet LII, annuaire des libraires de Californie proposant des ressources en libre accès et de haute qualité.
Indexer son site dans cet annuaire exige que son contenu soit accessible sans identification et actualisé régulièrement. Tous les moteurs, sans exception, augmente la taille de leur index, quitte à donner parfois des résultats exotiques sur certaines requêtes.
Y-a-t-il une limite technique à la taille de ses index ? Et, si oui, quelle est-telle ? La recherche sur le web ne va-t-elle pas se segmenter ? Nous voyons déjà, pour la recherche scientifique, de nouveaux moteurs spécialisés : SCIRUS (indexation de 167 millions de documents, soit 140 millions de pages web), HAL (19 000 documents)...
Ces moteurs, spécialisés dans la recherche de documents de nature scientifique publiés sur le web, apportent sans aucun doute une expertise que Google et MSN (les moteurs généralistes) ne pourront satisfaire.
En matière de recherche d'informations, et pour les nombreuses raisons citées ci-dessus (et les autres : liens brisés, documents mal optimisés, métadonnées absentes, urls complexes...), il devient nécessaire de maîtriser sa recherche d'informations.
Alors qu'aux Etats-Unis les internautes utilisent entre 4 et 5 moteurs pour effectuer leurs recherches, l'internaute français a tout intérêt à varier ses outils en fonction de sa problématique de recherche.
Il est peut-être encore trop tôt, mais force est de constater que les ambitions des moteurs concurrents à Google (Ask, Quaero, Seekport, iAd) vont modifier la donne dans les années à venir.
Diffusez vous aussi votre communiqué de presse sur Publiciblog
Les 5 derniers articles publiés sur Publiciblog :
- Vu du Ciel sur les fleuves : les intervenants
- La Pollution des fleuves en France
- Le fleuve Okavango : une exception
- Barrages et Conséquence dans Vu du Ciel
- Chistophe Maé fait sa rentrée à Taratata