Il est également possible d’exclure une partie d’une page Web, par exemple le texte de navigation, de l’indexation plutôt que la page entière. Il existe plusieurs techniques pour ce faire ; il est possible d’en utiliser plusieurs en combinaison. Le principal araignée d’indexation de Google, Googlebot, n’est pas connu pour reconnaître l’une de ces techniques.
<noindex> tagEdit
Le moteur de recherche russe Yandex a introduit… une nouvelle balise <noindex> qui empêche l’indexation du contenu entre les balises. Pour permettre au code source de se valider, < !–noindex–> alternativement peut être utilisée :
<p>Do index this text.<noindex>Don't index this text.</noindex><!--noindex-->Don't index this text.<!--/noindex--></p>
D’autres robots d’indexation reconnaissent également la balise <noindex>, notamment Atomz.
microformatEdit
Il existe un projet de spécification des microformats de 2005 avec la même fonctionnalité. Le profil d’exclusion des robots recherche l’attribut et la valeur class= »robots-noindex » dans les balises HTML :
<p>Do index this text.</p><div class="robots-noindex">Don't index this text.</div><span class="robots-noindex">Don't index this text.</span><p class="robots-noindex">Don't index this text.</p>
Une combinaison de valeurs est également possible, par exemple :
<div class="robots-noindex robots-follow">Text.</div>
Yahoo !Edit
En 2007, Yahoo ! a introduit une fonctionnalité similaire au microformat dans son spider. Cependant, l’araignée de Yahoo !’s spider est incompatible dans la mesure où il recherche la valeur class= »robots-nocontent » et uniquement cette valeur :
<p>Do index this text.</p><div class="robots-nocontent">Don't index this text.</div><span class="robots-nocontent">Don't index this text.</span><p class="robots-nocontent">Don't index this text.</p>
SharePointEdit
Le iFiltre de SharePoint 2010 exclut le contenu à l’intérieur d’une balise <> avec l’attribut et la valeur class= »noindex ». Les <div> internes n’étaient initialement pas exclus, mais cela a pu changer. On ne sait pas non plus si l’attribut peut être appliqué à d’autres balises que <div>.
<p>Do index this text.</p><div class="noindex">Don't index this text.</div>