Cuvinte care apar în Titlul, subtitlurile, meta tag-uri și alte poziții de importanță relativă s-au observat pentru o atenție specială în timpul unei căutare utilizator ulterior. Păianjenul Google a fost construit pentru a indexa fiecare cuvânt semnificativ pe o pagină, lăsând articolele " o, " " o " și ". " Alte păianjeni ia abordări diferite.
Aceste abordări diferite încerca, de obicei, pentru a face păianjen opera mai rapid, permite utilizatorilor să caute mai eficient sau ambele. De exemplu, unii păianjeni va ține evidența cuvintele din titlu, sub-titlurile și link-uri, împreună cu 100 de cuvinte utilizate cel mai frecvent de pe pagina si fiecare cuvânt din primele 20 de linii de text. Lycos se spune pentru a utiliza aceasta abordare pentru a spidering Web
Alte sisteme, cum ar fi AltaVista, du-te în altă direcție, indexarea fiecare cuvânt pe o pagină, inclusiv " a., &Quot; " o, " " " și alte " nesemnificativ " cuvinte. Apasă și exhaustivitatea în această abordare este însoțită de alte sisteme din atenția acordată la porțiunea nevăzută a paginii Web, meta tag-uri. Aflați mai multe despre meta tag-uri pe pagina următoare.
Meta Tag-uri
Meta tag-uri permite proprietarul unei pagini pentru a specifica Cuvinte cheie și concepte în care pagina va fi indexat. Acest lucru poate fi de ajutor, în special în cazurile în care cuvintele de pe pagina ar putea avea sensuri duble sau triple - meta tag-urile pot ghida motorul de căutare în alegerea care dintre cele câteva sensuri posibile pentru aceste cuvinte este corectă. Există, totuși, un pericol în supra-dependența de meta tag-uri, pentru că un proprietar de pagini neglijent sau lipsit de scrupule ar putea adauga meta tag-uri care se potrivesc subiecte foarte populare, dar nu au nimic de-a face cu conținutul real al paginii. Pentru a proteja împotriva acestei, păianjeni va corela meta tag-uri cu conținutul paginii, respingând meta tag-uri care nu se potrivesc cuvintele de pe pagina.
Toate acestea presupune că proprietarul unei pagini de fapt vrea să fie incluse în rezultatele activităților unui motor de căutare. De multe ori, proprietarul paginii nu vreau apar pe un motor de căutare majore, sau nu vrea activitatea unui păianjen accesarea paginii. Luați în considerare, de exemplu, un joc care se
