Google e l’individuazione dei duplicati

Scritto da Fortunecat in SEO

Salve a tutti, innanzitutto una comunicazione di servizio: su Fortunecat.it è stata attivata la nuova sezione Flash News contenente notizie “flash” dal mondo dei motori di ricerca.

D’ora quindi in poi gli abbonati al feed RSS riceveranno – oltre ugli update relativi ai post di approfondimento – anche le principali notizie del giorno.

Bene, oggi parliamo di contenuti duplicati facendo riferimento ad un brevetto piuttosto recente “Duplicate document detection in a web crawler system” del 1 Dicembre 2009.

Il motore di ricerca, in fase di scansione, individua una serie di documenti con il medesimo contenuto. In funzione di opportune metriche indipendenti dal tipo di query viene stabilito quali documenti devono essere inclusi nell’indice e quali devono essere filtrati.

Il motore di ricerca assegna ad una classe di documenti duplicati un fingerprint, una sorta di codice identificativo che in sostanza individua un contenuto comune a tutte le pagine in questione (ad es.: un codice a 64 bit calcolato a partire da un testo normalizzato).

Tutte le informazioni relative al set di documenti duplicati vengono memorizzate in forma di dati strutturati.

Quando il motore di ricerca individua un nuovo documento, prima di processarlo effettua un confronto con gli altri documenti già memorizzati. Nel caso vi sia una coincidenza di dati, il nuovo documento viene marcato con il fingerprint relativo ad una specifica classe di duplicati.

In termini più semplici: il motore di ricerca classifica i contenuti con un codice identificativo, pagine con lo stesso contenuto condividono lo stesso codice.

Un aspetto molto interessante: i “crawling layer”

Google classifica gli URL usando tre livelli di scansione:

1. livello base: contiene gli url delle pagine che vengono scansionate periodicamente;
2. livello daily: contiene gli url delle pagine che richiedono una scansione giornaliera;
3. livello real-time: contiene gli url di risorse che devono essere scansionate più volte al giorno, anche ad intervalli di pochi minuti (es. tweets).

Una pagina viene assegnata ad uno specifico layer in funzione della frequenza di aggiornamento e di altri indicatori (pagerank in primis).

Per ciascuna pagina inoltre viene calcolato il pagerank, e generata una mappa dei link e degli anchor text.

A questo punto la domanda è: quali documenti appariranno nei risultati di ricerca?

I componenti fondamentali in gioco sono due: il modulo Content Filter e il DupServer (il server che contiene le informazioni relative ai duplicati).

Quando viene individuata una nuova risorsa il Content Filter consulta il DupServer per capire se il documento è o meno un duplicato.

Facciamo un esempio:

Il motore individua il documento A. Il Content Filter consulta di DupServer e deduce che non esistono duplicati di A. Ad A viene assegnato un fingerprint 001 che identifica il contenuto di A.

Dopo 1 mese il motore scopre il documento B. Il Content Filter consulta il DupServer e scopre che B ed A hanno lo stesso contenuto.

Cosa succede ora?

1° caso: il pagerank di B è più basso del pagerank di A.

A “vince”. A e B rientrano nella stessa classe di duplicati il cui codice identificativo è 001, il codice di A. Questo sta a significare che l’insieme dei duplicati è rappresentato da A, e sarà proprio A ad apparire nei risultati di ricerca.

2° caso: il pagerank di B è più alto ma solo di poco.

A resta comunque la versione più rappresentativa. Ciò per due ragioni (mia interpretazione):

• A così viene comunque privilegiato per il fatto di essere stato indicizzato prima;
• si evita anche di modificare continuamente gli url nei risultati di ricerca.

3° caso: il pagerank di B è nettamente più alto.

B diventa la nuova versione più rappresentativa. B riceve un fingerprint tutto suo, es.: 002. D’ora in poi la classe di duplicati sarà identificata dal nuovo codice 002, segno appunto che il documento rappresentativo ora è B e non più A.

Conclusioni

Il criterio che Google utilizza per filtrare i documenti duplicati sembra essere fondamentalmente basato sul pagerank, ma le caratteristiche dell’algoritmo se non altro ci garantiscono che a parità di PR viene privilegiata di fatto la pagina indicizzata prima.

Approfondiremo ancora l’argomento quindi restate connessi. Alla prossima.

Ti potrebbe interessare anche:

1. 1° Lezione sui contenuti duplicati: come sono considerati da Google
2. Google Local Search: criteri generali di funzionamento
3. Il posizionamento delle keyphrase
4. 2° Lezione sui contenuti duplicati: come difendersi dal furto di contenuti
5. Brevetto Microsoft: Posizionamento su Bing

Ti trovi in:

Blog » SEO » Google e l’individuazione dei duplicati