Bloccare i duplicati con robots.txt?

12
MAR

Bloccare i duplicati con robots.txt?

Scritto da Fortunecat in Video di Matt Cutts

Vi segnalo un interessante video di Matt Cutts che affronta il problema dei contenuti duplicati. La domanda posta a Cutts è infatti la seguente:

Se Google scansiona (ad esempio) 1000 pagine al giorno, il fatto che il Googlebot possa essere impegnato nella scansione di molti duplicati potrebbe rallentare il crawling di un sito molto grande?
E’ meglio bloccare i duplicati con il robots.txt oppure con il meta tag noindex, nofollow?

Matt Cutts risponde:

Il Crawling & Indexing Team di Google probabilmente risponderebbe che è meglio permettere a Google di scansionare l’intero contenuto del sito, senza bloccare alcuna pagina.
Sarà Google stesso a riconoscere quali sono i duplicati. Il motore inoltre provvederà autonomamente a combinare i contenuti duplicati con quelli “originali”.
Se invece blocchi un duplicato con il robots.txt, Google non può neppure scansionarlo. Quindi non può neppure rendersi conto del fatto che quella pagina è un duplicato.
Il risultato è che nelle SERP potrebbero apparire sia la pagina “originale” che l’uncrawled url relativo al contenuto bloccato.
Certo, se un sito ha una struttura “strana” e ha molte versioni dello stesso contenuto si potrebbe cercare di bloccare parte dei duplicati per evitare scansioni a vuoto del Googlebot.
Ma prima di bloccare i doppioni sarebbe più opportuno permettere a Google di scansionare l’intero sito, per vedere se è in grado di riconoscere autonomamente le duplicazioni.
Per risolvere il problema si potrebbe anche prendere in considerazione l’idea di ristrutturare il sito. Ad esempio se utilizzi i parametri negli url potresti indicare a Google quali paramentri ignorare tramite l’apposita funzione nei Google Webmaster Tools.
Concludendo: meglio non bloccare i duplicati con robots.txt. L’utilizzo del robots.txt andrebbe visto soltanto come ultima risorsa.