[ITA] A dicembre 2019, Google ha de-indicizzato un gran numero di pagine in SERP: bug o penalizzazione algoritmica?

[Dicembre 2019] Google ha de-indicizzato un gran numero di pagine in SERP: bug o penalizzazione algoritmica?

Recentemente un gran numero di gestori di siti web, sia italiani sia a livello mondiale, hanno denunciato una de-indicizzazione di massa delle loro pagine web sul motore di ricerca Google, senza apparenti motivi.

La maggior parte di essi ha dichiarato di essere stato colpito dalla presunta penalizzazione algoritmica (ammesso che di questo si tratti) tra il 16 e il 17 dicembre 2019, con alcuni ulteriori peggioramenti avvenuti verso la fine dell’anno.

Chi è stato colpito da questo uragano, denuncia un peggioramento della situazione giorno dopo giorno, con la progressivo sparizione di pagine in SERP, anche per siti posizionati nelle prime posizioni e per un gran numero di keyword diverse.

Cosa è successo alle SERP?

Gli eventi principali che caratterizzano questa situazione sono descritti nei paragrafi seguenti.

1. Le pagine hanno perso indicizzazione

La funzionalità di “Controllo URL”

Nei dintorni del 15/16/17 dicembre, un gran numero di pagine hanno perso la loro indicizzazione e dunque attualmente risultano completamente sparite da Google Search.

Contemporaneamente, le pagine risultano però presenti su Google Search Console, e questo si può verificare tramite la funzione “Controllo URL”.

2. L’operatore “site:” non restituisce le pagine corrette

I risultati dell’operatore site:

L’utilizzo dell’operatore “site:<dominio>” su Google Search non restituisce pagine o ne restituisce in numero infinitamente minore rispetto a quelle precedentemente indicizzate.

Da varie testimonianze su siti diversi e nicchie di argomenti diversi, risulta che il numero di pagine restituite dall’operatore “site:<dominio>” diminuisce di giorno in giorno, presumibilmente in base al passaggio del crawler di Google.

Rispetto al punto precedente viene da chiedersi come mai la pagina “come-registrare-lo-schermo-in-ubuntu-con-simplescreenrecorder” risulta indicizzata, ma invisibile all’operatore “site:”.

Su questo argomento qui puoi trovare un thread (in inglese) sulle pagine di supporto di Google.

3. L’operatore “site: + keyword” non restituisce le pagine corrette

I risultati dell’operatore site: con chiave di ricerca

L’utilizzo dell’operatore “site:<dominio> <keyword>” su Google Search restituisce alcune pagine correlate alla chiave indicata, ma le stesse pagine non vengono visualizzate con il solo comando “site:<dominio>“.

4. Le pagine risultano “Indicizzate, ma non inviate tramite sitemap”

La funzionalità di “Copertura”

Una verifica della copertura tramite Google Search Console (funzione “copertura”) restituisce tipicamente un numero grossomodo corretto di pagine valide, ma andando ad analizzare i dettagli esse risultano tutte di tipo “Indicizzata, ma non inviata tramite sitemap”.

I siti che non sono stati colpiti da questo hit, indicano correttamente una voce “Inviata e indicizzata”.

5. L’invio della sitemap presenta anomalie

La funzionalità di “Verifica sitemap” su un sito colpito da hit

L’invio della sitemap tramite Google Search Console non restituisce errori (stato “Riuscita”), ma nonostante questo sembra che Google non ne tenga conto e l’opzione per visualizzare la copertura dell’indice rimane disabilitata (in colore grigio chiaro e non cliccabile).

La funzionalità di “Verifica sitemap” su un sito NON COLPITO da hit

Sulle pagine di supporto di Google è stato aperto un thread su questo tema (contenuto in inglese), ma gli esperti ancora una volta hanno negato il problema o hanno indirizzato l’utente su ulteriori controlli.

6. Il report “Usabilità sui dispositivi mobili” presenta un crollo sul numero di pagine valide

La funzionalità di “Usabilità sui dispositivi mobili”

Il numero di pagine valide della funzione “Usabilità sui dispositivi mobili” risulta progressivamente sempre minore con il passare dei giorni, fino a raggiungere lo zero.

Quali controlli preventivi sono stati fatti?

Personalmente ho potuto verificare queste problematiche in diversi siti di mia proprietà, e le verifiche che ho fatto sono descritti nei seguenti paragrafi.

1. Log del webserver

Analizzando i log del webserver non risultano particolari problematiche dal punto di vista del crawling; il bot di Google passa a visitare le varie URL, e tutte hanno codice di risposta 200.

2. Robots.txt

Non risultano problemi con il file robots.txt.

3. Azioni manuali e/o problemi di sicurezza

La funzionalità di verifica delle “Azioni manuali”

In Google Search Console non risultano né azioni manualiproblemi di sicurezza.

4. Link in ingresso

Non risultano particolari anomalie per quanto riguarda i link ricevuti in ingresso, che risultano essere grossomodo gli stessi prima e dopo l’hit.

5. Velocità del sito

Il test di velocità del sito tramite PageSpeed

Non risultano particolari anomalie per quanto riguarda la velocità del sito; da un test effettuato con PageSpeed Insight risulta una velocità pari a 83/100.

6. Redirect, http vs https, www vs non-www

Non risultano anomalie su eventuali redirect, né gestioni di protocollo http vs https, né gestione di formato www vs non-www sul nome dominio.

7. Contenuti duplicati o copiati

I siti non contengono contenuto duplicato o copiato.

Quali siti sono stati colpiti e quali caratteristiche hanno?

Per quanto ho potuto osservare sui siti di mia proprietà, tutti verticali che trattano una sola nicchia informativa, al momento ho 5 siti colpiti da questa problematica.

Con l’obiettivo di trovare eventuali fattori comuni, qui sotto sono indicate le principali caratteristiche.

Tema del sito Hosting Tema Advertising Affiliazione
Sito 1 Tecnologia Hosting A (IP Italia) Tema A SI SI
Sito 2 Tecnologia Hosting B (IP USA) Tema A NO NO
Sito 3 Energia Hosting A (IP Italia) Tema A NO SI
Sito 4 Motori Hosting C (IP Germania) Tema B NO NO
Sito 5 Arredamento Hosting B (IP USA) Tema C NO NO

 

Come si può osservare dalla tabella, non sembrano esserci correlazioni con l’utilizzo di un particolare hosting, tema, ads e affiliazione.

Conclusione

Da quanto ho potuto osservare non si riesce a spiegare quanto accaduto né da un punto di vista tecnico né da un punto di vista dei contenuti. D’altra parte Google non ha dato nessuna comunicazione di eventuali problemi o anomalie sui propri sistemi, rimandando il caso a problematiche specifiche sui singoli siti.

Ma come può essere possibile che, nel giro di due giorni, un gran numero di diversi siti web, e in tutto il mondo, possano aver subito questo genere di de-indicizzazione totale delle pagine?