In technology we trust

Storia un un successo che poteva diventare una tragedia: come recuperare l’indicizzazione di un sito che in meno di un paio di settimane ha perso tutti gli accessi via Google.


In questo articolo che ho scritto per gli amici di Passodue, racconto come ho gestito la difficile situazione causata da un problema tecnico durante la pubblicazione del nuovo sito e blog diariodiunconsulente.

Trattando il blog di temi non prettamente tecnici o connessi alla SEO, ho preferito pubblicare sul nostro blog aziendale i dettagli tecnici che possano risultare utili a chi altri possa subire la stessa sorte con il proprio sito.

Gli attori di questa storia

I componenti principali di questo racconto sono tutti inanimati e afferiscono al mondo di WordPress – il CMS utilizzato per questo progetto – e Google Search:

  • nella parte principale il CMS: WordPress
  • nel ruolo del traditore insospettabile: WPML  – il sistema di plugin utilizzato per la gestione multi lingua
  • nel ruolo di spettatori interessati: Google Analytics e Google Search Console

Si ringraziano come guest star i ragazzi del supporto tecnico di WPML ed il mitico Joost de Valk fondatore di Yoast.

Franco Farnedi con Joost de Valk fondatore di Yoast.

Antefatti

Abbiamo realizzato il restyling grafico e strutturale del sito dei nostri amici e clienti Passodue.com e per la gestione dei contenti in lingua abbiamo come al solito utilizzato il sistema di plugin WPML che permette di gestire in maniera efficiente questo tipo di problematica, sostituendo il vecchio plugin utilizzato in precedenza che risultava obsoleto e poco efficace. Per il tema abbiamo adattato il nostro solito e preferito Total che dispone di una ottima struttura semantica del codice.

Il blog diariodiunconsulente.it esisteva da più di 5 anni e godeva di una ottima indicizzazione sui motori di ricerca ed era imperativo mantenere la visibilità guadagnata in questi anni anche dopo il passaggio alla nuova veste grafica e alle nuove tecnologie. Contestualmente siamo anche passati al protocollo https per rendere il sito più sicuro e meglio indicizzato da Google che privilegia da circa un anno i siti dotati di certificato SSL.

Il problema: redirect non voluto

Setup di WPML

Abbiamo configurato il plugin, per due lingue: Italiano (principale) e Inglese

setup WPML lingue

e la struttura a sotto directory per la lingua inglese, al fine di combaciare con il vecchio sistema del plugin precedente e non dover eseguire troppi redirect 301

Configurazione lingua e directory

ed in fine, abbiamo configurato un meccanismo che prevedesse la scelta automatica della lingua in funzione della provenienza del visitatore

Setup attuale WPML per forward automatico per lingua – l’immagine originale nella versione WPML di un anno fa era diversa

Quello che si vede ora nell’immagine è il setup attuale, mentre a maggio 2017 l’interfaccia WPML era leggermente diversa.

Esistono due tecniche principali per gestire la selezione automatica della lingua da visualizzare per il lettore:

  • tramite IP di provenienza
  • tramite la selezione della lingua predefinita configurata sul browser

Talvolta utilizziamo la prima opzione, tramite alcuni plugin (se si ha hosting su WPE si può usare WP Engine GeoIP mentre negli altri casi abbiamo provato il plugin WP GeoIP Country Redirect) ma in questo caso si è deciso che la soluzione più tranquilla  sarebbe stata la scelta integrata in WPML e senza ulteriori complicazioni provocate da strumenti aggiuntivi.

La perdita di indicizzazione

Dopo poche settimane che il sito era online, con la nuova configurazione e la nuova sitemap xml era stata aggiornata su GSC, il sito ha incominciato a perdere l’indicizzazione delle pagine.

Il problema è presto diventato drammatico, vedi l’articolo su diariodiunconsulente, ma l’analisi tecnica del sito e la richiesta di supporto al team Google Search non ha sortito nessuna soluzione pratica.

Ogni giorni le pagine presenti sull’indice di Google veniva eliminate e non sera possibile trovare una causa di questo effetto.

Ecco cosa comunicai al cliente che si era giustamente preoccupato del calo di visibilità:

Contrariamente a quanto ci si proponeva, dopo la messa online del nuovo sito, anche se non si è apportata nessuna variazione rilevante sulla struttura delle url del sito (ovvero le vecchie pagine continuavano a rispondere allo stesso indirizzo) c’è stata una caduta verticale dell’indicizzazione delle pagine.

Questo effetto è avvenuto subito dopo la messa online del sito e la pubblicazione della nuova xml sitemap (come da procedura richiesta da Google Search Console)

La procedura eseguita è quella che viene fatta su tutti i siti che si desidera indicizzare e gestire con strumenti adeguati, e sono sicuro che è stata condotta a regola d’arte. Ho investigato su cosa possa aver provocato il calo di visibilità ed ho chiesto supporto all’helpdesk di Google, di Yoast e di WPML (gli ultimi due li ho incontrati di persona presso la conferenza europea di WordPress a Parigi).

Alla fine è risultato evidente come:

  • l’attività svolta sia stata eseguita correttamente
  • i passaggi fatti di pubblicazione mappa xml erano inevitabili per poter guadagnare il controllo del sito per lo sviluppo delle successive strategie
  • il de-indexing del sito a seguito della registrazione della xml map non è una cosa frequente (non mi è mai capito e comunque non si trovano molte casistiche simili online).
  • i tempi di ripristino al vecchio livello di indicizzazione sono sull’ordine di 60 gg (non si risolve un caso simile in pochi giorni).

Infatti, proprio in quei giorni mi trovavo alla conferenza europea di WordPress e riuscì a confrontarmi sia con gli sviluppatori di WPML che erano presenti al congresso che con i tecnici di Yoast SEO, ma entrambi non avevano casistiche simili o soluzioni sul problema.

Analizzando il codice generato delle pagine non vi erano errori o indizi che portassero ad una qualche soluzione.

La soluzione finale

In fine arrivò fortuitamente la risposta al problema:

Da quanto abbiamo potuto verificare, incrociando le informazioni raccolte, tale calo è stato provocato da una malfunzionamento del motore che analizza le pagine periodicamente (Google crawler) che ha erroneamente mappato la lingua di numerose pagine e le ha pertanto escluse dai risultati di ricerca.

Infatti, ogni pagina del sito dispone di una doppia versione per le lingue italiano e inglese:

<link rel=”alternate” hreflang=”it” href=”http://diariodiunconsulente.it/2016/09/26/niccolo-branca/“>

<link rel=”alternate” hreflang=”en” href=”http://diariodiunconsulente.it/en/2017/06/19/re-evolution-niccolo-branca/“>

Ed il visitatore viene indirizzato alla versione della pagina corrispondente alla lingua prescelta nel proprio browser (italiano o inglese oppure italiano per tutti coloro che non hanno selezionato una lingua predefinita).

Ma per una errata valutazione del motore che scansione le pagine, Google ha improvvisamente cominciato a indirizzare tutte le pagine sulla versione inglese e di conseguenza a ha cambiato lo stato di indicizzazione delle medesime:

Ecco come si comporta GSC usando la funzione “Visualizza come Google”

Questo articolo (fra i tanti) spiega il problema, ed ecco alcune frasi rilevanti:

Q: What is the damage of Google incorrectly interpreting the browser language redirects?

A: It’s impossible to tell, because nobody knows exactly how Google will respond. You should use Google Webmaster Tools to see how Google indexed your site. If you suspect that your content is indexed in the wrong language, it’s a good idea to disable the browser redirect. Google frequently updates their crawling and indexing algorithms. What works now may not work later and what fails now may work in the future. In any case, it’s a good idea to periodically review your index status and respond to alerts coming from Google Webmaster Tools.


Come intervenire

Trovata la causa del problema, come consigliato da Google e dai colleghi del supporto tecnico di WPML e Yoast, abbiamo provveduto a correggere l’errore ed abbiamo inviato nuovamente la mappa xml per una nuova riconsiderazione delle pagine.

Inoltre, per velocizzare il processo e come consigliato da Google support, abbiamo avviato una procedura di indicizzazione manuale degli articoli più letti: in meno di un mese  il sito è tornato ad essere completamente indicizzato ed ha recuperato la piena visibilità e traffico organico.

Conclusioni e lezioni da imparare

Con questo episodio abbiamo appreso alcune importati lezioni che vorrei riassumere qui

Monitoraggio costante della SEO del proprio sito

E’ estremamente importante mantenere un costante controllo sullo stato di indicizzazione del proprio sito, attivando procedure regolari e periodiche di controllo sia del traffico sul sito (Google Analytics o sistemi equivalenti) che dello stato di indicizzazione sui motori (Google Search Console).

Molti nostri clienti affidano al nostro servizi WPSEO (pacchetto che parte da 19 € al mese) il monitoring della saluta del proprio sito e ricevono un report trimestrale sull’andamento del traffico e delle keyword principali.

Il controllo delle pagine tramite Google Search Console

Uno strumento indispensabile per analizzare la saluta del proprio sito è GSC ed uno strumento che ci è risultato particolarmente utile in questo frangente è stato sicuramente il comando “Visualizza come Google” che permette di avere una visione “di parte” del nostro sito.

Utilissimi anche gli strumenti “Stato di Indicizzazione” e Site Map

Il bug fixing

Il problema rilevato in questo caso sembra un errore del crowler di Google che capita in modo randomico, ma gli amici di WPML non ne erano particolarmente attenti o a conoscenza: dopo la mia segnalazione il plugin WPML sembra essersi aggiornato ed ora segnala in modo ben più allarmato fornendo una pagina specifica che avvisa del possibile problema