Bing e Yandex lanciano IndexNow per l’indicizzazione immediata delle pagine
Si chiama IndexNow ed è un protocollo di indicizzazione evolutivo che può cambiare radicalmente il modo in cui i contenuti vengono indicizzati da tutti i motori di ricerca: a lanciarlo sono Microsoft Bing e Yandex, che però hanno aperto alla partecipazione anche degli altri search engine, e la sua caratteristica principale sta proprio nella possibilità per i webmaster e proprietari di siti di sottoporre una pagina per l’inserimento immediato nell’indice, con l’obiettivo di offrire a ogni utente il massimo beneficio in termini di rapidità ed efficienza di indicizzazione, gestione del carico di scansione e freschezza dei contenuti per i ricercatori.
Che cos’è IndexNow
IndexNow è un protocollo concesso in licenza in base ai termini di Attribution-ShareAlike Creative Commons a cui può partecipare qualsiasi motore di ricerca (con una presenza notevole in almeno un mercato mondiale): il suo obiettivo è permettere ai proprietari di siti e webmaster di sottoporre e indicizzare istantaneamente le proprie pagine e i propri contenuti sul motore di ricerca.
IndexNow sarà attivo da novembre 2021 e al momento è supportato da Microsoft Bing e Yandex, i due motori di ricerca che hanno promosso l’iniziativa e ne partecipano pienamente, ma altri sono invitati ad adottare questo protocollo aperto.
Inoltre, Microsoft ha annunciato che sta incoraggiando tutti i Web Content Management Systems ad adottare IndexNow “per aiutare i propri utenti a indicizzare immediatamente i contenuti più recenti del sito e ridurre al minimo il carico di scansione sui propri siti”: Wix, Duda e altri hanno in programma di integrare presto questa API, mentre WordPress per il momento nicchia. Anche CDN come CloudFlare e Akamai funzionano con il protocollo IndexNow, così come strumenti SEO come Botify, OnCrawl e altri, mentre grandi aziende come “eBay, LinkedIn, MSN, GitHub e Bizapedia” stanno pianificando di migrare a IndexNow dall’API di invio URL di Bing.
A questo elenco manca Google, che (stando alle indiscrezioni) è a conoscenza dell’iniziativa IndexNow e a ricevuto un invito a partecipare, ma che non ha aderito ufficialmente né ha fornito dettagli; in effetti, Google è sempre molto severo riguardo alle sue API di indicizzazione delle applicazioni, utilizzate solo ora per offerte di lavoro e contenuti livestream.
Come funziona il protocollo per l’indicizzazione immediata
Come si legge dalla pagina ufficiale del progetto, nella sua forma più semplice IndexNow non è altro che “un ping per avvisare i motori di ricerca che un URL e il suo contenuto sono stati aggiunti, aggiornati o eliminati“; grazie a questa segnalazione, i motori di ricerca possono applicare rapidamente la modifica ai propri risultati delle ricerche.
Attualmente (e senza tale sistema), i motori di ricerca possono impiegare giorni o settimane per scoprire che il contenuto è stato modificato, perché non eseguono spesso ricerche per indicizzazione; ad esempio, sappiamo che i tempi di indicizzazione di Google vanno da alcune ore a diverse settimane a seconda della tipologia di sito e contenuto, e questo può portare a conseguente perdita potenziale di traffico, clienti e persino vendite.
Altra caratteristica importante, l’invio di una notifica attraverso IndexNow estende la segnalazione a tutti i motori di ricerca aderenti, che vengono informati immediatamente della modifica degli URL e possono dare la priorità alla ricerca per indicizzazione di tali URL, limitando così il regolare crawling solo alla individuazione di nuovi contenuti.
Nelle note di utilizzo, comunque, viene sottolineato che l’utilizzo di IndexNow “non garantisce che le pagine Web verranno sottoposte a ricerca per indicizzazione o indicizzate dai motori di ricerca”.
A cosa serve IndexNow
Il nuovo protocollo dovrebbe soddisfare le esigenze di motori di ricerca e proprietari dei siti allo stesso tempo, come spiegato in un post di Microsoft Bing.
Da un lato, infatti, può contribuire a rendere “Internet più efficiente“, riducendo la dipendenza dagli spider che devono uscire sul Web e scansionare ogni URL che trovano, e dall’altro danno modo ai proprietari di siti Web di fornire un chiaro segnale che aiuta i motori di ricerca a dare priorità alla scansione per questi URL, “limitando la necessità di scansione esplorativa per verificare se il contenuto è cambiato”. Allo stesso tempo, poi, alleggeriscono il carico del server da parte dei bot che eseguono costantemente la scansione delle pagine web, permettendo al server di funzionare in modo ottimale senza l’onere aggiuntivo del servizio ridondante di pagine Web che i motori di ricerca hanno già immagazzinato.
In estrema sintesi, IndexNow può ridurre i tempi per la scoperta e l’indicizzazione del contenuto, ma anche contribuire a limitare la domanda energetica necessaria per le operazioni di scansione e indicizzazione, limitando perciò la quota di emissioni che concorrono al riscaldamento globale.
Nelle intenzioni di Microsoft, in un futuro non troppo remoto “i motori di ricerca intendono limitare il crawling dei siti Web che adottano IndexNow”.
Come si usa IndexNow per indicizzare i contenuti
A livello generale, ricorda questo articolo di Search Engine Journal, i motori di ricerca hanno due modi per ottenere i dati delle pagine Web: pull e push.
Il sistema Pull è quando un crawler di un motore di ricerca visita un sito per richiedere pagine Web ed “estrae” i dati dal server, ed è il metodo in cui funzionano tradizionalmente i motori di ricerca.
Ciò che fa IndexNow è cambiare la scoperta dei contenuti con il metodo Push, in cui un CMS (come WordPress, se prevederà l’integrazione) comunica ai motori di ricerca quando il contenuto è stato pubblicato o aggiornato.
L’adozione dell’API IndexNow è molto semplice per gli sviluppatori, che devono “solo” generare una chiave supportata dal protocollo utilizzando l’apposito strumento, ospitare la chiave in un file di testo (denominato con il valore della chiave) nel root del sito e iniziare a inviare gli URL quando vengono aggiunti, aggiornati o eliminati. Inviare un URL “è facile come inviare una semplice richiesta HTTP contenente l’URL modificato e la chiave”, spiegano da Microsoft.
I non-sviluppatori possono fare affidamento alle varie piattaforme che hanno già adottato il sistema o lo faranno nel prossimo futuro, mentre dal punto di vista del singolo sito ci sono vari sistemi per utilizzare l’API.
Il più utile è sicuramente l’integrazione nel CMS tramite funzione nativa, che permette a ogni editore di accedere al nuovo protocollo in modo immediato; anche molti CDN, come detto, hanno già aderito all’iniziativa e inviano in modo proattivo segnali su quali scansioni potrebbero produrre nuovi contenuti e quali no, e in modo simile si stanno muovendo alcuni dei ” principali attori del settore SEO”.
