Come funziona la ricerca
Il calendario si riempie in gran parte da solo. Ecco come – e come resta onesto.
Ogni notte
- Lettura. Il crawler TangoKalenderBot legge le pagine pubbliche degli eventi di scuole di tango, locali e calendari di eventi – con discrezione, al massimo una pagina al secondo, secondo le regole di
robots.txt. Le pagine che non cambiano vengono lette meno spesso. - Estrazione. Un modello di IA ricava da ogni pagina data, orario, locale, titolo e regola di ripetizione – e solo ciò che la pagina dice. Ogni risultato è accompagnato dal passaggio della pagina come prova; senza prova non viene ripreso nulla.
- Confronto. Ogni risultato viene confrontato con locali, organizzatori, serie ed eventi già noti. Un evento che due pagine citano in modo indipendente è lo stesso evento con due fonti – non due eventi.
- Pubblicazione. Le fonti determinano un livello: Segnalazione (una fonte), Attestato (due fonti indipendenti o il sito web dell'organizzatore stesso), Attestato esternamente (un calendario partner che verifica con gli organizzatori), Confermato (l'organizzatore). Le segnalazioni che nessuno conferma sbiadiscono da sole.
- Avviso. Gli organizzatori di cui abbiamo trovato gli eventi ricevono esattamente un'e-mail con un link per prenderli in carico – mai una seconda senza risposta.
Quanto valgono le fonti
Ogni fonte ha un peso che deriva ogni settimana dalla sua percentuale di successo: se gli organizzatori confermano i risultati di una fonte, il suo peso sale; se li smentiscono, scende fino a zero. Le nuove fonti che la ricerca trova da sé sono in prova per un mese – i loro risultati valgono solo come segnalazioni.
Un insieme di riferimento di pagine note verifica ogni settimana che l'estrazione funzioni ancora con precisione. Se la precisione cala, nessun evento sale di livello finché non torna a posto.
Che cosa non facciamo
- Nessun testo, nessuna immagine da altri siti – il calendario mostra dati e un breve riassunto proprio, citando e collegando la fonte.
- Nessun accesso, nessun modulo, nessuna pagina oltre i due megabyte.
- Il testo di una pagina letta viene conservato solo fino all'estrazione, al massimo una settimana.
- Chi non vuole comparire lo dice una volta sola – e vale per sempre.
La pagina di ogni evento trovato mostra le fonti e, campo per campo, da dove vengono i dati. I dettagli tecnici sono nella pagina TangoKalenderBot.