TangoKalenderBot
TangoKalenderBot est le robot d'exploration (crawler) de recherche de Tango Kalender. Il lit les pages publiques d'organisateurs de tango, de lieux et de calendriers agrégateurs pour trouver des milongas, prácticas, cours et stages, et les référence avec un lien vers la page où ils ont été trouvés. Il fait partie d'un calendrier tenu par une seule personne pour la communauté du tango, sans publicité ni paiement.
Comment il se comporte
- Il s'identifie comme « TangoKalenderBot/1.0 », avec un lien vers cette page et une adresse de contact.
- Il respecte le fichier robots.txt (agents utilisateurs « TangoKalenderBot » et « * ») ainsi qu'une directive robots « noai » ou « noindex » dans l'en-tête ou dans une balise meta.
- Au plus une requête par seconde et par site, en général une page par site à quelques jours d'intervalle ; les pages qui ne changent pas sont lues moins souvent.
- Il ne se connecte jamais, ne remplit jamais de formulaires et ne télécharge jamais plus de deux mégaoctets d'une page.
- Il ne publie ni vos images ni vos textes : le calendrier affiche des dates, des lieux et un bref résumé rédigé par nos soins, en citant la source avec un lien. Le texte d'une page n'est conservé que jusqu'à ce qu'il ait été lu, une semaine au plus.
L'exclure
Une ligne dans votre robots.txt suffit :
User-agent: TangoKalenderBot
Disallow: /
Ou utilisez le formulaire « Ne pas me référencer » : il bloque définitivement votre site, votre lieu, votre nom ou vos événements pour notre recherche et retire ce qui a été trouvé. Questions : broicher@outlook.com