BiVelioOneBot: què llegeix i com aturar-lo
Llegeix unes poques pàgines públiques del web d'una empresa, només quan algú ho demana per al web de la seva empresa o d'un client que li ha donat el seu consentiment, i estima quins processos val la pena descobrir amb el seu equip. Respecta robots.txt i la reserva de mineria de textos i dades, i s'identifica sempre.
Qui és BiVelioOneBot
És el lector web de BiVelio One, l'espai de treball de BiVelio Inc. El fan servir el diagnòstic «Descobreix els teus processos des del teu web» de bivelio.com i la fase de Comprensió de One.
Només a petició
No recorre Internet pel seu compte: cada lectura comença perquè una persona dona un web i declara que és el de la seva empresa o el d'un client que li ha donat el seu consentiment.
Un sol lloc
Llegeix la portada i algunes pàgines del mateix lloc (amb www o sense). No segueix enllaços a altres dominis ni llegeix xarxes socials.
Regles, no còpies
Converteix cada pàgina en text, aplica regles explicables i llença l'HTML. El resultat és una estimació de processos, mai una còpia del teu web.
Què llegeix i què no fa
El que llegeix
- /robots.txt primer i, abans d'analitzar res, /.well-known/tdmrep.json (la reserva de mineria de textos i dades); després, un sitemap: el que indiqui robots.txt o, si no n’indica cap, /sitemap.xml.
- Fins a 8 pàgines HTML públiques (portada inclosa), una per tema: contacte, serveis, reserves, ocupació, avís legal, preguntes freqüents…
- Només HTML: no descarrega imatges, PDF, fulls d'estil ni scripts, i no executa JavaScript.
- Amb límits: 2 MiB per pàgina, 8 MiB i 20 segons en total, com a màxim 3 redireccions i sempre dins del mateix lloc.
El que no fa
- No envia formularis, no inicia sessió, no crea comptes i no afegeix res a cap cistella.
- No desa còpies de les pàgines. El diagnòstic de bivelio.com no es queda res del teu web. A One, l'empresa que ho ha demanat conserva 90 dies el resultat de l'anàlisi (les pàgines llegides, els processos i cites breus de 240 caràcters com a màxim, sense correus ni telèfons), i una empremta (SHA-256) de cada pàgina per poder comprovar què es va llegir sense desar-ne una còpia, i després s'esborra sol; mai l'HTML.
- No porta galetes, capçalera Authorization ni Referer.
- No esquiva bloquejos: davant d'un 403, un 429 o un 503 (el que responen els bloquejos i gairebé totes les pàgines de desafiament) s'atura, sense reintentar.
Com excloure el teu web
N'hi ha prou amb qualsevol d'aquestes quatre vies. BiVelioOneBot les mira abans d'analitzar res i no cal avisar-nos.
robots.txt
Segueix robots.txt (RFC 9309) amb el nom BiVelioOneBot, sense distingir majúscules. Perquè no llegeixi res del teu web:
User-agent: BiVelioOneBot
Disallow: /Capçalera o meta (TDMRep)
Reserva la mineria de textos i dades amb el protocol TDMRep del W3C: la capçalera HTTP o el meta a les teves pàgines.
tdm-reservation: 1
<meta name="tdm-reservation" content="1">/.well-known/tdmrep.json
O un fitxer per a tot el lloc (o només per a les rutes que vulguis), també de TDMRep:
[
{ "location": "/", "tdm-reservation": 1 }
]Al teu avís legal o a les teves condicions
Si el teu avís legal o les teves condicions d'ús diuen que et reserves la mineria de textos i dades (per exemple, «Queda prohibida la mineria de textos i dades d'aquest web»), BiVelioOneBot ho llegeix com una reserva i no analitza el web.
Queda prohibida la mineria de textos i dades d'aquest web.- Si no hi ha cap grup per a BiVelioOneBot, segueix el de «User-agent: *», i guanya la regla més específica.
- Un noindex a la portada (meta robots o capçalera X-Robots-Tag) fa que no analitzi el lloc; amb nofollow no segueix els seus enllaços.
- Si el teu robots.txt respon amb un error 5xx, no llegeix res; si tdmrep.json respon 429 o 503, tampoc.
- Si prefereixes que no ho intenti mai, escriu-nos a support@bivelio.com des d'una adreça del teu domini i l'afegim a la nostra llista d'exclusió.
Per què respecta aquests senyals
L'excepció de mineria de textos i dades de l'art. 4 de la Directiva (UE) 2019/790 (a Espanya, l'art. 67 del Reial decret llei 24/2021) no s'aplica quan el titular se l'ha reservada expressament i de manera adequada; en el que es publica en línia, amb mitjans de lectura mecànica. BiVelioOneBot tracta com a reserva el protocol TDMRep del W3C (capçalera, meta i /.well-known/tdmrep.json) i, a més, segueix robots.txt.
Només llegeix a petició de qui declara que el web és el de la seva empresa o el d'un client que li ha donat el seu consentiment, i el diagnòstic de bivelio.com no es queda res del que llegeix. Per a qualsevol qüestió de protecció de dades: privacy@bivelio.com.
Si al teu web hi apareixen dades de persones (per exemple, un nom en una de les cites): les tracta BiVelio Inc (a One, per compte de l'empresa client que ha demanat l'anàlisi) per estimar els processos de l'empresa titular del web, sobre la base de l'interès legítim (art. 6.1.f RGPD; l'avaluació, a qui la demani a privacy@bivelio.com). Provenen del mateix web públic. El diagnòstic de bivelio.com no desa res; a One, com a màxim 90 dies, en cites de 240 caràcters sense correus ni telèfons. Pots demanar-ne l'accés o la supressió, o oposar-te al tractament, a privacy@bivelio.com, i presentar una reclamació davant l'Agència Espanyola de Protecció de Dades (aepd.es).
Ha llegit el teu web?
Si BiVelioOneBot ha passat pel teu web i vols saber per què, que no torni o que s'esborri el que hagi quedat a One, escriu-nos a support@bivelio.com (per a protecció de dades, a privacy@bivelio.com). Et responem en menys de 24 hores laborables.