Nom de domaine

Ricordi l’era benedetta in cui un semplice robot.txt alla radice del tuo sito Web era sufficiente per mantenere i robot di indicizzazione da remoto? Bene, questa era è finita perché oggi i crawler delle compagnie IA si comportano come parassiti digitali Arrivando a pompare tutti i tuoi contenuti, ignorando allegramente qualsiasi forma di gentilezza digitale. Peggio ancora, cambiano costantemente per nome e trovano il modo di aggirare le protezioni tradizionali. In breve, si ubriaca!

Questo è dove tra la fase Nepentheuno strumento creato da Aaron B. e quindi nominato in omaggio a queste affascinanti piante carnivore che digeriscono la loro preda nella trappola a forma di lanciatore.

Nefrenti

Come il Tarpit su ssh Di cui ti ho raccontato circa qualche mese fa, il principio è altrettanto efficace. Perché piuttosto che una semplice trappola statica, Nepenthes crea a Labirinto infinito Progettato appositamente per i crawler. Ogni pagina li porta quindi a ancora più pagine, e ancora più pagine e ancora più pagine, in un ciclo infinito di collegamenti generati in modo casuale. Il crawler scarica un URL, vede link, li segue & mldr; E così si trova intrappolato in una spirale infinita.

Ecco un esempio di configurazione Nginx che consente di distribuire Nepenthes:

nginxlocation /nepenthes-demo/ { proxy_pass http://localhost:8893; proxy_set_header X-Prefix '/nepenthes-demo'; proxy_set_header X-Forwarded-For $remote_addr; proxy_buffering off;}

Fai comunque attenzione perché questo strumento lo è deliberatamente dannoso. Quindi distribuiscilo solo se comprendi perfettamente le sue implicazioni perché altrimenti i crawler legittimi (Google, Bing & MLDR;) potrebbero anche essere colpiti, potenzialmente influenzando il tuo SEO.

Se vuoi vedere come appare, puoi testare i nepenthes in azione su questo Pagina demo. È deliberatamente lento perché l’idea è di rallentare questi famosi crawler! E per distribuire la propria istanza, direzione il Pagina del progetto Chi ti spiegherà tutto.

SCR 20250124 IONM

Davvero, trovo che anche se è un po ‘permaloso da schierarsi, Nepenthes è una buona risposta molto creativa a questo crescente problema di crawler selvaggi. Inoltre, il suo creatore lo descrive come “Un’opera d’arte nata dalla rabbia di fronte all’evoluzione di Internet in una sezione di estrazione monetaria“.

Allora chi lo metterà a posto?

Fonte


Source link

Categorized in:

Tecnologia