perl-WWW-Robotrules

robots.txt-turevi izinler veritabanı

Bu modÜl robots.txt dosyasının ayarlarını çözümleyebilen perl yordamları sunar.