Jump to content

Category:Robots.txt

From Wikimedia Commons, the free media repository
<nowiki>protocollo di esclusione robot; protocole d'exclusion des robots; protocol d'exclusió de robots; Robot engelleme standardı; معيار استبعاد الروبوتات; robots.txt; Robotin rajausstandardi; стандарт исключений для роботов; Robots Exclusion Standard; Robots Exclusion Standard; protocolo de exclusão de robôs; Standard isključenja robota; فایل robots.txt; robots.txt; Robot Exclusion Standard; Robots Exclusion Standard; Robots Exclusion Standard; Protocolo de Exclusão de Robôs; Estándar de exclusión de robots; Robots.txt; Robots Exclusion Protocol; Robots.txt; Robot İstisna Protokolu; Robots Exclusion Standard; Robots Exclusion Protocol; פרוטוקול אי הכללת רובוטים; 로봇 배제 표준; Robots.txt; Normo por ekskludi robotojn; robots.txt; Robots Exclusion Standard; spletni protokol za urejanje območij spletnega mesta, ki jih lahko obiščejo spletni pregledovalniki (roboti); fichier bloquant aux bots des pages web; استاندارد استثنا کردن ربات‌ها; 一种用于控制搜索引擎或者其爬虫程序对页面访问控制的建议性规范标准文件; תקן המגדיר לזחלני רשת לא לאנדקס דפים נבחרים של אתר; standaard voor het uitsluiten van indexering van delen van websites door webcrawlers; файл ограничения доступа к содержимому роботам на http-сервере; internetstandardi; Netzwerkprotokoll zur Regelung welche Bereiche einer Website durch Webcrawler (Robots) besucht werden dürfen; 웹사이트에 로봇에 접근하는 것을 방지하기 위한 규약; standard used to advise web crawlers and scrapers not to index a web page or site; برمجة; webový standard zakázání přístupu robotům; estándar utilizado para indicarle al rastreador web que no indexe una URL; Estandar de exclusion de robots; robots.txt; robots.txt; robots.txt; robots.txt; robots.txt; robots.txt; Robots Exclusion Protocol; robots.txt protocol; Robots Exclusion Protocol; robots.txt; robots.txt; protokol za izključitev robotov; robots.txt</nowiki>
robots.txt 
standard used to advise web crawlers and scrapers not to index a web page or site
Upload media
Instance of
official website
Authority file
Edit infobox data on Wikidata

Media in category "Robots.txt"

The following 3 files are in this category, out of 3 total.