Robots.txt

NEDİR?

Robots.txt dosyası, bir web sitesindeki robotların (arama motoru botları gibi) belirli sayfaları ve içerikleri indekslemesini veya taranmasını önlemek için kullanılan bir standart protokoldür.

Bu dosya, web yöneticilerinin arama motorlarının sitelerini nasıl indeksleyeceğine karar vermesine yardımcı olur. Web yöneticileri, arama motorlarının belirli sayfaları tarayamayacağı veya belirli dosyaları indekslemeyeceği talimatlarını bu dosya üzerinden verebilirler.

Örneğin, bir web sitesinin robots.txt dosyası, belirli bir klasördeki tüm içeriğin taranmamasını ve indekslenmemesini sağlayabilir. Bu klasör özel bir amaç için kullanılıyor olabilir veya gizli bilgiler içerebilir.

Robots.txt dosyası, arama motorlarının sitenizi keşfetmesini engellemez, sadece belirtilen dosyaların ve sayfaların taranmasını önler. Bu nedenle, gizlilik veya güvenlik endişeleri olan web yöneticileri için önemlidir.

PYTHON KODU

import requests

url = "https://example.com/robots.txt"

response = requests.get(url)

if response.status_code == 200:
    print("Robots.txt dosyası mevcut!")
    print(response.text)
else:
    print("Robots.txt dosyası bulunamadı.")

Bu kod, belirtilen web sitesinde robots.txt dosyasının varlığını kontrol eder ve dosyanın içeriğini görüntüler.

0 0 votes
Eğitimi Derecelendir
Subscribe
Bildir
0 Yorum
Inline Feedbacks
View all comments
0
Lütfen bu eğitimle ilgili yorumunuzu bırakınx