Veri, yeni ham petrol; ama çoğu zaman tabloya değil, web sayfasına gömülü. Fiyatları izlemek, ürün karşılaştırmak veya araştırma için tablo toplamak istiyorsanız, Python bu işin en pratik yolu. Bu rehberde sıfırdan çalışan bir veri toplayıcı yazıyoruz — hangi kütüphaneyi ne zaman seçeceğinizi, kodu ve en önemlisi nerede durmanız gerektiğini.
Web scraping'e dair en büyük yanlış anlama, “her şey serbest” algısıdır. Teknik olarak sayfayı indirmek kolay; asıl mesele ne indirdiğiniz, ne sıklıkla indirdiğiniz ve bunu kiminle paylaştığınızdır. Bu rehber hem kodu hem de sınırı öğretiyor.
Web scraping nedir, ne değildir?
Web scraping, sunucudan gelen HTML yanıtını ayrıştırıp içindeki yapılandırılmış bilgiyi çıkarma işlemidir. Fiyat, başlık, tarih, stok durumu gibi alanları seçer, bir tabloya (CSV/JSON) dönüştürürsünüz. Bunu API ile yapmak her zaman daha temizdir; eğer site bir API sunuyorsa önce onu kullanın. Scraping, API'nin olmadığı durumda devreye girer.
Scraping değildir: şifreli içeriğe yetkisiz erişim, sunucuyu saniyede yüzlerce istekle boğmak veya kişisel verileri izinsiz toplamak. Bu üçü hem etik hem çoğu ülkede yasal açıdan sorunludur.
Hangi kütüphane? İhtiyaca göre seçim
| Araç | Uygun olduğu durum | Zorluk |
|---|---|---|
| requests + BeautifulSoup | Statik HTML sayfaları | Kolay |
| Playwright | JavaScript ile yüklenen sayfalar | Orta |
| Scrapy | Binlerce sayfalık büyük taramalar | İleri |
| Selenium | Eski otomasyon senaryoları | Orta |
| pandas.read_html | Sayfadaki hazır tablolar | Kolay |
Kural basit: önce en basit aracı deneyin. Çoğu sayfa statiktir ve requests + BeautifulSoup yeterlidir. İçerik JavaScript ile sonradan yükleniyorsa Playwright'a geçin. On binlerce sayfa varsa Scrapy'nin asenkron yapısı fark yaratır.
6 adımda çalışan scraper
- Ortamı hazırlayın:
python -m venv venvçalıştırın, ardındanpip install requests beautifulsoup4ile paketleri kurun. - Hedefi okuyun: robots.txt ve kullanım şartlarını kontrol edin.
- İstek atın: User-Agent tanımlayın, timeout verin.
- Ayrıştırın: BeautifulSoup ile hedef elementleri seçin.
- Yavaşlayın: her istek arasında gecikme koyun.
- Kaydedin: CSV veya JSON'a yazın.
Tam kod örneği
import time, csv, requests
from bs4 import BeautifulSoup
URL = "https://ornek-site.com/urunler"
HEADERS = {
"User-Agent": "TechWaveBot/1.0 (iletisim: ornek@techwaveblog.site)"
}
resp = requests.get(URL, headers=HEADERS, timeout=10)
resp.raise_for_status() # 4xx/5xx'te hata fırlat
soup = BeautifulSoup(resp.text, "html.parser")
rows = []
for item in soup.select(".urun-karti"):
baslik = item.select_one(".baslik")
fiyat = item.select_one(".fiyat")
if baslik and fiyat:
rows.append({
"baslik": baslik.get_text(strip=True),
"fiyat": fiyat.get_text(strip=True),
})
time.sleep(1.5) # sunucuyu yormayın
with open("urunler.csv", "w", newline="", encoding="utf-8") as f:
writer = csv.DictWriter(f, fieldnames=["baslik", "fiyat"])
writer.writeheader()
writer.writerows(rows)
print(f"{len(rows)} kayıt kaydedildi.")
Bu kodun kritik üç noktası var: timeout (askıda kalmayı önler), raise_for_status (sessizce hatalı sayfa işlemeyi engeller) ve time.sleep (sunucuya saygı). Üçü olmadan yazılan script'ler hem kırılgandır hem de hedef siteye yük bindirir.
JavaScript ile yüklenen sayfalar: Playwright
Modern sitelerin çoğu içeriği istemci tarafında render eder. requests ile indirdiğinizde yalnızca boş bir iskelet alırsınız. Playwright, gerçek bir tarayıcı açar, sayfanın yüklenmesini bekler ve sonra HTML'i verir:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
page.goto("https://ornek-site.com/veri", wait_until="networkidle")
page.wait_for_selector(".sonuc-listesi")
icerik = page.content()
browser.close()
wait_until="networkidle" ve wait_for_selector olmadan sayfa henüz boşken yakalarsınız — bu, yeni başlayanların en sık yaşadığı “hiçbir şey bulamadım” sorununun bir numaralı sebebidir.
Etik ve yasal sınırlar
Teknik yetenek, izin anlamına gelmez. Scraping yapmadan önce şu dört başlığı kontrol edin:
- robots.txt:
ornek-site.com/robots.txtadresinde hangi yolların taranmasına izin verildiği yazan bu dosyayı okuyun.Disallowedilen bir bölümde ısrar etmeyin. - Kullanım şartları: Site, otomatik erişimi açıkça yasaklıyorsa bunu göz ardı etmeyin. Sözleşme ihkali birçok davada dayanak oluşturur.
- Kişisel veri: Ad, e-posta, telefon gibi kişisel verileri toplarken KVKK/GDPR kapsamında hukuki sebebiniz olmalı. Kişisel veri toplamak “sadece scraping” diye geçmez.
- Hız ve yük: Sunucuyu yavaşlatmayın. Genelde saniyede birden fazla istek agresif kabul edilir; 1–2 saniyelik gecikme iyi bir başlangıçtır.
İyi niyetli bir başlangıç: kendi sitenizin trafiğine bakın, bir insanın sayfalar arasında dolaşma hızını düşünün ve script'inizi o hızın altında tutun.
Gerçek senaryo: fiyat izleme script'i
Teori kadar önemli olan, bunun günlük hayatta nasıl çalıştığıdır. Örneğin bir e-ticaret sitesinde 20 ürünün fiyatını günde bir kez izlemek istiyorsunuz. Pratik kurulum şöyle olur:
- Zamanlama: script'i saatte bir değil, günde bir çalıştırın. Fiyatlar saniyede değişmiyor; gereksiz istek hem yük hem risk demektir.
- Değişiklik algılama: her çalıştırmada önceki CSV'yi okuyun, farklılık varsa log'a yazın. Böylece tüm veriyi tekrar indirmek zorunda kalmazsınız.
- Bildirim: fiyat hedefin altına indiğinde e-posta veya mesaj gönderin; veriyi toplamanın amacı budur.
- Durum kaydı: son başarılı çalıştırma zamanını ve kayıt sayısını tutun. Bir gün 0 kayıt geldiğinde bunu hemen görün.
Aynı kalıp ürün karşılaştırma, stok takibi, duyuru izleme ve araştırma verisi toplama için de geçerlidir. Ortak nokta: az, doğru ve düzenli veri; bol ve gürültülü veriden daha değerlidir.
Veriyi temizleme ve doğrulama
Ham HTML'den çıkan metin çoğu zaman kirli olur: fazladan boşluklar, kırık karakterler, “₺1.299,00” gibi biçimsiz fiyatlar. Çıktıyı kullanmadan önce üç işlem yapın:
- Beyaz alanı temizleyin:
get_text(strip=True)satır içi boşlukları ve baştaki/sondaki boşlukları kaldırır. - Tipi dönüştürün: fiyatı sayıya çevirin (
replace(".", "").replace(",", ".")), tarihi ISO biçimine alın. Aksi hâlde sıralama ve karşılaştırma yanlış çalışır. - Doğrulayın: kayıt sayısı, boş alan oranı ve tekrar eden kayıtları kontrol edin. Beklenen 100 kayıt yerine 98 geliyorsa, hangi ikisinin eksik olduğunu bilin.
Bu adım çoğu projede atlanır ve aylar sonra “bu veriye güvenebilir miyim?” sorusuyla karşılaşırsınız. Temiz veri, toplanan veriden daha değerlidir; çünkü kararı doğru kılan şey miktar değil, doğruluktur.
Yaygın hatalar
- Kırılgan seçiciler:
div:nth-child(3)gibi sıralamaya dayalı seçiciler, site küçük bir düzen değişikliğinde bozulur. Anlamlı sınıf adları tercih edin. - Hata yok saymak: 404 veya 500 yanıtları sessizce geçmek, yanlış veri toplamanıza yol açar.
- Gecikmesiz döngü:
foriçinde uyusuz istek atmak, hem sunucuyu hem IP'nizi riske atar. - Çıktıyı doğrulamamak: 1000 kayıt beklerken 12 kayıt geliyorsa, seçici yanlış demektir. Her çalıştırmada sayı kontrolü yapın.
- Sonuçları karıştırmamak: eski CSV'nin üstüne yazmak yerine tarihli dosya kullanın.
Sorularla Konuyu Netleştirelim
- Web scraping yasal mı? Genel olarak kamuya açık verinin toplanması tartışmalıdır; sitenin kullanım şartları, kişisel veri kapsamı ve ülkenin mevzuatı belirleyicidir. Emin değilseniz hukuki görüş alın.
- Scraping Google'ı yasak mı? Google, otomatik sorguları kısıtlar. Arama sonuçlarını toplamak için resmî API'leri kullanın.
- Engellenirsem ne yapayım? 429/403 yanıtı alırsanız hızlanmayın; yavaşlayın, istek sayısını azaltın ve gerekirse erişimi durdurun.
- Veri nereye kaydedilmeli? Küçük veri için CSV, iç içe yapı için JSON; büyük veri için SQLite veya bir veritabanı.
- Playwright mu, requests mi? Sayfa kaynak görünümünde (View Source) hedef metni görüyorsanız requests yeterlidir.
Özet ve Öneriler
Python ile scraping, doğru kurulduğunda son derece güçlü bir araçtır: doğru kütüphaneyi seçin, seçicileri sağlam yazın, hata yönetimini atlamayın ve her zaman hız sınırına uyun. En iyi script, en çok veriyi toplayan değil; doğru veriyi, sunucuyu yormadan ve sınırlar içinde toplayan script'tir.
Bu makale TechWave tarafından hazırlanmıştır.
Rate limiting ve nezaket kuralları
Scraping'in sürdürülebilir olabilmesi için sunucuya yük bindirmemek gerekir. Teknik olarak mümkün olması, yapmanız gerektiği anlamına gelmez; doğru yaklaşım, hem yasal hem etik sınırları baştan tanımlamaktır.
| Kural | Neden önemli | Pratik karşılığı |
|---|---|---|
| robots.txt kontrolü | Site neyin taranmasına izin veriyor belirtir | Tarama öncesi okuyun |
| Gecikme koyun | Sunucuyu serideki isteklerle boğmayın | Her istek arasında rastgele bekleme |
| User-Agent tanımlayın | Kim olduğunuzu ve iletişim bilginizi gösterir | Gerçek, şeffaf bir etiket |
| İstek sınırı belirleyin | Aynı kaynaktan günlük üst sınır | İhtiyaçtan fazlasını toplamayın |
| Önbellek kullanın | Aynı sayfayı tekrar indirmeyin | Yeniden çalıştırırken tasarruf |
Pratikte her istek arasında bir ile üç saniyelik rastgele bir bekleme, çoğu küçük ölçekli iş için yeterlidir. Test sırasında hızlandırmak için gecikmeyi düşürmek cazip görünür; ancak gerçek çalıştırmada bu, hem sunucuyu hem de kendi IP'nizi riske atar.
Yasal ve etik çerçeve
Teknik rehberin sınırı burada başlar. Genel ilkeler şunlardır:
- Herkese açık veri: Görüntülenebilir bilgiyi toplamak çoğu durumda sorun çıkarmaz; şifreli veya yetki gerektiren içeriğe erişim ise sınırdır.
- Kullanım şartları: Site kuralları otomatik erişimi kısıtlayabilir; şartları okumak, tarama öncesi yapılacak ilk şeydir.
- Kişisel veri: Gerçek kişilerle ilgili veriyi toplamak ve saklamak ayrı bir hukuki çerçeveye tabidir; bu tür verileri kapsam dışında tutun.
- Amacın sınırları: Topladığınız veriyi yalnızca belirlediğiniz amaç için kullanın; yeniden yayma ve yeniden satma niyetini önceden netleştirin.
Bu ilkeler, işinizi durdurmaz; aksine kapsamı daraltır ve sürdürülebilir bir akış kurmanızı sağlar. Belirsiz bir alanda fazlasını toplamak, hem hukuki hem teknik riski büyütür.
Hata yönetimi: scraper'ı dayanıklı yapmak
Üretimde çalışan bir toplayıcı, beklenmedik durumlarla karşılaşır. Dayanıklılık üç katmanda kurulur:
- Yeniden deneme: Zaman aşımı ve geçici HTTP hataları için sınırlı sayıda, artan bekleme süreli yeniden deneme ekleyin.
- Doğrulama: Çekilen kaydın beklenen alanları içerdiğini kontrol edin; boş veya eksik kayıt üretmek yerine atlayıp işaretleyin.
- Kayıt tutma: Hangi URL'de ne zaman hangi yanıt alındığını yazın; sorun gidermek için tek kanıt bu kayıttır.
Ayrıca çıkış noktalarını hazırlayın: CSV/JSON yazma, eksik kayıt raporu ve çalıştırma özeti. Bu üçü olduğunda, toplayıcıyı gece boyunca çalıştırıp sabah sonucu kontrol edebilirsiniz; aksi halde her adımda manuel müdahale gerekir.