Veri Otomasyonu yazılarıData Automation articles
Python ile veri otomasyonu yazıları: veri toplama, temizleme, eşleştirme ve raporlama hatlarını tekrarlanabilir ve denetlenebilir kurmanın yolları.Data Automation articles by Ekrem Değirmenci.
19 yazı19 articles
Gerçek Veriyle Test Etmeyi Bırakmak: Maskeleme ve Sentetik Veri Üretimi
Test ortamına gerçek müşteri verisi kopyalamak yerine tuzlu HMAC ile tutarlı takma adlandırma ve tohumlu sentetik veri üretimi: Python kodu ve KVKK boyutu.
Veri Göçü: Kayıpsız Geçiş İçin Eşleme Tablosu, Mutabakat ve Geri Alma
Veri göçünde kayıpsız geçiş: alan eşleme tablosu, kimlik haritası, prova koşumu, kesim anı ve geri alma planı; Python dönüştürücü ve mutabakat örnekleri.
Türkçe Veride Kodlama ve Normalizasyon Tuzakları
Türkçe veride Windows-1254/UTF-8 karmaşası, BOM'lu CSV, ondalık virgül, gg.aa.yyyy tarihleri ve İ/ı tuzağı için çalışan Python kodlarıyla kalıcı çözümler.
PDF Tablolarını Veriye Çevirmek: pdfplumber ile Doğrulanabilir Çıkarma
pdfplumber ile PDF tablolarını pandas DataFrame'e çevirme: metin katmanı kontrolü, çok sayfalı tabloları birleştirme, toplam doğrulama ve OCR kararı.
Finans raporlamada Excel tabanlı kalite kontrol: veri standartları ve denetim izi
Excel tabanlı finans raporlamada hatayı kaynağında yakalayın: veri standardı, pandas ile girdi doğrulama, mutabakat kontrolleri, denetim izi ve kontrol listesi.
Şablondan otomatik rapor üretimi: tek komutla HTML ve PDF çıktı
Aylık raporu tek komutluk boru hattına çevirin: SQL sorgusu, Jinja2 şablonu, base64 gömülü grafik ve PDF çıktı; sayı biçimi, boş veri ve kesim saati dahil.
Veri kalitesi skor kartı: altı boyutta ölçüm ve zaman içinde takip
Veri kalitesini altı boyutta pandas ile ölçün: doluluk, benzersizlik, geçerlilik, tutarlılık, güncellik, doğruluk. Metrikleri tarihli saklayıp eşikle izleyin.
Artımlı veri çekme: watermark, upsert ve geri dolum tasarımı
Artımlı veri çekmede watermark takibi, örtüşme payı, silinen kayıt tespiti, SQLite/Postgres upsert ve normal koşumu bozmayan geri dolum tasarımı.
Veri sözleşmesi ve şema doğrulama: bozuk kaydı boru hattının kapısında durdurmak
Pydantic ile CSV/JSON kayıtlarını sözleşmeye bağlayın: tip ve aralık kuralları, sebepli karantina dosyası, JSON Schema paylaşımı ve şema evrimi.
Zamanlanmış iş tasarımı: kilit, idempotency ve güvenli yeniden çalıştırma
Cron veya Task Scheduler işi iki kez çalışınca veri bozulmasın: Python'da taşınabilir dosya kilidi, SQLite ile idempotent yazma ve zaman penceresi mantığı.
restic + rclone ile 3-2-1 yedekleme stratejisi
restic ve rclone ile 3-2-1 yedekleme: şifreli depo kurulumu, parola yönetimi, systemd timer ile zamanlama, uzak kopya ve haftalık geri yükleme provası.
n8n ile iş akışı otomasyonu: gerçek dünya desenleri
Kendi sunucunuzdaki n8n için pratik desenler: webhook, hata yakalama ve yeniden deneme, idempotency, sır yönetimi, sürümleme ve neyin otomasyona değmediği.
SQLite ile küçük ama sağlam veri boru hatları
SQLite ile tek dosyalık ama dayanıklı veri boru hattı: WAL kipi, işlem sınırları, UPSERT ile güvenli yeniden çalıştırma, şema sürümleme ve .backup ile doğru yedek.
Web scraping'de etik ve hukuki sınırlar (Türkiye perspektifi)
Web scraping'de robots.txt, kullanım koşulları, hız sınırlama, kimlik belirtme ve kişisel veri ayrımı: teknik olarak kibar kazımanın pratik kuralları.
Cloudflare Pages ile ücretsiz ve hızlı statik site yayını
Cloudflare Pages ile statik siteyi wrangler üzerinden yayınlama: özel alan adı, _headers ve _redirects, önizleme-üretim dalı ayrımı ve yayın sonrası doğrulama.
Excel QC & Reporting System: Veri Tutarlılığı ve Kalite Kontrolü
Excel veri kalite kontrolü: kural motoru, mutabakat ve istisna paneliyle raporlama hatalarını yakalayan sistemi Python örnekleriyle anlatıyorum.
Multi-Product Demand Forecasting: ARIMA, Prophet ve LSTM Karşılaştırması
Binlerce ürün için talep tahmini çerçevesi: ARIMA, Prophet ve LSTM karşılaştırması, aralıklı talep, taban çizgisi ve walk-forward doğrulama rehberi.
Company Matching & Data Normalization: Fuzzy Matching ile Veri Temizleme
Farklı kaynaklardan gelen şirket kayıtlarını fuzzy matching ile eşleştirme: normalizasyon, blocking, RapidFuzz skorlama ve eşik seçimiyle veri temizleme.
Global Data Enrichment Engine: Şirket Verilerini Otomatik Zenginleştirme
Python ile veri zenginleştirme pipeline kurulumu: SQLite iş kuyruğu, robots.txt uyumu, çok kaynaklı birleştirme ve veri kalitesi skoru bir arada.