xargs Komutu ile Toplu Dosya ve Metin İşleme

Yazar:komut.io ekibi Metin İşleme Komutları (grep, awk, sed)
0 Yorum

Bir terminalde saatlerce süren tekrar eden işlemleri elle yapmak zorunda kaldınızda o his var ya, işte xargs tam olarak o acıyı gideren araç. Yüzlerce dosyayı tek tek işlemek, çıktıları başka komutlara beslemek, paralel iş akışları kurmak… Bunların hepsini xargs ile hem hızlı hem de güvenli şekilde yapabilirsiniz. Ben bu komutu gerçek anlamda sevmeye, production ortamında onlarca bin log dosyasını temizlemem gerektiği gece öğrendim.

xargs Nedir ve Neden Gereklidir?

xargs, standart girdiden (stdin) okuduğu verileri alıp başka komutlara argüman olarak ileten bir araçtır. Kulağa basit geliyor ama bu basitlik içinde inanılmaz bir güç yatıyor.

Şöyle düşünün: find komutuyla 500 tane eski log dosyası buldunuz. Bunları silmek istiyorsunuz. find ... -exec rm {} ; de çalışır ama her dosya için ayrı bir rm process’i başlatır. xargs kullandığınızda ise tüm dosyaları tek seferde veya gruplar halinde işler, sistem kaynakları açısından çok daha verimlidir.

Peki neden her zaman | (pipe) yetmez? Çünkü bazı komutlar stdin’den okuma yapmaz, sadece argüman kabul eder. rm, cp, mv, chmod bunların başında gelir. İşte xargs burada devreye giriyor: pipe ile gelen veriyi bu komutların anlayacağı argüman formatına dönüştürüyor.

Temel Kullanım ve Sık Kullanılan Parametreler

Önce en yalın haliyle görelim:

echo "dosya1.txt dosya2.txt dosya3.txt" | xargs rm

Bu komut üç dosyayı tek rm çağrısıyla siler. Şimdi parametrelere bakalım:

-n [sayı]: Her komut çağrısına kaç argüman geçileceğini belirler. Örneğin -n 1 ile her argüman için ayrı komut çalışır.

-I [yer tutucu]: Argümanın komut içinde nereye yerleştirileceğini belirler. Genellikle {} kullanılır.

-P [sayı]: Paralel çalıştırılacak process sayısını belirler. Performans için kritiktir.

-d [ayraç]: Girdi ayracını belirler. Varsayılan boşluk ve newline’dır.

-0: Null karakter () ayracını kullanır. Boşluklu dosya adları için şarttır.

-t: Çalıştırılan komutu ekrana basar (debug için ideal).

-p: Her komut öncesi onay ister. Tehlikeli işlemlerde hayat kurtarır.

–max-args=[sayı]: -n ile aynı işlevi görür, daha okunabilir formattır.

Gerçek Dünya Senaryoları

Senaryo 1: Log Dosyası Temizliği

Sisteminizde 30 günden eski log dosyaları birikiyor ve disk dolmaya başlıyor. Klasik yaklaşım şöyle:

find /var/log/uygulama -name "*.log" -mtime +30 -type f | xargs rm -f

Ama dosya adlarında boşluk varsa bu patlar. Production’da öğrendiğim ders: her zaman -print0 ve -0 ikilisini kullanın:

find /var/log/uygulama -name "*.log" -mtime +30 -type f -print0 | xargs -0 rm -f

find‘ın -print0 parametresi dosya adlarını null karakter ile ayırır, xargs -0 da bunu düzgün okur. Boşluklu, özel karakterli dosya adlarında bu ikiliye sadık kalın.

Silmeden önce ne silineceğini görmek isterseniz:

find /var/log/uygulama -name "*.log" -mtime +30 -type f -print0 | xargs -0 -t rm -f

-t parametresi her çalıştırılan komutu stderr’e yazar, neyin silindiğini takip edebilirsiniz.

Senaryo 2: Toplu Dosya İzin Değişikliği

Bir web uygulaması dizininde PHP dosyalarının izinleri karışmış. Hepsini 644 yapmak gerekiyor:

find /var/www/html -name "*.php" -type f -print0 | xargs -0 chmod 644

Dizinleri de 755 yapmanız gerekiyor olsun:

find /var/www/html -type d -print0 | xargs -0 chmod 755

Bu iki komutu peş peşe çalıştırarak web sunucusu izin sorunlarını dakikalar içinde çözebilirsiniz.

Senaryo 3: Grep ile Birleştirme, Toplu Metin Arama

Yüzlerce config dosyası arasında belirli bir IP adresini ya da string’i aramak istiyorsunuz:

find /etc -name "*.conf" -type f -print0 | xargs -0 grep -l "192.168.1.100"

grep‘in -l parametresi sadece eşleşme bulunan dosya adlarını listeler. Eşleşmenin context’ini görmek istiyorsanız:

find /etc -name "*.conf" -type f -print0 | xargs -0 grep -n "192.168.1.100"

-n ile satır numaralarını da görürsünüz. Bu kombinasyon, “hangi config’de bu IP vardı?” sorusunu saniyeler içinde yanıtlar.

Büyük bir codebase’de güvenlik açığı araştırması yapıyorsunuz diyelim. Hardcoded şifre kontrolü:

find /opt/uygulama -name "*.py" -o -name "*.js" | xargs grep -rn "passwords*=s*['"]"

Senaryo 4: -I ile Argüman Yerleştirme

-I parametresi, argümanın komut içinde tam olarak nereye gideceğini belirlemenizi sağlar. Bu özellikle mv, cp gibi komutlarda kritik önem taşır.

Tüm .bak dosyalarını /backup dizinine taşımak:

find /home -name "*.bak" -print0 | xargs -0 -I {} mv {} /backup/

Ya da dosyaları kopyalarken yeni bir uzantı eklemek:

ls *.conf | xargs -I {} cp {} {}.backup

Bu komut bulunduğunuz dizindeki tüm .conf dosyalarını .conf.backup olarak kopyalar. Bir değişiklik yapmadan önce config dosyalarını yedeklemek için ideal.

Senaryo 5: Paralel İşleme ile Hız Kazanmak

-P parametresi xargs‘ı gerçekten güçlü kılan özelliklerden biridir. Özellikle CPU yoğun veya I/O bağımlı işlemlerde ciddi hız farkı yaratır.

100 adet büyük log dosyasını gzip ile sıkıştırmanız gerekiyor. Sıralı yaparsanız saatler sürebilir:

find /archive/logs -name "*.log" -type f | xargs -P 8 -n 1 gzip

-P 8 ile 8 paralel gzip process’i çalışır. Sunucunuzun CPU sayısına göre bu değeri ayarlayın. Genellikle CPU sayısı veya 2 katı iyi bir başlangıç noktasıdır.

CPU çekirdek sayısını dinamik olarak kullanmak:

find /archive/logs -name "*.log" -type f | xargs -P $(nproc) -n 1 gzip

nproc komutu sistem üzerindeki kullanılabilir işlemci sayısını döner. Bu sayede script’iniz farklı sunucularda da optimum performansı otomatik olarak yakalar.

Senaryo 6: sed ve awk ile Birlikte Kullanım

xargs tek başına güçlüdür ama sed ve awk ile birleşince gerçek bir metin işleme makinesi haline gelir.

Birden fazla dosyada aynı string’i değiştirmek, örneğin eski bir sunucu IP’sini yenisiyle güncellemek:

grep -rl "10.0.0.1" /etc/nginx/ | xargs sed -i 's/10.0.0.1/10.0.0.2/g'

grep -r recursive arar, -l sadece dosya adlarını döner. Bu liste xargs‘a gelir ve sed -i ile yerinde değiştirir. Bu komutu çalıştırmadan önce -i.bak ile yedek alın:

grep -rl "10.0.0.1" /etc/nginx/ | xargs sed -i.bak 's/10.0.0.1/10.0.0.2/g'

sed -i.bak her değiştirilen dosyanın .bak uzantılı yedeğini oluşturur. Bir şeyler ters giderse:

find /etc/nginx -name "*.bak" | xargs -I {} sh -c 'mv {} $(basename {} .bak)'

awk ile birlikte kullanım örneği: bir CSV dosyasından belirli bir kolonu çekip bu değerlerle işlem yapmak. Sunucu listesi tutan bir CSV’den IP adreslerini alıp her birine ping atmak:

awk -F',' 'NR>1 {print $2}' sunucular.csv | xargs -P 10 -I {} ping -c 1 {} | grep -E "PING|packets"

NR>1 başlık satırını atlar, $2 ikinci kolonu (IP adresi) alır. 10 paralel ping ile hızlı bir erişilebilirlik kontrolü yapılır.

Senaryo 7: Null Ayraç ve Boşluklu Dosya Adları

Bu konuyu özellikle vurgulamak istiyorum çünkü production’da bunu atlamanın bedelini ödedim. “My File With Spaces.log” gibi bir dosya adı, xargs‘ın varsayılan davranışında 5 ayrı argüman olarak işlenir: My, File, With, Spaces.log.

Güvenli yol her zaman:

find . -type f -name "*.log" -print0 | xargs -0 [komut]

Eğer find kullanmıyorsanız ve kendiniz liste oluşturuyorsanız, printf ile null-separated liste üretebilirsiniz:

printf '%s' dosya1.txt "dosya ile boşluk.txt" dosya3.txt | xargs -0 ls -lh

xargs vs find -exec Karşılaştırması

Bu iki yöntem arasında sürekli tartışma olur. Kısa cevap: ikisinin de yeri var.

find -exec ... ; her dosya için ayrı process başlatır. 10.000 dosya için 10.000 process demektir. Yavaş ama bazı durumlarda gereklidir (özellikle her dosya için farklı bir işlem yapılacaksa).

find -exec ... + ise xargs‘a benzer şekilde davranır, birden fazla dosyayı tek komuta toplar. Ama xargs‘ın -P paralel işleme özelliği yoktur.

xargs ise pipeline’ın herhangi bir yerinde kullanılabilir, grep çıktısını işleyebilir, -P ile paralel çalışabilir ve çok daha esnektir. Büyük ölçekli işlemler için xargs neredeyse her zaman kazanır.

Dikkat Edilmesi Gereken Durumlar

Boş girdi sorunu: xargs‘a hiç girdi gelmezse, argümansız komutu çalıştırabilir. rm için bu felaket anlamına gelir:

find . -name "*.tmp" | xargs rm

Eğer find sonuç dönmezse, xargs rm çalışır ve argümansız rm hata verir. Ama bazı komutlar argümansız çalıştığında beklenmedik şeyler yapabilir. Bunu önlemek için:

find . -name "*.tmp" | xargs --no-run-if-empty rm
# ya da kısa hali:
find . -name "*.tmp" | xargs -r rm

-r veya --no-run-if-empty ile girdi boşsa komut hiç çalışmaz.

Argüman listesi uzunluğu: Linux’ta komut satırı argümanlarının toplam uzunluğu için bir limit vardır (ARG_MAX, genellikle 2MB civarı). xargs bunu otomatik olarak yönetir ve gerekirse komutu birden fazla kez çağırır. xargs --show-limits ile sisteminizin limitlerini görebilirsiniz.

Özel karakterler: Dosya adlarında $, ` `, !` gibi karakterler shell yorumlamasından geçebilir. Null-separated yöntem bu sorunların çoğunu çözer.

Pratik Tek Satırlık Çözümler

Günlük işlerde sık kullandığım kombinasyonlar:

# Uzantısız dosyaları bul ve listele
find . -type f ! -name "*.*" | xargs ls -lh

# Belirli bir kullanıcıya ait dosyaları başka kullanıcıya devret
find /data -user eskikullanici -print0 | xargs -0 chown yenikullanici:yenikullanici

# Büyük dosyaları bul ve disk kullanım özetini çıkar
find /var -type f -size +100M -print0 | xargs -0 du -sh | sort -rh

# Git repo'da tüm staged dosyalarda lint çalıştır
git diff --cached --name-only --diff-filter=ACM | grep '.py$' | xargs pylint

# Birden fazla sunucuya aynı anda SSH komutu
cat sunucu_listesi.txt | xargs -P 5 -I {} ssh {} "systemctl restart nginx"

Son örnekte dikkat: SSH bağlantıları için anahtar tabanlı kimlik doğrulama kullanıyorsunuz umarım. Paralel SSH ile şifre soran sistemlerde bu çalışmaz.

Sonuç

xargs, Linux’un en hafife alınan ama en pratik araçlarından biri. Öğrenme eğrisi düşük, kazanımı yüksek bir komut. Temel kullanımı birkaç dakikada kavranabilir ama -P ile paralel işleme, -I ile argüman yerleştirme ve null-separated güvenli kullanım gibi özellikleri gerçekten ustalaştığınızda iş akışlarınız dramatik biçimde değişiyor.

Özetle ne zaman xargs kullanmalısınız:

  • Bir komutun çıktısını, stdin kabul etmeyen başka bir komuta argüman olarak geçirecekseniz
  • Yüzlerce veya binlerce öğe üzerinde toplu işlem yapacaksanız
  • Paralel işleme ile hız kazanmak istiyorsanız
  • find çıktısını işleyecekseniz ve -exec esnekliği yetmiyorsa

Bir sonraki adım olarak parallel komutunu incelemenizi öneririm, xargs -P‘nin daha güçlü bir alternatifi. Ama xargs her sistemde hazır bulunur, ek kurulum gerektirmez ve çoğu durumda ihtiyacınızın fazlasını karşılar. Terminal iş akışlarınıza xargs‘ı ekleyin, birkaç haftada bir daha zor geri dönersiniz.

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir