SEO Uyumlu Robots.txt Oluşturma

WPCİNSEO1 Yorum

Robots.txt dosyasını optimize etmek istiyor musunuz? Bu dosyanın SEO için neden ve nasıl önemli olduğunu merak mı ediyorsunuz? Bu makalede, WordPress SEO uyumlu robots.txt dosyası nasıl yapılır anlatacağız.

Robots.txt Nedir?

Robots.txt web sitenizin arama motorları tarafında genel SEO performansında önemli bir rol oynamaktadır. Temel olarak arama motorlarıyla iletişim kurmanıza ve sitenizin hangi bölümlerinin dizine eklemelerini gerektiğini bildirmenize izin verir. Kısaca robotlar ile iletişim kurma aracıdır.

Robots.txt Ne işe Yarar?

Bir robots.txt dosyası, arama motorlarının belirli dosya ve klasöre erişmesini engellemenize izin veren sitenizdeki bir dosyadır. Google’ın (ve diğer arama motorları) botlarının sitenizdeki belirli sayfaları taramasını engellemek için kullanabilirsiniz.

Bir robots.txt dosyasının olmaması arama motorlarının web sitenizi taramasını ve dizine eklemesini durdurmaz. Fakat, bu dosyayı oluşturmanız şiddetle tavsiye edilir.

Belki de ilk defa duyacaksınız, sitenizin XML site haritasını arama motorlarına göndermek istiyorsanız, arama motorlarının Google Web Yöneticisi Araçları’nda belirtmediğiniz sürece XML site haritanızı arayacağı yer bu dosyadır.

Sitenizdeki sayfaların sayısı arttıkça Google’ın taradığı sayfa sayısı da o kadar artar.

Örneğin, blogunuzda bir sürü kategori ve etiket sayfası varsa, bu sayfalar düşük kaliteye sahip olup arama motorları tarafından taranmasına gerek yoktur.

Tarama bütçesi önemlidir, çünkü Google’ın sitenizin değişikliklerini nasıl hızla aldığı ve böylece sıralamanızın ne kadar hızlı yapıldığı belirlenir. Özellikle e-ticaret siteleri için olmazsa olmazlardandır.

Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt genellikle sitenizin kök klasöründe bulunur. Sitenize bir FTP istemcisi kullanarak bağlanmanız veya görüntülemek için cPanel dosya yöneticisi kullanarak bağlamanız gerekecektir.

Bu, normal bir metin dosyasına benzer ve not defteri gibi düz metin düzenleyicisi ile de açabilirsiniz.

Sitenizin kök dizininde bir robots.txt yoksa, her zaman bir tane oluşturabilirsiniz. Tek yapmanız gereken, bilgisayarınızda yeni bir metin dosyası oluşturup adını robots.txt olarak kaydetmek. Sonra, bu dosyayı sitenizin kök klasörüne yükleyin.

Robots.txt Kullanımı

Robots.txt dosyası kullanımı oldukça basittir. İlk satır genellikle bir kullanıcı aracını belirtir. Kullanıcı aracı aslında iletişim kurmaya çalıştığınız arama botunun adıdır. Örneğin, Googlebot veya Bingbot. Tüm botlara talimat vermek için yıldız * kullanabilirsiniz.

Bir sonraki satır arama motorları için İzin Ver(Allow) veya İzin Verme(Disallow) yönergeleri ile birlikte gelir; bu nedenle, hangi bölümlerin dizine eklenmesini istediğinizi ve hangilerinin dizine eklenmesini istemediğinizi bu şekilde belirteceğiz.

Örnek robots.txt dosyasına bakalım:

Örnek Robots.txt Dosyası

Örnek Robots.txt Dosyası

WordPress için bu örnek robots.txt dosyasında, tüm botların sitemizi indexlemesine izin verdik. İkinci satırda wp-admin klasörüne girmelerine izin vermedik. Üçüncü satırda ise wp-admin içerisinde ki admin-ajax dosyasına izin verdik.

1- SEO için Robots.txt Dosyasını Optimize Etme

Web yöneticileri için yönergelerde Google, webmasterlara düşük kaliteli içeriği gizlemek için robots.txt kullanmamalarını önerir. Google’ın kategorinizi, tarihini ve diğer arşiv sayfalarını dizine eklemesini durdurmak için robots.txt kullanmayı düşünüyorsanız akıllıca bir seçim olmayabilir.

Unutmayın robots.txt amacı, botlara sitenizde taradıkları içerikle ilgili ne yapılacağını öğretmektir. Bu, botların web sitenizi taramasını durdurmaz.

Arşiv sayfalarınızda nofollow ve noindex gibi meta etiketler eklemenize izin veren diğer WordPress eklentileri vardır. WordPress YOAST SEO eklentisi de bunu yapmanıza izin verir. Arşiv sayfalarınızın indexlenmesini engellemek için yapmanız gereken aşağıdaki gibi olmalıdır. Diğer alanların da indexlenmesini istemiyorsanız yoast seo noindex ayarlarını kullanabilirsiniz.

Yoast Seo Arşiv Ayarları

Yoast Seo Arşiv Ayarları

Robots.txt dosyanızdaki readme.html dosyasına izin vermemenizi öneririz. Bu “Beni oku” dosyası, WordPress’in hangi sürümünü kullandığınızı anlamaya çalışan birisi tarafından kullanılabilir.

Öte yandan, birisi belirli bir sürümü kullanarak WordPress sitelerini bulmak için kötü amaçlı bir sorgu çalıştırıyorsa, bu izin verme(disallow) etiketi sizi bu toplu saldırılardan koruyabilir.

2- Robots.txt’e Site Haritası Ekleme

Yoast’ın WordPress SEO eklentisini veya XML site haritanızı oluşturmak için başka bir eklenti kullanıyorsanız, eklentiniz otomatik olarak sitemap’inizle ilgili satırları robots.txt dosyasına eklemeye çalışacaktır.

Eklentiniz XML Site Haritalarınıza olan bağlantıyı gösterecek. Ancak başarısız olursa, bu URL’yi robots.txt dosyanıza manuel olarak ekleyebilirsiniz:

3- Örnek Robots.txt dosyası nasıl olmalı?

Robots.txt içeriği, sitenizin ihtiyaçlarına göre değişir ama genel olarak en çok kullanılanı aşağıdaki gibidir.

Bu robots.txt dosyası, tüm botlara tüm içeriği dizine eklemesini söyler ve sitenin XML site haritasına bağlantıları sağlar.

Başka bir robots.txt örneği:

Bu makalenin, SEO için WordPress robots.txt oluşturma işlemini öğrenmenize yardımcı olmasını umuyoruz.

İlginizi Çekecek Benzer Yazılar

Google Botlarının İndexlemesini Önlemek Bazen gizliliği korumak için bazen kullanıcıları uzak tutmak ve ulaşmalarını engellemek için bir sayfayı / yazıyı gizlemeniz gerebilir. Google indexle...
Küçük İşletmeler İçin Online Pazarlama Teknikleri Düşük bir bütçeyle küçük bir işletme çalıştıyorsanız, kendinizi nasıl pazarlayacağınız konusunda önceden planlama yapmanız. Bunun nedeni, gelir ve büy...
Hosting SEO’yu Etkiler mi? SEO Uyumlu Hosting Nasıl Olmalı? Hosting ve domain, bir web sitesinin altyapısını oluşturan en önemli iki faktördür. Web sitenizin tasarımını veya içeriğini seçmeden önce, Google aram...
WordPress SSL Kurulumu – HTTP’yi HTTPS’ye Yönlendirm... Her gün, kişisel bilgilerinizi farklı web siteleri ile paylaşıyor ya da bir satın alma işlemi yapıyor ya da sadece giriş yapıyor olabilirsiniz. Bu yüz...
1 Yorum “SEO Uyumlu Robots.txt Dosyası Oluşturma”

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir