Aşağıdaki makale size yardımcı olacaktır:Shopify Robots.txt Nasıl Düzenlenir (2023)
Bir e-ticaret sitesinde çalışıyorsanız, robots.txt dosyası sitenizin SEO’sunun en büyük temel öğelerinden biridir. E-ticaret siteleri genellikle Web’deki çoğu siteden çok daha büyüktür ve ayrıca sitenin boyutunu katlanarak artırabilecek yönlü gezinme gibi özellikler içerir. Bu, bu sitelerin Google’ın sitelerini nasıl taradığını daha sıkı kontrol edebilmesi gerektiği anlamına gelir. Bu, bu sitelerin tarama bütçesini yönetmesine ve düşük kaliteli sayfaların Googlebot tarafından taranmasını önlemesine yardımcı olur.
Bununla birlikte, Shopify söz konusu olduğunda, robots.txt uzun süredir SEO topluluğunun bir sıkıntısı olmuştur. Yıllardır en büyük hayal kırıklıklarından biri Shopify SEO’su robots.txt üzerinde kontrol eksikliği olmuştur. Bu, platformun aşağıdakiler gibi diğerlerine kıyasla çalışmasını daha zor hale getirdi: Magento için SEO, kullanıcıların robots.txt dosyasını her zaman kolayca düzenleyebildiği yer. Varsayılan robots.txt, tarayıcıları engelleme konusunda harika bir iş çıkarsa da, bazı siteler bu dosyada ayarlamalar yapılmasını gerektirir. Platformu daha fazla site kullanmaya başladıkça, Shopify kullanan sitelerin robots.txt kullanarak daha fazla tarama müdahalesi gerektirerek daha büyük ve daha sağlam hale geldiğini görüyoruz.
Neyse ki Shopify, platformlarının deneyimini iyileştirme konusunda harika bir iş çıkarıyor. Haziran 2021 itibarıyla Shopify, artık şunları yapabileceğinizi duyurdu: siteniz için robots.txt dosyasını özelleştirin:
Kullanıcı aracısı: herkes
İzin vermek: /
Bugünden itibaren, arama motoru botlarının mağazanızı nasıl gördüğü konusunda tam kontrole sahipsiniz. #shopifyseohttps://t.co/Hz9Ijj5h1y
— Tobi Lutke (@tobi) 18 Haziran 2021
Bu, yıllardır dosyayı ayarlamak için yalvaran SEO’lar ve Shopify mağaza sahipleri için çok büyük bir haber. Ayrıca, Shopify’ın SEO’ların kendilerine verdiği geri bildirimleri dinlediğini ve platformu bir arama açısından iyileştirmek için adımlar attığını gösterir.
Artık dosyayı düzenleyebileceğinizi bildiğimize göre, bu ayarlamaları nasıl yapacağınız ve yapmayı düşünebileceğiniz durumlar hakkında konuşalım.
Shopify Robots.txt Nedir?
Shopify robots.txt, arama motorlarına sitenizde hangi URL’leri tarayabilecekleri konusunda talimat veren bir dosyadır. En yaygın olarak, robots.txt dosyası, arama motorlarının taranmaması gereken düşük kaliteli sayfaları bulmasını engelleyebilir. Shopify robots.txt, robots.txt.liquid adlı bir dosya kullanılarak oluşturulur.
Shopify’ın Varsayılan Robots.txt Dosyası Neleri Engeller?
Alışılmışın dışında Shopify sitenize bakarken bir robots.txt dosyasının zaten yapılandırılmış olduğunu fark edebilirsiniz. Bu dosyayı şuraya giderek bulabilirsiniz:
Bu robots.txt dosyasında, zaten çok sayıda önceden yapılandırılmış kural olduğunu göreceksiniz.
Bu kuralların büyük çoğunluğu, arama motorlarının gereksiz sayfaları taramasını engellemek için kullanışlıdır. Varsayılan Shopify robots.txt dosyasındaki en önemli kurallardan bazıları aşağıda verilmiştir:
- Dahili site aramasını engeller
- Alışveriş Sepeti sayfasını engeller
- – Ödeme sayfasını engeller
- – Hesap sayfasını engeller
- İzin verme: /koleksiyonlar/*++ – Çok yönlü gezinme tarafından oluşturulan yinelenen kategori sayfalarını engeller
- – sitemap.xml bağlantısına başvurur
Genel olarak, Shopify’ın varsayılan kuralları, çoğu site için düşük kaliteli Web sayfalarının taranmasını engelleme konusunda oldukça iyi bir iş çıkarır. Aslında, Shopify mağazası sahiplerinin çoğunun robots.txt dosyasında herhangi bir düzenleme yapması gerekmez. Varsayılan yapılandırma, çoğu durumu işlemek için yeterli olmalıdır. Shopify sitelerinin çoğu genellikle daha küçük olma eğilimindedir ve tarama kontrolü çoğu için büyük bir sorun değildir.
Tabii ki, Shopify platformunu daha fazla site benimsedikçe, bu web sitelerinin giderek büyüdüğü anlamına geliyor. Ayrıca, varsayılan robots.txt kurallarının yeterli olmadığı, özel yapılandırmalara sahip daha fazla site görüyoruz.
Shopify’ın mevcut kuralları çoğu durumda muhasebeleştirme konusunda iyi bir iş çıkarsa da bazen mağaza sahiplerinin robots.txt dosyasını sitelerine uyarlamak için ek kurallar oluşturması gerekebilir. Bu, bir robots.txt.liquid dosyası oluşturup düzenleyerek yapılabilir.
Shopify Robots.txt.liquid’i Nasıl Oluşturursunuz?
Mağazanızda aşağıdaki adımları gerçekleştirerek Shopify robots.txt.liquid dosyasını oluşturabilirsiniz:
- Shopify yönetici sayfanızın sol kenar çubuğunda Online Mağaza > Temalar’a gidin
- Eylemler > Kodu düzenle’yi seçin
- “Şablonlar” altında, “Yeni bir şablon ekle” bağlantısını tıklayın
- En soldaki açılır menüyü tıklayın ve “robots.txt”yi seçin
- “Şablon oluştur”u seçin
Ardından, düzenleyicide Shopify robots.txt.liquid dosyasının açık olduğunu görmelisiniz:
Shopify Robots.txt Dosyasını Nasıl Düzenlersiniz?
Kural Ekleme
Shopify robots.txt dosyasına bir kural eklemek isterseniz robots.txt.liquid dosyasına ek kod blokları ekleyerek bunu yapabilirsiniz.
Örneğin, Shopify siteniz dahili arama işlevi için /search-results/ kullanıyorsa ve bunu robots.txt ile engellemek istiyorsanız aşağıdaki komutu ekleyebilirsiniz:
Birden çok dizini (/search-results/ & /private/) engellemek istiyorsanız, dosyaya aşağıdaki iki bloğu eklersiniz:
Bu, Shopify robots.txt dosyanızda şu satırların doldurulmasına izin vermelidir:
Potansiyel Kullanım Durumları
Standart robots.txt dosyasının genellikle çoğu site için yeterli olduğunu bilerek, siteniz hangi durumlarda Shopify’ın robots.txt.liquid dosyasını düzenlemekten fayda sağlar? Sizinkini ayarlamayı düşünmek isteyebileceğiniz daha yaygın durumlardan bazıları aşağıda verilmiştir:
Dahili Site Araması
SEO için genel bir en iyi uygulama, robots.txt yoluyla bir sitenin dahili aramasını engellemektir. Bunun nedeni, kullanıcıların bir arama çubuğuna girebilecekleri sonsuz sayıda sorgu olmasıdır. Google bu sayfaları taramaya başlayabilirse, dizinde çok sayıda düşük kaliteli arama sonucu sayfasının görünmesine neden olabilir.
Neyse ki Shopify’ın varsayılan robots.txt dosyası, aşağıdaki komutla standart dahili aramayı engeller:
Ancak birçok Shopify sitesi, Shopify’ın varsayılan dahili aramasını kullanmaz. Birçok Shopify sitesinin sonunda uygulamaları veya diğer dahili arama teknolojilerini kullandığını görüyoruz. Bu, dahili aramanın URL’sini sık sık değiştirir. Bu olduğunda siteniz artık Shopify’ın varsayılan kuralları tarafından korunmaz.
Örneğin, bu sitede dahili arama sonuçları, yolunda /pages/search bulunan URL’lerde oluşturulur:
Bu, bu dahili arama URL’lerinin Google tarafından taranmasına izin verildiği anlamına gelir:
Bu web sitesi, Google’ın /pages/search dizinini taramasını engelleyen özel komutlar eklemek için Shopify’ın robots.txt kurallarını düzenlemeyi düşünebilir.
Yönlü Navigasyonlar
Sitenizde çok yönlü gezinme varsa Shopify robots.txt dosyanızı ayarlamayı düşünebilirsiniz. Yönlü gezinme, kategori sayfalarında uygulayabileceğiniz filtreleme seçenekleridir. Genellikle sayfanın sol tarafında bulunurlar. Örneğin, bu Shopify sitesi, kullanıcıların ürünleri renge, bedene, ürün türüne ve daha fazlasına göre filtrelemesine olanak tanır:
“Siyah” ve “Sarı” renk filtrelerini seçtiğimizde “?color” parametresine sahip bir URL’nin yüklendiğini görebiliriz:
Shopify’ın varsayılan robots.txt dosyası, çok yönlü bir gezinmenin oluşturabileceği sayfa yollarını engelleme konusunda iyi bir iş çıkarsa da maalesef her bir kullanım durumunu hesaba katamaz. Bu örnekte, Google’ın sayfayı taramasına izin verecek olan “renk” engellenmez.
Bu, Shopify’da robots.txt ile sayfaları engellemeyi düşünebileceğimiz başka bir örnek olabilir. Bu yönlü gezinme URL’lerinin büyük bir kısmı taranabileceğinden, daha düşük kaliteli/benzer sayfaların taranmasını azaltmak için birçoğunu engellemeyi düşünebiliriz. Bu site, çok yönlü gezinmede engellemek istedikleri tüm parametreleri (boyut, renk) belirleyebilir ve ardından robots.txt dosyasında gezinmelerini engellemek için kurallar oluşturabilir.
Gezinmeyi Sıralama
Yönlü gezinme işlevlerine benzer şekilde, birçok e-Ticaret sitesi kategori sayfalarında sıralama içerir. Bu sayfalar, kullanıcıların kategori sayfalarında sunulan ürünleri farklı bir sırayla görmelerini sağlar (Fiyat: düşükten yükseğe, En alakalı, Alfabetik vb.).
Bunun yarattığı sorun, orijinal kategori sayfasının yalnızca varyasyonları olduklarından, ancak ürünlerin farklı bir sırada yer aldığından, bu sayfaların yinelenen/benzer içerik içermesidir. Aşağıda, “Alphabetically, AZ” seçildiğinde, ürünleri alfabetik olarak sıralayan parametreleştirilmiş bir URL’nin nasıl oluşturulduğunu görebilirsiniz. Bu URL, sonuna eklenen “?q” parametresini kullanır:
Elbette bu, taranması ve dizine eklenmesi gereken benzersiz bir URL değildir, çünkü orijinal kategori sayfasıyla aynı ürünler farklı bir düzende sıralanmıştır. Bu Shopify sitesi, tüm “?q” URL’lerinin taranmasını engelleyen bir robots.txt kuralı eklemeyi düşünebilir.
Çözüm
Shopify’ın robots.txt.liquid dosyası, SEO’ların sitelerinin taranması üzerinde daha önce sahip olduklarından çok daha fazla kontrole sahip olmalarını sağlar. Çoğu site için Shopify’ın varsayılan robots.txt dosyası, arama motorlarını istenmeyen alanlardan uzak tutmak için yeterli olsa da, sizin için önemli bir durumun geçerli olduğunu fark ederseniz bu dosyada ayarlamalar yapmayı düşünebilirsiniz. Genel olarak, mağazanız ne kadar büyükse ve ne kadar çok özelleştirme yaparsanız, robots.txt dosyasında ayarlamalar yapmak isteme olasılığınız o kadar artar. robots.txt veya Shopify SEO ajansı hizmetleri hakkında herhangi bir sorunuz varsa, bize ulaşmaktan çekinmeyin!
Diğer Shopify SEO Kaynakları
Chris Long Hakkında
Chris Long, Go Fish Digital’de Pazarlamadan Sorumlu Başkan Yardımcısıdır. 9 yılı aşkın deneyimiyle Chris, Google’ın algoritması ve web teknolojisine ilişkin derin bir anlayışla müşterilerin organik trafiği iyileştirmelerine yardımcı olmak için benzersiz sorunlar ve gelişmiş arama durumları üzerinde çalışır. Chris, GEICO, Adobe ve The New York Times gibi müşteriler için arama stratejileri konusunda tavsiyelerde bulundu. Moz, Search Engine Land ve Search Engine Journal’a katkıda bulunmaktadır. Ayrıca SMX East ve BrightonSEO gibi endüstri konferanslarında konuşmacıdır.
