Vay arkadaş, 'Taranmadı: Keşfedilmedi' mi? google'ın da bazen Kör göze parmak misali davrandığı anlar oluyor işte. Sanki sitenin büyüklüğüne göre bir lütuf dağıtıyor da, senin sayfan o sıraya giremiyor gibi. 'Ben site haritası gönderdim, neyime yetmiyor?' diye hayıflanmakta haklısın, ama Google'ın kendine göre bir Düzenin çarkı var, o çarkı doğru yağlamak lazım.
Şimdi şöyle bir düşünelim: Senin siten devasa bir kütüphane gibi. Googlebot da bu kütüphaneye giren bir araştırmacı. Eğer kütüphanenin her yerinde yığınla eski gazete, yırtık pırtık dergiler varsa, araştırmacı yeni çıkan, değerli kitaba ulaşana kadar epey bir vakit kaybeder. İşte o gereksiz sayfalar, eski ürünler, bitmiş kampanyalar... Bunlar Googlebot'un Önünde dağ gibi duran engeller. Ya bunları kaldıracaksın (410 Gone), ya da Google'a 'buraya bakma' diyeceksin (noindex). Yoksa Googlebot, boşu boşuna oralarda dolanıp, asıl işini yapmaya fırsat bulamıyor.
Bir de şu var: Googlebot da insan gibi, yani bir nevi yapay zeka da olsa, Gözden ırak olan gönülden de ırak olur misali çalışıyor. Yeni eklediğin içeriği sitenin taa dip köşesine saklarsan, ona ulaşacak yeterli iç bağlantı vermezsen, Googlebot'un onu keşfetmesi zorlaşır. Düşünsene, yeni bir ürünün var ama ana sayfada, ilgili kategorilerde, hatta popüler blog yazılarında ona hiç atıfta bulunmuyorsun. E Google da haklı olarak 'Demek ki çok önemli değil' diye düşünüyor. O yüzden yeni ve önemli içeriklerine sitenin en güçlü sayfalarından bol bol link ver ki, Google da 'Ha, burada önemli bir şey var!' desin ve Koşa koşa gelsin.
Son olarak, site hızın da çok önemli. Googlebot senin sitene her geldiğinde belirli bir 'mesai' harcıyor. Eğer siten yavaşsa, her sayfayı taraması uzun sürer ve mesai bittiğinde daha az sayfa taramış olur. Yani bir nevi Ayağını yorganına göre uzatmak gibi. Hızlı yüklenen bir site, Googlebot için daha verimli bir ziyaret demek. O yüzden sunucu hızından görsel optimizasyonuna kadar her şeye dikkat etmelisin. Yoksa Google da senin gibi 'Ay ne ağır siteymiş, sonra gelirim ben' deyip giderse, içeriklerin keşfedilmeyi bekler durur. Hadi bakalım, kolay gelsin!