Robots.txt Olu?turma

*Robots.txt Dosyas? Kullan?m Robotlar? Yölendirme Kontrol* Robots.txt dosyas? arama motorlar? ve örümceklere sitenizdeki dosya ve klasörleri gezip kay?t etmeleri için izin veren ya da engelleyen dosyad?r. Dosya kendi ba??na normal bir text dosyas?ndan farks?zd?r ve basit ?ekilde Notepad ile haz?rlanabilir. Anasayfan?z?n ya da sitenizin bulundu?u ana klasöre koyulmal?d?r. *Neden robots.txt dosyas?na ihtiyac?m var?* Tüm önemli arama motorlar?, sitenize girer girmez öncelikli olarak bir robots.txt dosyas? arar. Sitenizin herhangi bir bölümüne, örümceklerin girmesini istemiyorsan?z ya da girmelerini engellemek istemiyorsan?z bile bir robots.txt dosyas? bulundurmak her zaman için yararl?d?r. Çünkü bu dosya örümcekler için bir kar??lama dosyas?, menü gibi görev yapar. Neden örümcekleri engellemek isteyebilirim? Site henüz tamamlanmam?? olabilir. Ya da henüz tam oalrak bitmemi? sayfalar içeriyor olabilir. Ve bu durumda sitenizin ya da sayfalar?n?z?n yar?m yamalak kay?t edilmesini istemeyebilirsiniz. ?ifrelemeye gerek duymad???n?z ama yine de sizin için özel olan bir içeri?e ya da sitenizde bir bölüme sahip olabilirsiniz ve bunun arama motorlar? taraf?ndan kay?t edilmesini ve aramalarda ç?kmas?n? istemeyebilirsiniz. Hata sayfalar?n?n, cgi-bin gibi klasörlerin ya da te?ekkür etti?iniz, içinde sadece "tamam" gibi k?sa mesajlar bulundurdu?unuz dosya ve klasörlerinizin kay?t edilmesi kimsenin i?ine yaramayacakt?r. Birbirine benzeyen, geçi?li sayfalar?n?z varsa bütün robotlar?n ayn? ?eyi kaydetmesini istemeyebilirsiniz. Bu spam riski do?urabilir. Yer almak istemedi?iniz arama motorlar?ndan ya da e-mail toplayan zararl? örümceklerden robots.txt dosyas? arac?l???yla kurtulabilirsiniz. Robots.txt dosyas? olu?turmak Robots.txt dosyas?n? herhangi bir text editor ya da notepad ile olu?turabilirsiniz. Temelde içeri?i ?u ?ekildedir : User-Agent: [Örümcek ya da Bot ismi] Disallow: [Klasör ya da Dosya ismi] *Robots.txt ile belirli bir dosyay? belirli bir bottan korumak* Mesela "Haberler" diye bir bölüm olu?turuyorsunuz ve henüz tamamlanmadan robotlar?n gelip kay?t etmesini istemiyorsunuz. Bu durumda, hedef tüm robotlar oldu?u için özellikle robot ismi belirtmek yerine y?ld?z i?areti "*" kullanmal?s?n?z. Bu tüm robotlar? kapsayacakt?r. User-Agent: * Disallow: /haberler/ Korudu?unuz bölüm isminin ba??na ve sonuna slah i?areti "/" koyman?z o klasördeki tüm dosyalar? kapsayacakt?r. *Tüm robotlara kay?t izmi vermek* Hedefimiz yine tüm robotlar oldu?u için y?ld?z "*" i?areti kullanarak Disallow bölümünü bo? b?rak?yoruz. User-agent: * Disallow: *Tüm robotlar? dosya ve klasörlerinizden uzak tutmak* Yukar?daki koda çok benzeyen ama ufak bir de?i?ikli?i olan bir kod ile tüm robotlar? dosya ve kalsörlerinizden uzak tutabilir, kay?t etmelerini engelleyebilirsiniz. User-agent: * Disallow: / *Robots.txt ile birden fazla klasör engellemek* Ayarlar? dikkatli bir ?ekilde yapmal?s?n?z. Yoksa istemedi?iniz dosya ve klasörleri kay?t ettirebilir, istediklerinizi engelleyebilirsiniz. Diyelim ki "cgi-bin" klasörünüzün içindeki baz? dosyalar?n kay?t edilmesini istemiyorsunuz. User-agent: * Disallow: /cgi-bin/ Disallow: /_borders/ Disallow: /_derived/ Disallow: /_fpclass/ Disallow: /_overlay/ Disallow: /_private/ Disallow: /_themes/ Disallow: /_vti_bin/ Disallow: /_vti_cnf/ Disallow: /_vti_log/ Disallow: /_vti_map/ Disallow: /_vti_pvt/ Disallow: /_vti_txt/ Her klasör için ayr? bir komut yazmak en verimlisidir. Sadece Altavista örümce?inin girmesini istemedi?imiz klasörümüze, Altavista robotunun ismi olan Scooter ? ekliyoruz. User-Agent: Scooter Disallow: / Google'?n resim dosyalar?m?zdan uzak durmas?n? istiyorsak : User-Agent: Googlebot-Image Disallow: /images/ E?er dosyalar?n?z "images" klasöründe de?il ve da??n?k olarak de?i?ik yerlerdeyse o zaman : User-Agent: Googlebot-Image Disallow: / Ve arkada?lar sizlere robots.txt olu?turabilece?iniz bir site.arama motorlar?n?n yan?ndaki kutuda allowed seçin sonra gerekli yerleri doldurun create deyin yeter. http://mcanerin.com/EN/search-engine/robots-txt.asp Kod: --------- Al?nt?d?r ---------

Bu Kategorideki Diğer Haberler

• kadın kocası ve kaynana :)04 Aug 2008 22:06:58
• Aslan ve Tilki02 Aug 2008 15:19:02
• Büyük Yumurta02 Aug 2008 15:19:23
• Delikanlı Maymun02 Aug 2008 15:19:46
• Roman yazmiŞ02 Aug 2008 15:20:22
• Işıgı Gören Geliyor02 Aug 2008 15:27:37
• Mantıklı yasal veya tersi süper ötesi08 Jul 2008 15:25:03

• Alinin sınıfı okumayan kaçırır08 Jul 2008 15:28:53
• Subaylar calıyor08 Jul 2008 15:31:03
• Cesaret budur08 Jul 2008 15:32:50
• sütçü08 Jul 2008 15:34:37
• 3 saniyelik balik diyaloglari07 Jul 2008 14:09:38
• Öğretmen Tehditleri07 Jul 2008 14:10:37
• Osmanlıca Film İsimleri07 Jul 2008 14:11:32
• Okula Ne İçin Gidiyoruz07 Jul 2008 14:12:25
• temelin askerlik anıları 107 Jul 2008 14:14:00
• Türk sen oku :D06 Jul 2008 12:48:20
• Temel Counter Strike Oynarsa...06 Jul 2008 12:49:47
• saatler geri alınıyo06 Jul 2008 12:50:42
• 50 yıl daha06 Jul 2008 12:53:00
• Dev Fıkra Arşivi05 Jul 2008 13:03:44
• Temel Amerikaya savaş açarsa05 Jul 2008 17:07:39
• Affedersiniz Lazmısınız ?05 Jul 2008 17:08:42
• meraklı şöför05 Jul 2008 17:10:35
• Titanikte Türkler Olsaydi...05 Jul 2008 17:11:55
• rizeyle kayseri savaş yaparlarsa05 Jul 2008 17:12:53
• Öyküler,Güncel Hayattan Paylaşımlar :: RE: Aşk sessiz, sevgi19 Jun 2008 11:25:51
• Kıssadan hisseler :: Lâ Havle;Çekmek20 Jun 2008 15:22:35
• Hangi takımı tutuyosun? NEDEN ?????17 Jun 2008 16:53:43
• 30 yaşına gelmeden mutlaka yap!!!!17 Jun 2008 19:17:28