Nii et mulle määrati heitma pilk meie SEO-le (valdkond, kus mul on küll mõni, kuid mitte hämmastav kompetents) ja esimese asjana märkasin, et meie fail robots.txt ütleb järgmist:

# go away User-agent: * Disallow: / 

Nüüd olen arvutite lugemisel üsna pädev ja nii palju kui oskan öelda, ütleb see, et KÕIK ämblikud ei tohiks juurkataloogis ega allpool MIDAGI vaadata.

Kas ma loen seda õigesti? Sest see tundub lihtsalt meeletu.

Äkki keegi ei tahtnud ämblikuliikluse eest maksta?

Sõltumata sellest, loete seda õigesti:

http://www.robotstxt.org/robotstxt.html

Veebisaitide omanikud kasutavad faili /robots.txt, et veebirobotitele oma saidi kohta juhiseid anda; seda nimetatakse robotite välistamise protokolliks. See töötab järgmiselt: robot soovib veebisaidi URL-i visata, öelge näiteks http://www.example.com/tere.html. Enne seda kontrollib ta kõigepealt veebiaadressi http://www.example.com/robots.txt ja leiab:

 User-agent: * Disallow: / 

The 'User-agent: *' tähendab, et see jaotis kehtib kõigi robotite kohta. The 'Disallow: /' ütleb robotile, et ta ei tohiks saidil ühtegi lehte külastada.

Olen sellise saidi robots.txt saidi esmakordsel väljatöötamisel paika pannud, sest ma ei taha, et Google ja teised indekseeriksid seda enne, kui see valmis on.

Olen ka unustanud seda muuta pärast seda, kui sait on avaldatud. * facepalm *

  • Probleem on selles, et see on sait mitme miljoni dollari suurusele veebidisainiettevõttele, kus töötab üle 35 töötaja ja mis on tegutsenud juba üle 15 aasta!
  • Umm, lämbumine, ROFL

none: Charles Robertson | none