Kuvatakse kõik minu veebilehed ?mode=grid & ?mode=list google levialas. Kuid esitatud saidikaardil on tavalised URL-id. Näiteks:

  1. example.com/page/?mode=grid
  2. example.com/page/?mode=list
  3. example.com/page/ ---> [URL saidikaardil]

Ja robots.txt-l on käsk Disallow: /*? mis on viinud kõigi veebilehtede blokeerimiseni registrist. Ma ei taha käsku keelata eemaldada. Kuidas saan veebilehti indekseerida, kuvatakse käsu eemaldamine ?mode=grid & ?mode=list Google'i otsingutes. See on ka WordPressi veebisait.

  • 1 Robots.txt-i keelamine ei blokeeri indekseerimist, vaid ainult indekseerimise. Google tavaliselt ei indekseeri URL-e, mida ta ei saa indekseerida, kuid mõnikord siiski
  • Samuti, kui Google ei saa roomata, ei näe ta teie kanoonilist silti. Nii et ta ei tea, et see on vale URL, mida indekseerida.

Kui mõtlete väljaspool kasti, võite oma regulaarse väljendi rakendada robots.txfaili muutuja parameetrite keelamiseks https://example.php/?p=x. Võimalik, et saate filtreerida küsimärgi, mis tähistab teie muutujat robots.txt regexiga failis endas. Ma tegelikult lihtsalt guugeldasin seda ja kuigi robots.txt fail ei luba regexi, tundub, et Google'i robotid lubavad mustrite sobitamist. See võib olla vastus, mida otsite. Vaata https://searchengineland.com/a-deeper-look-at-robotstxt-17573

  • Miks soovitate regexi enne, kui ütlete, et robots.txt neid ei toeta?

none: Charles Robertson | none