Kā optimizēt savu WordPress Robots.txt SEO

/

Nesen viens no mūsu lasītājiem jautāja mums padomus, kā optimizēt failu robots.txt, lai uzlabotu SEO. Robots.txt fails meklētājprogrammām norāda, kā pārmeklēt jūsu vietni, kas padara to par neticami spēcīgu SEO rīku. Šajā rakstā mēs parādīsim, kā izveidot perfektu robots.txt failu SEO.

WordPress faila robots.txt izmantošana SEO uzlabošanai

Kas ir fails robots.txt?

Robots.txt ir teksta fails, kuru vietņu īpašnieki var izveidot, lai meklētājprogrammu robotiem norādītu, kā pārmeklēt un indeksēt savas vietnes lapas.

Parasti tas tiek glabāts saknes direktorijā, kas pazīstams arī kā jūsu vietnes galvenā mape. Robots.txt faila pamatformāts izskatās šādi:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]

User-agent: [user-agent name]
Allow: [URL string to be crawled]

Sitemap: [URL of your XML Sitemap]

Jums var būt vairākas instrukciju rindas, lai atļautu vai neatļautu noteiktus URL un pievienotu vairākas vietnes kartes. Ja jūs neatbrīvojat URL, meklētājprogrammu roboti pieņem, ka viņiem ir atļauts to pārmeklēt.

Lūk, kā var izskatīties robots.txt faila piemērs:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

Iepriekš minētajā robots.txt piemērā mēs esam ļāvuši meklētājprogrammām pārmeklēt un indeksēt failus mūsu WordPress augšupielāžu mapē.

Pēc tam mēs esam aizlieguši meklēšanas robotus pārmeklēt un indeksēt spraudņus un WordPress administratora mapes.

Visbeidzot, mēs esam norādījuši mūsu XML vietnes kartes URL.

Vai jūsu WordPress vietnei ir nepieciešams fails Robots.txt?

Ja jums nav faila robots.txt, meklētājprogrammas joprojām pārmeklēs un indeksēs jūsu vietni. Tomēr jūs nevarēsit meklētājprogrammām pateikt, kuras lapas vai mapes viņiem nevajadzētu pārmeklēt.

Tam nebūs lielas ietekmes, kad pirmo reizi izveidosiet blogu, un jums nebūs daudz satura.

Tomēr, pieaugot jūsu vietnei un jums ir daudz satura, jūs, iespējams, vēlētos labāk kontrolēt, kā jūsu vietne tiek pārmeklēta un indeksēta.

Lūk, kāpēc.

Meklēšanas robotiem katrai vietnei ir pārmeklēšanas kvota.

Tas nozīmē, ka pārmeklēšanas sesijas laikā viņi pārmeklē noteiktu skaitu lapu. Ja viņi nepabeigs pārmeklēt visas jūsu vietnes lapas, viņi atgriezīsies un atsāks rāpošanu nākamajā sesijā.

Tas var palēnināt jūsu vietņu indeksēšanas līmeni.

To var novērst, neļaujot meklēšanas robotiem mēģināt pārmeklēt nevajadzīgas lapas, piemēram, WordPress administratora lapas, spraudņu failus un šablonu mapi.

Neļaujot nevajadzīgām lapām, jūs saglabājat pārmeklēšanas kvotu. Tas palīdz meklētājprogrammām pārmeklēt vēl vairāk lapu jūsu vietnē un pēc iespējas ātrāk indeksēt tās.

Vēl viens labs iemesls faila robots.txt izmantošanai ir tas, ka vēlaties pārtraukt meklētājprogrammu rādītāju vietnē vai lapā.

Tas nav drošākais veids, kā paslēpt saturu no plašas sabiedrības puses, taču tas palīdzēs novērst tā parādīšanos meklēšanas rezultātos.

Kā jāizskatās ideālam failam Robots.txt?

Daudzos populāros blogos tiek izmantots ļoti vienkāršs fails robots.txt. To saturs var atšķirties atkarībā no konkrētās vietnes vajadzībām:

User-agent: *
Disallow:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Šis robots.txt fails ļauj visiem robotiem indeksēt visu saturu un nodrošina viņiem saiti uz vietnes XML vietnes kartēm.

WordPress vietnēm failā robots.txt ieteicams izmantot šādus noteikumus:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Tas norāda meklēšanas robotiem indeksēt visus WordPress attēlus un failus. Tas neļauj meklēšanas robotiem indeksēt WordPress spraudņu failus, WordPress administratora apgabalu, WordPress readme failu un saistītās saites.

Pievienojot vietnes kartes failam robots.txt, Google robotiem ir viegli atrast visas jūsu vietnes lapas.

Tagad, kad jūs zināt, kā izskatās ideāls fails robots.txt, apskatīsim, kā WordPress varat izveidot robots.txt failu.

Kā izveidot robots.txt failu WordPress?

Ir divi veidi, kā izveidot failu robots.txt WordPress. Jūs varat izvēlēties sev piemērotāko metodi.

1. metode: Robots.txt faila rediģēšana, izmantojot Yoast SEO

Ja izmantojat Yoast SEO spraudni, tam ir pievienots robots.txt failu ģenerators.

To var izmantot, lai izveidotu un rediģētu failu robots.txt tieši no WordPress administratora apgabala.

Vienkārši dodieties uz SEO »rīku lapu savā WordPress administratorā un noklikšķiniet uz saites Failu redaktors.

Failu redaktora rīks Yoast SEO

Nākamajā lapā Yoast SEO lapa parādīs jūsu esošo robots.txt failu.

Ja jums nav faila robots.txt, Yoast SEO jums ģenerēs robots.txt failu.

Izveidojiet robots.txt failu, izmantojot Yoast SEO

Pēc noklusējuma Yoast SEO faila ģenerators robots.txt failam robots.txt pievienos šādus noteikumus:

User-agent: *
Disallow: /

Ir svarīgi izdzēst šo tekstu, jo tas neļauj visām meklētājprogrammām pārmeklēt jūsu vietni.

Pēc noklusējuma teksta dzēšanas varat turpināt un pievienot savus robots.txt noteikumus. Mēs iesakām izmantot ideālo robots.txt formātu, kuru mēs kopīgojām iepriekš.

Kad esat pabeidzis, neaizmirstiet noklikšķināt uz pogas Saglabāt failu robots.txt, lai saglabātu izmaiņas.

2. metode. Rediģējiet failu Robots.txt manuāli, izmantojot FTP

Lai izmantotu šo metodi, faila robots.txt rediģēšanai būs jāizmanto FTP klients.

Vienkārši izveidojiet savienojumu ar savu WordPress hostingss kontu, izmantojot FTP klientu.

Iekļūstot tajā, jūs varēsiet redzēt robots.txt failu savas vietnes saknes mapē.

WordPress faila robots.txt rediģēšana, izmantojot FTP

Ja jūs to neredzat, visticamāk, jums nav faila robots.txt. Tādā gadījumā jūs varat vienkārši izveidot un izveidot.

Izveidojiet failu robots.txt, izmantojot FTP

Robots.txt ir vienkārša teksta fails, kas nozīmē, ka jūs varat to lejupielādēt savā datorā un rediģēt, izmantojot jebkuru vienkārša teksta redaktoru, piemēram, Notepad vai TextEdit.

Pēc izmaiņu saglabāšanas varat tos augšupielādēt savas vietnes saknes mapē.

Kā pārbaudīt failu Robots.txt?

Kad esat izveidojis failu robots.txt, vienmēr ieteicams to pārbaudīt, izmantojot testēšanas rīku robots.txt.

Tur ir daudz robots.txt testēšanas rīku, taču mēs iesakām to izmantot Google Search Console.

Vienkārši piesakieties savā Google Search Console kontā un pēc tam pārslēdzieties uz veco Google meklēšanas konsoles vietni.

Pārslēdzieties uz veco Google Search Console

Tādējādi jūs nokļūsiet vecajā Google Search Console saskarnē. No šejienes jums jāpalaiž robots.txt testētāja rīks, kas atrodas izvēlnē Rāpošana.

Robots.txt testera rīks

Rīks automātiski ielādēs jūsu vietnes robots.txt failu un izceļ kļūdas un brīdinājumus, ja tādi ir atrasti.

Pēdējās domas

Robots.txt faila optimizācijas mērķis ir novērst meklētājprogrammām rāpuļprogrammu lapās, kuras nav publiski pieejamas. Piemēram, lapas jūsu mapē wp-plugins vai lapas jūsu WordPress administratora mapē.

SEO ekspertu vidū izplatīts mīts ir tāds, ka WordPress kategorijas, tagu un arhīvu lapu bloķēšana uzlabos pārmeklēšanas ātrumu, kā arī ātrāku indeksēšanu un augstāku klasifikāciju.

Tā nav taisnība. Tas ir arī pretrunā ar Google tīmekļa pārziņa vadlīnijām.

Mēs iesakām ievērot iepriekš minēto robots.txt formātu, lai savai vietnei izveidotu robots.txt failu.

Mēs ceram, ka šis raksts jums palīdzēja uzzināt, kā optimizēt savu WordPress robots.txt failu SEO. Jūs varētu arī vēlēties redzēt mūsu galveno WordPress SEO ceļvedi un labākos WordPress SEO rīkus, lai jūsu vietne augtu.

Nepieciešāma palidzība ar WordPress? Sazinieties tagad
[email protected]

Tā ir oriģinālās publikācijas wpbeginner tulkojums, viss tā saturs, bildes un autortiesības pieder to autoriem

Kā pievienot satura bloķēšanu WordPress

Vai vēlaties pievienot satura bloķēšanu savā WordPress vietnē? Daudzās vietnēs tiek izmantota satura bloķēšana, lai palielinātu potenciālo klientu veidošanu, palielinātu pārdošanas apjomu vai izveidotu e-pasta sarakstu. Šajā rakstā mēs jums

Kā instalēt un iestatīt WordPress daudzvietņu tīklu

Vai vēlaties iestatīt un instalēt WordPress daudzvietņu tīklu? WordPress nāk ar iebūvētu iespēju izveidot vairākas vietnes, izmantojot to pašu WordPress instalāciju. WordPress daudzvietņu tīklu izmanto blogi, skolas un uzņēmumi, kuriem ir jāizveido

Kā izlabot pielāgotos laukus, kas netiek parādīti WordPress

Vai jūs savā WordPress vietnē nevarat atrast pielāgoto lauku opciju? Pielāgotais lauks ir iepriekšēja WordPress funkcija, kas palīdz pievienot pielāgotu saturu jūsu WordPress ziņām un lapām, ievērojot dažādas WordPress apmācības. Šajā rakstā

Kā viegli izveidot T-kreklu veikalu WordPress

Nesen viens no mūsu lasītājiem jautāja, vai WordPress ir iespējams pievienot automatizētu T-kreklu veikalu. Ideālā gadījumā risinājums, kurā jūs vienkārši augšupielādējat dizainu, un pārējo procesu (drukāšanu, piegādi utt.) Risina kāds cits.