Lai meklētāja robots atrastu visu

Blogos un saitos ir tāds sīks fails robots.txt, kura uzdevums ir kaut paslēpt no meklētāja. Ja šo failu izdzēš, tad meklētājs meklē visu. Ja blogs ir jauns, tad ir vēlme, lai ar meklētāju būtu atrodams viss, kas tajā rakstīts. Blogerim ar stāžu tomer gribētos, lai meklētājs atrod svarīgāko. No vienas puses šķiet, jo vairāk blogā informācijas, jo vairāk tā būs Google. Taču nē, meklētājs no bloga paņem tikai to, kas pirmais gadās pa rokai.

Meklētājs daudz nekur negrib rakties bloga arhīvos, tas izlasa to, kas rakstīts galvenajā lapā un tam ar to pietiek. Arhīva ieraksti ir atrodami tikai tad, ja saite uz tiem kādreiz ir bijusi galvenajā lapā. Un arī tad meklētājs vēlas uzstādīt savu limitu. Tas ir gatavs pieņemt tikai 100 saites, kuras atrodamas pirmajā lapā.
Lai meklētājs atrastu svarīgāko, nevajag pārblīvēt galveno lapu ar visādu drazu un dublētiem linkiem. Ja pirmā lapa ir pārpilna ar liekām saitēm, tam ir domāts fails robots.txt, lai izslēgtu no meklētāja nevajadzīgo.
Ierakstot adreses joslā tādu adresi:
Mana-emuāra-nosaukums.blogspot.com/robots.txt

parādās daži kodi, kuru nozīme nezinātājam ir nesaprotama
Sākotnēji man tur bija rakstīts:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://emuariem.blogspot.com/feeds/posts/default?orderby=UPDATED

Tulkojums ar paskaidrojumiem tur iznāk tāds:
User-agent: Mediapartners-Google ir AdSense reklāmu ievietošanas aģentūra, par kuru rādīšanu savā blogā var dabūt dažus vērtīgus centus.
Neatļaut: ---tukšums--- No AdSense reklāmu ievietošanas konta Googlei ir neierobežota piekļuve visiem bloga ierakstiem. Robots analizē visas lapas, lai noteiktu bloga īsto tematu, par kādu tēmu ievietot reklāmas.
User-agent: Visi meklētāji
Neatļaut: /search - neatļaut meklēt etiķetēs jeb iezīmēs
Atļaut: / Visu pārējo
Lapas karte: http://emuariem.blogspot.com/feeds/posts/default?orderby=UPDATED


Te ir norādīts, ka meklētājiem ir bloķēta pieeja etiķetēm. Tas ir dēļ tā, lai meklētājs nemeklētu etiķetes, kuras parasti mēdz būt pārblīvētas ar atslēgas vārdiem. Te ir jautājums, kāds labums ir no šīm etiķetēm. Tās palīdz meklēt rakstus par vienu tematu. Ja no etiķetēm noņem meklēšanas ierobežojumu, tās var noderēt svarīgu atslēgas vārdu akcentēšanai. Meklētāji ļoti labi indeksē etiķetes un dod tās  meklējumu rezultātos.
Ja no etiķetēm noņem meklēšanas ierobežojumu, tad nekādā gadījumā ar tām nevajag pārforsēt. Būtu vēlams, lai galvenajā būtu atrodamas ne vairāk kā 20 etiķetes ar ļoti svarīgiem atslēgas vārdiem. Labāk izvairīties no etiķešu mākoņiem, jo tie tikai  gremdē kopējos rādītājus meklētājā.
Lai meklātājs atrastu etiķetes, dara tā:
Atver sadaļu pašā lejā: Iestatījumi
Spiež uz vārdu salikuma: Meklēšanas preferences
Atrod rindu zem biedējoša teikuma
Brīdinājums. Izmantojiet šīs funkcijas piesardzīgi. Nepareizas lietošanas gadījumā jūsu emuārs var tikt ignorēts meklētājprogrammās.
Pielāgots fails robots.txt 
Spiež: Labot
Spiež: Jā
Kopē tukšajā laukumā ar Copy Paste metodi to pašu ar
http://(bloga nosaukums).blogspot.com/robots.txt
atrodamo tekstu, kurš parādījās augšējā kreisajā stūrī
kas man bija tāds, bet katram tas var būt nedaudz savādāks
User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://emuariem.blogspot.com/feeds/posts/default?orderby=UPDATED


Nodzēš visu, kas rakstīts aiz Disallow:
šajā gadījumā /search
Te ir sava īpatnība. Lai Google atrastu visu, ir jānodzēš visa rinda līdz Disallow:
Zīme / bez papildus vārdiem kodu valodā nozīmē "viss". Ja atstāj
Disallow: /
tas nozīmē, ka Google nemeklēs neko, jo ir neatļauts viss. Toties
Allow: /
nozīmē, ka ir atļauts meklēt visu. Tur var būt ierakstīts ļoti daudz kas, tās ir kodētas komandas un norādes uz kādām mapēm. Aiz Allow: arī labāk būt tikai zīmei / jo jebkādi ieraksti aiz tās norāda, ka ir atļauts kaut kas, bet ne viss.
Pieredzējis blogeris zinās, ko šajās rindās ierakstīt, lai meklētājs atrastu to, kas viņam ir svarīgākais, bet nemeklētu pārāk personīgas lietas un neaktuālus rakstus. Tas vairāk ir aktuāli tiem, kuriem blogs ir pārpildīts ar rakstiem. Iesācējam ir labāk atļaut meklēt visu, jo nevajadzīgas un slēpjamas lietas vēl nav paspējušas uzkrāties.
Rezultātā iznāk
User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow:
Allow: /

Sitemap: http://emuariem.blogspot.com/feeds/posts/default?orderby=UPDATED
Spiežam Saglabāt izmaiņas
Tagad meklētājam ir noņemts ierobežojums un tas meklēs "visu"
Tomēr nē, ne visu. Ko nozīmē šī rindiņa? Sitemap: http://emuariem.blogspot.com/feeds/posts/default?orderby=UPDATED
Tajā atainojas emuāra rakstu karte, kura tiek izmantota rakstu meklēšanai. Tos rakstus, kuri  iekļūs šajā katalogā, meklētājs meklēs, pārējos nemeklēs. Lai uzzinātu, ko īsti Google atradīs, kopēju saiti http://emuariem.blogspot.com/feeds/posts/default?orderby=UPDATED un atveru to pārlūkā. Google Chrome nez kādēļ ataino tikai HTML kodus. Visveiksmīgāk saite atveras Windows Explorer.
Tur atainojas Atom ziņu lasītājā uzkrājušies 25 pēdējie raksti. Tātad meklētājs atradīs tikai šos rakstus. orderby=UPDATED nozīmē to, ka šajā katalogā atainojas tie raksti, kuri pēdējie laboti. Var izlabot vecu rakstu un tas iekļūs katalogā. Veci nelaboti raksti pamazām pazūd no meklētāja.
Ja nodzēstu šīs saites beigu daļu un atstātu tikai http://emuariem.blogspot.com/feeds/posts/default
tad meklētājs atrastu 25 rakstus ar pēdējiem datumiem.