Semalt forklarer, hvorfor man skal blokere Bots og webcrawlere

Det er sikkert at sige, at en masse synspunkter, der kommer til dit websted, er fra ikke-menneskelige og ikke-ægte kilder, og det er ikke ok, fordi du er nødt til at slippe af med det, hvis du vil se dit websted vokse hele livet. Hvis du føler, at bottrafikken er god og pålidelig, begår du en stor fejl, da det kan føre til, at Google deaktiverer din AdSense-konto. Oftest er botterne synlige som menneskelig trafik i Google Analytics, men det var ikke tilfældet for måneder siden. I disse dage er mere end 70 procent af trafikken genereret af små websteder fra bots og falske kilder. Max Bell, Semalt- eksperten, advarer dig om, at bots altid prøver at komme til dit websted på mange måder, og det er måske ikke muligt for dig at slippe af med dem.

Gode bots

Et betydeligt antal bots, der besøger dine websteder, er intet andet end falske og ubrugelige; selv de er nyttige til dine websider, hvis de kommer i en lille mængde. Nogle af de gode bots bruges f.eks. Af Google selv til at opdage nyt indhold online. Næsten alle søgemaskiner bruger gode bots til at identificere kvaliteten af artikler. Den måde, de fastlægger kvaliteten på, er blevet ændret, nu tager de anvendelse af de massive swarm-softwaretjenester. Sværmene følger links, hopper fra et sted til et andet og indekserer nyt og ændret indhold. Google-bots er komplicerede med dybe sæt regler, der kan styre deres adfærd. For eksempel gør NoFollow-kommandoen på linkene dem mindre effektive og usynlige for Google-bots.

Dårlige robotter

Dårlige bots er dem, der ødelægger dit websted og ikke kan give nogen fordel. De søges med vilje og indekseres automatisk. Dit indhold vises for både mennesker og bots og ignorerer kvaliteten og ægtheden. De dårlige bots ignorerer robotdirektiver og bruger ikke IP-blokke til at opretholde kvaliteten af dine websider. Et af de største problemer med disse bots er, at indholdet er vanskeligt at indeksere, og det forbliver skjult for offentligheden, mens det forbliver åbent for hackere, der muligvis får adgang til dine filer for at få dit system kompromitteret. Der er også spam-bots, der kan skade dit websteds samlede ydeevne. De fylder dit websted med foruddefinerede meddelelser, hvilket får de tilknyttede marketingfolk til at føle sig dårlige.

Bør du blokere Bots?

Hvis du konstant modtager visninger fra gode bots, er det muligvis ikke nødvendigt, at de blokeres. Men hvis du modtager visninger fra de dårlige bots, kan du overveje at blokere dem. Du skal blokere Googlebot, som er der for at fjerne dit websted fra resultaterne af søgemaskinerne. På den anden side skal du bestemt blokere spambots. Hvis du er bevidst om beskyttelsen af dit websted mod DDOSing, er det nødvendigt at blokere IP-adresserne på bots og spammere. Husk altid, at de dårlige bots aldrig ville bekymre sig om dine robot.txt-filer, hvilket er meget uheldigt, da beskyttelsen af denne fil er obligatorisk for dit websteds vækst og dens samlede ydeevne.

mass gmail