Forum FAQForum FAQSearchSearch MemberlistMemberlist Forum ignore listForum ignore list RegisterRegister ProfileProfile Log in to check your private messagesLog in to check your private messages Log inLog in
google rank = none (iliti kick/ban)

 
This forum is locked: you cannot post, reply to, or edit topics.   This topic is locked: you cannot edit posts or make replies.    mi3dot.org Forum Index -> Client-side
View previous topic :: View next topic  
Author Message
Sulien



Joined: 04 Jan 2004
Posts: 2905
Location: Zagreb

PostPosted: 09.07.2005 15:21    Post subject: google rank = none (iliti kick/ban) Add user to your forum ignore list Reply with quote

Temu ću početi sa jednim tužnim smajlijem Sad

Prije mjesec-dva sam počeo raditi kao developer na jednom malo većem sajtu koji je tada bio prvi na Googlu. Site je, kako to biva, bio napravljen tablicama, bez URL rewritinga, sa JS linkovima (pop-upsima) svuda, minimalnim CSS-om, slabim keyword density-em itd. Kako sam programirao tako sam postepeno micao site prema standardima: zamijenjivao tablice CSS-om, počeo pametnije koristiti headinge (posljednji developer je u h1 stavio broj posjeta Surprised ), napravio samodeskriptivne URL-ove mod_rewrite-om, maknuo pop-upove, poboljšao naslove u TITLE elementu i drugo. A kako sam postepeno micao site prema standardima tako nam je Google rank polako, ali sigurno padao, sve dok nije prevršio svaku mjeru prije nekoliko dana kad sam otkrio da nas više opće nema u indeksu (prefiksom 'site:').

Da razjasnim, nije da nas potpuno nema u indeksu, već ima indeksirano oko 800 stranica isključivo sa prve verzije sajta starog dvije godine. Stari URL-ovi (naravno) više ne vrijede, pa sam napravio regexp koji ih redirecta u nove, ali ih google i dalje uporno pamti. Tek prije par dana sam vidio da sam zaboravio HTTP code 301 (budala), pa sam stavio da se šalje, te očekujem da će google s vremenom skužiti da toga već nema godinama.

Kad smo razgovarali o problemu, glavni čovjek projekta mi je rekao da se čuo sa starim developerom oko toga i da je ovaj rekao nešto poput toga da je stavljao skrivene keywordse (relevantne, nadam se Confused ) bijelom bojom na site. Ja sam tvrdio da iz sto izvora znam da Google radi kick/ban zbog toga, ali nakon svega više ne znam što da mislim Sad

Jedino što mi pada na pamet, a da je moglo utjecati na stravičan pad na googlu, su moje eksperimentalne statistike. Naime, napravio sam ekstenziju Shaunovog Shortstata (shauninman.com) koja prvi hit sa nekog IP-a u određenom broju sati (konkretno, 3) smatra početkom posjeta, te useru javascriptom pokupi rezoluciju i flash plugin pa redirecta na php skriptu koja to spremi u bazu, nakon čega se useru prikaže normalan sadržaj sajta. Sve se desi tako brzo da se ni ne primijeti. Za one koji imaju isključen JS (a tu spadaju i spideri) sam na tu početnu stranicu za statistike stavio 'refresh' META tag (kao i 'robots: noindex, follow'), a i tekst 'Ako niste automatski preusmjereni, kliknite na link ... bla bla' za svaki slučaj. Nakon refresha (ili klika na link) URI se ponovno učita, ali ovaj put sa normalnim sadržajem (zato što to više nije prvi hit na sajt).

Ako netko ima ideju o tome što se moglo desiti da izbaci cijeli sajt iz indeksa, neka me brzo prosvijetli. Varao nisam, cijelo sam vrijeme slijedio one smjernice koje su kao dobar SEO, a zauzvrat sam dobio da me nema na prvih 500 rezultata, a ni nakon toga Crying or Very sad Da li je zaista moguće da google ne indeksira site zato što na stranici koja pokupi statistike stoji 'noindex'? Jer nakon refresha, meta tag-a više nema i spider je slobodan da indeksira što god hoće...
Back to top
View user's profile Send private message Send e-mail Visit poster's website
red



Joined: 03 May 2004
Posts: 919
Location: Zabok

PostPosted: 09.07.2005 15:39    Post subject: Add user to your forum ignore list Reply with quote

Uhm, i ja muku mučim s googleom. Iz nekog razloga, ni mog sajta nema na rezultatima pretrage (ban)...

Nakon par neuspješnih eksperimenata (sumnjao sam na image replacement tehniku) sam slao mejl, pa sam se sad počeo vrlo sporo dopisivati sa likom iz supporta. Za sad, nema konkretnih odgovora... It'll take a while... Sad

_________________
Get busy living, or get busy dying.
Back to top
View user's profile Send private message Visit poster's website Twitter profile
sime
Guest





PostPosted: 09.07.2005 20:56    Post subject: Reply with quote

Ja koji god sajt lansiram, bude mi prvi na googleu :) Naravno, ako se upiše njegovo ime :)
Back to top
che.UP
mi3.crew


Joined: 07 Sep 2003
Posts: 2320
Location: zagreb

PostPosted: 09.07.2005 21:19    Post subject: Add user to your forum ignore list Reply with quote

meni smrdi ovo sta si radio sa shortstatom, ako sam dobro shvatio sto si napisao :)

_________________
UP | TypeTester | Accommodations App
Meni u Firefox-u ne radi AJAX
Back to top
View user's profile Send private message Visit poster's website
maratz
mi3.crew


Joined: 24 Nov 2003
Posts: 1207
Location: ZAG

PostPosted: 09.07.2005 21:33    Post subject: Add user to your forum ignore list Reply with quote

meta redirect je no-no za Google

_________________
STOP HITTING YOURSELF! | NETIQUETTE | TYPETESTER | Hypertext rulez™ | CREATIVE NIGHTS | ACCOMMODATIONS
Back to top
View user's profile Send private message Visit poster's website Twitter profile
Sulien



Joined: 04 Jan 2004
Posts: 2905
Location: Zagreb

PostPosted: 10.07.2005 00:04    Post subject: Add user to your forum ignore list Reply with quote

che.UP wrote:
meni smrdi ovo sta si radio sa shortstatom, ako sam dobro shvatio sto si napisao Smile

jel'da? ispričavam se, malo sam nerazumljivo opisao... meni se shortstat nije sviđao po tome što za svaki hit sprema kompletne statistike u bazu... znači dođe jedan lik sa Explorerom i napravi 20 hitova, dođe drugi sa FF i napravi 10, pa odmah ispadne da dvostruko više ljudi koristi IE nego Firefox. To nije dobra statistika, a još je i sporo budući da snifa brauzer na svaki hit i to pomalo nespretno (puno sam to poboljšao).

Ja sam razbio stvar na dvije tablice, jedna su hitovi (ip, vrijeme, referer, URI), a u drugoj su kompletne statistike koje referencijau prvi hit (jednog posjeta). Nakon toga mi je falila reza od ljudi i podatak imaju li Flash i koju verziju, pa sam složio JS koji to pohvata i preda GET-om skripti koja spremi podatke. Prvo sam to napravio tako da stavim 1x1 pixel IMG u dokument i pustim browser da ga zatraži, a SRC bi zapravo bio PHP koji nakon spremanja napravi output transparentnog gifa. Nakon toga sam skužio sve mane tog postupka (npr. images off Smile) i odlučio se za fantomsku 'međustranicu' koja ima taj isti JS u sebi. Radilo je dosta dobro, moram priznati, osim za spidere.

maratz wrote:
meta redirect je no-no za Google

Sumnjao sam, hence link u body-u. Apsolutni, sam na sebe.

Stvar radi ovako. User zatraži URL, npr. '/kontakt/'. Ako je to prvi hit u tri sata, smatra se početkom posjete (visit). Umjesto pravog sadržaja URL-a, Shortstat napravi output fantomske stranice koja u sebi ima JS koji napika što treba i pozove (via window.location) skriptu koja pospremi dane parametre u bazu. Skripta nakon spremanja napravi refresh (header: Location) i sad se učita normalan sadržaj. AKO čovjek (spider) nema JS, fantomska stranica ima meta refresh tag, meta 'noindex, noarchive, follow' (ipak ne želim da se tekst fantomske stranice indeksira) i user-friendly tekst u body-u sa linkom na resource '/kontakt/'.

My guess: spider posjeti neki URL, recimo opet '/kontakt/'. Prvo što dobije je fantomska stranica koja kaže noindex. On si misli, vid' noindeksa, pa izbaci URL iz goggle baze ako ga je imao od prije. Slijedi link na '/kontakt/', ali pošto je to opet isti resource, on si misli 'neću ja ovo indeksirat'. Surfa dalje, indeksira normalno, ali prvu je stranicu izbacio iz indeksa. Sutra dolazi opet, na drugi URL, pa i taj izbaci iz indeksa jer je to novi visit za moje statistike. URL po URL, nakon nekog vremena svi odu iz indeksa i ostanu samo oni linkovi koji su nepostojeći i kojih se nisam riješio na vrijeme. Jesam li u pravu? Nisam mislio da će se tako ponašati Confused

BTW: cookies enabled: 88.7% (naravno, bez spidera/crawlera/walkera itd.)... da li je to moguće? Po meni je premalo, pa ne isključuje toliko ljudi kolačiće
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Pekx



Joined: 09 Sep 2004
Posts: 559

PostPosted: 10.07.2005 00:31    Post subject: Add user to your forum ignore list Reply with quote

ja sam imaao u rootu sajta index.htm koji vodi, redicta na forum i nije me bilo uopće na guglu Confused grrr
lol, zato sam sajt povuko sa neta Very Happy

_________________
mp3hr.com
Back to top
View user's profile Send private message Send e-mail
carr



Joined: 13 Nov 2003
Posts: 1397
Location: Karlovac

PostPosted: 10.07.2005 10:57    Post subject: Add user to your forum ignore list Reply with quote

Sulien wrote:
Prvo sam to napravio tako da stavim 1x1 pixel IMG u dokument i pustim browser da ga zatraži, a SRC bi zapravo bio PHP koji nakon spremanja napravi output transparentnog gifa. Nakon toga sam skužio sve mane tog postupka (npr. images off Smile) i odlučio se za fantomsku 'međustranicu' koja ima taj isti JS u sebi. Radilo je dosta dobro, moram priznati, osim za spidere.

da ubacis u frame? iframe?....neznam ne pada mi nista drugo napamet...

Sulien wrote:
My guess: spider posjeti neki URL, recimo opet '/kontakt/'. Prvo što dobije je fantomska stranica koja kaže noindex. On si misli, vid' noindeksa, pa izbaci URL iz goggle baze ako ga je imao od prije. Slijedi link na '/kontakt/', ali pošto je to opet isti resource, on si misli 'neću ja ovo indeksirat'. Surfa dalje, indeksira normalno, ali prvu je stranicu izbacio iz indeksa. Sutra dolazi opet, na drugi URL, pa i taj izbaci iz indeksa jer je to novi visit za moje statistike. URL po URL, nakon nekog vremena svi odu iz indeksa i ostanu samo oni linkovi koji su nepostojeći i kojih se nisam riješio na vrijeme. Jesam li u pravu? Nisam mislio da će se tako ponašati Confused

ja isto mislim da se to tako ponasa. a da to izbacis i probas vidjet kako ce se ponasat sajt na googleu. obzirom da imas dobro slozenu semantiku i ostale stvari trebao bi se relativno brzo pojaviti na guglu (jedino ako nisi upao u neku black listu Smile)
btw. cestitam, uspio si razviti sistematicno brisanje stranica s googlea Smile

Sulien wrote:
BTW: cookies enabled: 88.7% (naravno, bez spidera/crawlera/walkera itd.)... da li je to moguće? Po meni je premalo, pa ne isključuje toliko ljudi kolačiće

po kojem "kljucu" izbacujes spidere/crawlere/walkere iz statistike?

_________________
Bolje biti malo lud, nego malo pametan.
Back to top
View user's profile Send private message Visit poster's website
burne



Joined: 11 Jan 2004
Posts: 602
Location: Split

PostPosted: 10.07.2005 12:06    Post subject: Add user to your forum ignore list Reply with quote

cuj, do standarda ili IR tehnike ti definitivno nije, jer meni DamirPhoto 2 tjedna nakon sto je postavljen i poslan googleu stoji na prvom mjestu ponosno Very Happy a bio je i burne.org isto

E, ali mislim da ti onaj nofollow u suranji sa tim praznim splashom definitivno smeta. Provaj maknit to i ponovo se dodat u gugl.

P.S. Ako su stavljali fake keyworde moze i to biti

_________________
http://www.vidosh.com - moj folio, v2.0 reborn | http://www.damirphoto.net - ćaćine fotke
Back to top
View user's profile Send private message Visit poster's website MSN Messenger
red



Joined: 03 May 2004
Posts: 919
Location: Zabok

PostPosted: 10.07.2005 12:53    Post subject: Add user to your forum ignore list Reply with quote

burne wrote:
cuj, do standarda ili IR tehnike ti definitivno nije


Oh I dunno, bio sam čitao da se IR fore poput "text-indent: -9000px;" ni malo ne sviđaju guglu, pogotovo ako je skriven link.

Usput, istraživao sam zašto bi moj sajt dobio ban pa sam došao do informacije za duplicate content: google-u se ne sviđa ako je isti sadržaj na "www.sajt.com" i na "sajt.com" -- http://www.sitepoint.com/blog-post-view.php?id=272330

_________________
Get busy living, or get busy dying.
Back to top
View user's profile Send private message Visit poster's website Twitter profile
Sulien



Joined: 04 Jan 2004
Posts: 2905
Location: Zagreb

PostPosted: 10.07.2005 18:31    Post subject: Add user to your forum ignore list Reply with quote

carr wrote:
Sulien wrote:
Prvo sam to napravio tako da stavim 1x1 pixel IMG u dokument i pustim browser da ga zatraži, a SRC bi zapravo bio PHP koji nakon spremanja napravi output transparentnog gifa. Nakon toga sam skužio sve mane tog postupka (npr. images off Smile) i odlučio se za fantomsku 'međustranicu' koja ima taj isti JS u sebi. Radilo je dosta dobro, moram priznati, osim za spidere.

da ubacis u frame? iframe?....neznam ne pada mi nista drugo napamet...

mislio sam, ali me baš zanimalo za handheld brauzere da li imaju ili će ikad imati JS, a mislim da handheldovi ne učitavaju frejmove

Quote:
btw. cestitam, uspio si razviti sistematicno brisanje stranica s googlea Smile

(klanjanje) thank you, thank you

Quote:
Sulien wrote:
BTW: cookies enabled: 88.7% (naravno, bez spidera/crawlera/walkera itd.)... da li je to moguće? Po meni je premalo, pa ne isključuje toliko ljudi kolačiće

po kojem "kljucu" izbacujes spidere/crawlere/walkere iz statistike?

ovo sam složio za sadašnje potrebe (nije mi bilo dobro ono od Shauna), trebalo bi to proširit sa npr. ovim popisima (ima i drugih)
http://www.robotstxt.org/wc/active/html/index.html
http://www.pgts.com.au/download/data/robots_list.txt

Code:
/* spiders, crawlers & other automatons */
if(preg_match('%
   spider | crawl | bot | walker | archiver | mediapartners-google
   # GoogleBot (www.googlebot.com/bot.html)
   | W3C_(CSS_)?Validator
   | Slurp # Yahoo! (help.yahoo.com/help/us/ysearch/slurp)
   | Teoma # Ask Jeeves (http://sp.ask.com/docs/about/tech_crawling.html)
   | grub-client #www.grub.org (interesting!)
   | pogodak.hr #www.pogodak.hr
   | detectURL
   | Wget #www.gnu.org/software/wget/wget.html
   | Xenu\ Link\ Sleuth #http://home.snafu.de/tilman/xenulink.html
   | Trend\ Micro #www.trendmicro.com
   | sohu-search #http://dir.sogou.com (good luck)
   | appie #www.walhello.com
   | \bNG/[1-9] #http://beta.exalead.com/search
   | Offline\ Commander
   | ccubee #ccubee.com
   | Robozilla #http://dmoz.org/profiles/robozilla.html
   | ActiveBookmark
   | Scooter #AltaVista
   | Infoseek
   | Lycos
   | Gulliver
   # libwww-perl #http://lwp.linpro.no/lwp/ (what to do with THIS?)
   %ix',$ua))
   {
   // Crawler/Search Engine, some logic here;
   ...
   }


@red: čuo sam i ja za text-indent više puta, ali mislim da nije istina, pošto nikad nisam vidio da kazni sajt zbog toga
Back to top
View user's profile Send private message Send e-mail Visit poster's website
carr



Joined: 13 Nov 2003
Posts: 1397
Location: Karlovac

PostPosted: 10.07.2005 19:01    Post subject: Add user to your forum ignore list Reply with quote

Sulien wrote:
mislio sam, ali me baš zanimalo za handheld brauzere da li imaju ili će ikad imati JS, a mislim da handheldovi ne učitavaju frejmove

nemaju frejmove? sta nemas ti onaj neki pocketpc (ili ipaq, ne sjecam se tocno), el on cita frameove?
bubnes JS kod u noframe..?

_________________
Bolje biti malo lud, nego malo pametan.
Back to top
View user's profile Send private message Visit poster's website
Sulien



Joined: 04 Jan 2004
Posts: 2905
Location: Zagreb

PostPosted: 10.07.2005 19:10    Post subject: Add user to your forum ignore list Reply with quote

explorer na ipaq čita frejmove, ako se ne varam (nisam dugo surfao njime), ali brijem da jedna motorola nema šanse da ih prikazuje

JS kod u noframe? i što onda? window.location? opet bi se vratio na staro, gdje istu stvar radim na 3 načina Confused

eh, bilo bi lagano kad bi svi podržavali xmlhttprequest Very Happy
Back to top
View user's profile Send private message Send e-mail Visit poster's website
sime
Guest





PostPosted: 10.07.2005 20:08    Post subject: Reply with quote

Sulien, nije mi uopće jasno zašto si u tolikoj mjeri komplicirao stvari.
Back to top
sime
Guest





PostPosted: 10.07.2005 20:12    Post subject: Reply with quote

red wrote:
Oh I dunno, bio sam čitao da se IR fore poput "text-indent: -9000px;" ni malo ne sviđaju guglu, pogotovo ako je skriven link.


Ma nema šanse da ijedna IR tehnika smeta googleu, makar u mome slučaju, na skoro svakom sajtu je bila korištena, i uvik prvi bez beda.

Sve te SEO gluposti mi idu toliko na kurac da to nije normalno. Ljudi se ubijaju sa tim pričama i trikovima, nema što ne rade a sve za kurac. Triba samo imat čist i semantičan kôd i gotovo. Što manje toga, to bolje.
Back to top
Sulien



Joined: 04 Jan 2004
Posts: 2905
Location: Zagreb

PostPosted: 10.07.2005 20:34    Post subject: Add user to your forum ignore list Reply with quote

miniml wrote:
Sulien, nije mi uopće jasno zašto si u tolikoj mjeri komplicirao stvari.

zbog flasha i reze, samo zbog toga Smile
jebga, JS je client side, a ja oću te stvari u bazi

jest, treba biti jednostavno... sajt je i bio jednostavan u biti, ali spider se malo čudno ponašao oko meta tag-a

kad sam započeo raspravu iz očaja sam isključio statistike i eto nas, opet prvi Smile moram to malo sredit kad budem opet uključivao, mislim da ću ipak ići na iframe varijantu
Back to top
View user's profile Send private message Send e-mail Visit poster's website
red



Joined: 03 May 2004
Posts: 919
Location: Zabok

PostPosted: 10.07.2005 21:01    Post subject: Add user to your forum ignore list Reply with quote

miniml wrote:
red wrote:
Oh I dunno, bio sam čitao da se IR fore poput "text-indent: -9000px;" ni malo ne sviđaju guglu, pogotovo ako je skriven link.


Ma nema šanse da ijedna IR tehnika smeta googleu, makar u mome slučaju, na skoro svakom sajtu je bila korištena, i uvik prvi bez beda.

Sve te SEO gluposti mi idu toliko na kurac da to nije normalno. Ljudi se ubijaju sa tim pričama i trikovima, nema što ne rade a sve za kurac. Triba samo imat čist i semantičan kôd i gotovo. Što manje toga, to bolje.


Uhm, yea. A evo mene nema u indexu. A čuj, to što se spominje toliko IR ne vjerujem da je slučajno.

_________________
Get busy living, or get busy dying.
Back to top
View user's profile Send private message Visit poster's website Twitter profile
Sulien



Joined: 04 Jan 2004
Posts: 2905
Location: Zagreb

PostPosted: 12.07.2005 16:33    Post subject: Add user to your forum ignore list Reply with quote

Bojim se da afera nije gotova.

Naime, iako smo prvi na googlu, opet nema indeksiranih stranica osim onih 800-tinjak starih. Stari URL-ovi su isključivo oblika "/index.php?bla=nesto&blabla=josnesto" jer nije bilo mod_rewritea. Već više od tjedan dana (ranije uopće nisam shvatio da su većina google rezultata upravo ti stari URL-ovi) hvatam stare GET varijable i preusmjeravam ih na nove URL-ove sa 301:
Code:
header('HTTP/1.1 301 Moved Permanently');
header("Location: $resource");
die;


Pošto novijih indeksiranih stranica nema, pitao sam se kako to da smo onda prvi. Kad sam malo razmislio o tekstu (description) ispod rezultata pretrage, skužio sam da je to tekst kojime smo prijavljeni na www.dmoz.org. Nakon toga sam došao do zaključka da je jedini razlog zašto se pojavljujemo na goglu upravo entry za naš site na dmoz-u, što baš i nije bajno. Moje statistike su isključene već skoro tjedan dana, bez efekta na indeksiranje. Čudno, zbog toga što GoogleBot posjećuje site uredno svaki dan u jutarnjim satima.

Koristim li dobar način za uvjeravanje googla da stare linkove izbaci iz indeksa i zamijeni novima?
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Display posts from previous:   
This forum is locked: you cannot post, reply to, or edit topics.   This topic is locked: you cannot edit posts or make replies.    mi3dot.org Forum Index -> Client-side All times are GMT + 1 Hour
Page 1 of 1

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum


Powered by phpBB © 2001, 2005 phpBB Group