Mengenal Mesin Crawling GOOGLE

Integritas Search Engine
Google sampai saat ini masih dianggap sebagai Search Engine nomer satu, dan juga terfavorit dibanding kebanyakan search engine yg lain. Selain memiliki tampilan situs yg sangat sederhana, Google juga menyediakan hasil pencarian yg akurat. Sistem pengindeksan-nya yg otomatis membuat Google nyaris tanpa kompromi dan adil, artinya tanpa campur tangan manusia, semua situs dan blog entah besar dan kecil, pemain baru atau lama mendapatkan kesempatan yg nyaris sama.



Google berjalan pada jaringan terdistribusi ribuan komputer murah sehingga dapat melaksanakan pemrosesan paralel dengan cepat. Pengolahan paralel adalah metode perhitungan di mana banyak perhitungan dapat dilakukan secara simultan, secara signifikan mempercepat pengolahan data.

Quote:

Salah satu alasan kenapa search engine yg ada sebelum Google menurun popularitas dan kegunaannya adalah munculnya Paid Listing. Di mana search engine yg "lapar" akan bayaran/penghasilan menjual posisi dalam hasil pencarian kepada para pemasang iklan. Pelemahan terhadap obyektivitas tersebut meracuni hasil pencarian dan meremehkan prinsip popularitas yg dimiliki situs web. Perbedaan antara search engine, yg seharusnya menampilkan hasil yg agan cari, dengan saluran browser, yg membawa agan ke bisnis affiliasi, mengabur. Walaupun banyak search engine yg menolak menjual posisi dalam hasil pencarian mereka, keraguan dan ketidakpercayaan telanjur menyebar di hati para pengguna. Integritas Google terlihat dari halaman situs mereka yg bersih dari segala macam tetek-bengek, dan semata-mata menonjolkan satu hal yaitu kata "Search". Memang Google menerima iklan, tetapi iklan yg mereka terima dipisahkan dari hasil pencarian. Mungkin tidak semua orang setuju dengan cara Google merangking hasil pencarian, tetapi tidak ada seorang pun yg mengira bahwa rangking teratas di hasil pencarian Google bisa dibeli.

Bagaimana sebenarnya cara kerja Google & search engine secara umum ?

Quote:

Cara Kerja Dasar Search Engine Quote: Semua search engine (mesin pencari) bekerja dengan cara dasar yg sama : mereka "merayapi" (crawl) halaman web dengan software robot otomatis disebut Spider (laba-laba) atau Crawler (perayap) yg menghasilkan/menciptakan Indeks (daftar) isi web yg bisa dicari/ditemukan oleh para pengguna. Setiap search engine mengijinkan para penggunanya untuk mencari di dalam daftar (indeks) yg mesin pencari itu miliki, untuk sebuah Keyword (kata kunci) atau sekumpulan keyword. Hasil pencarian ditampilkan dalam berbagai bentuk daftar, tetapi kebanyakan menampilkan sedikit informasi mengenai setiap web yg masuk dalam daftar dan link yg mengarah ke web tersebut. Cara setiap search engine membuat daftar sangat unik, berkat pemrograman mesin spider yg berbeda satu sama lain. Unsur utama dalam pemrograman spider adalah pada algoritma mesin pencari tersebut, yg menentukan rangking dari setiap halaman web yg didaftar. Sistem rangking tersebut menentukan cara hasil pencarian ditampilkan.

Quote:

Cara Kerja Google Quote: Aset teknologi utama Google adalah pada sistem algoritma yg mereka miliki, formula sistem rangking rumit yg memberikan pada para pemakai, hasil pencarian yg bagus dan seringkali terkesan seolah Google mampu membaca pikiran dari setiap orang yg mencari lewat mesin pencari raksasa ini. Hasil dari sistem algoritma dirangkum dalam sebuah statistik rangking tunggal yg disebut PageRank, Google sangat merahasiakan formula PageRank ini, tetapi perusahaan tersebut mempromosikan pentingnya PageRank, dan menawarkan pada para Webmaster petunjuk-petunjuk umum untuk meningkatkan PageRank. Google menunjukkan sistem penilaian rata-rata dari setiap situs (dalam skala 0-10) dalam toolbar Google. Walaupun formula tepat dirahasiakan, tetapi ramuan dasar PageRank ini dikenal publik.

Quote:

Kapan Google Mengindex atau Merayap ? Quote: Google merayapi situs di Internet dengan kedalaman berbeda dan dengan pengaturan jadwal lebih dari sekali. Yg disebut Deep Crawl (merayap dalam) dilakukan paling tidak sekali dalam 1 bulan. Berkaitan dengan rumitnya proses pembuatan daftar dan kebutuhan akan pembuatan daftar isi web secara ekstensif, diperlukan waktu lebih dari 1 minggu untuk melakukan perayapan. Karena itu diperlukan waktu 6 minggu untuk sebuah web atau blog baru supaya masuk dalam daftar Google.

Quote:

Deep Crawler & Fresh Crawler

Quote:

Google bergantung sepenuhnya pada deep crawl ini, tetapi hasil dari deep crawl bisa cepat kadaluarsa terkait dengan cepatnya perubahan di dunia internet. Karenanya Google meluncurkan fresh crawl yg secara singkat mengunjungi situs-situs di Internet lebih sering daripada deep crawl. Memang hasil fresh crawl ini tidak akan mengubah keseluruhan indeks yg dimiliki Google, tapi akan mengupdate isi dari sebagian web/blog. Google tidak mengumumkan jadwal fresh crawl ini dan situs/blog apa yg dijadikan target, tetapi para Webmaster bisa mengetahui jadwal tersebut lewat penyelidikan yg seksama.

Google tidak punya kewajiban untuk mengunjungi URL khusus apapun, dengan fresh crawl mereka. Situs-situs dan blog bisa meningkatkan kesempatan untuk lebih sering dikunjungi Google dengan mengupdate konten mereka secara teratur. Ingat sisi kedangkalan dari fresh crawl, Google mungkin mengunjungi halaman depan dari situs atau blog agan, tetapi mungkin tidak mengunjungi halaman lain.

Deep Crawl bersifat lebih otomatis dan tanpa pertimbangan serta lebih teliti daripada Fresh Crawl. Kesempatan baik datang bila saat jadwal deep crawl, link-link dari halaman baru sudah tercantum di halaman utama, sehingga deep crawl akan mengindeks halaman baru itu juga. Tidak semua halaman dari sebuah situs akan dimasukkan dalam indeks oleh Google, proses pertimbangannya adalah rahasia perusahaan tersebut. Karenanya, bila agan merasa ada sebuah halaman atau artikel penting yg agan miliki tidak terindeks di Google, yg bisa agan lakukan adalah memaksimalkan promosi.