Crawl yang sering sekali saya tuliskan itu adalah milik Google. Jadi, supaya anda tidak bingung tentang kata ini, maka saya akan mendefinisikannya menurut opini saya sendiri.

Bila anda ingin tahu tentangnya, maka ikuti artikel ini hingga tuntas.

Crawl sama artinya dengan perayapan. Jadi, dari kata ini sedikit tergambar tentang perayapan. Bagaimana aktifitas itu sebenarnya? Apakah ada hewan rayap dalam internet?

Tentu saja bukan itu yang dimaksud.

Seperti yang telah dijelaskan di atas, bahwa crawl adalah sebuah tindakan perayapan, yakni merayapi segala macam situs yang ada di salah satu mesin pencari.

Crawl umumnya ada pada setiap robot di mesin pencari. Mesin pencari ini, tidak terbatas hanya pada Google. Ada juga mesin pencari seperti Bing, Yandex, dan lain sebagainya.

Tapi, pada penjelasan kali ini saya ingin berfokus pada perayapan Google yang merupakan mesin pencari yang paling banyak digunakan orang.

Bila anda bergabung dalam sebuah komunitas blogger, baik dalam sebuah halaman facebook, atau yang lainnnya, justru tidak semua diantara mereka yang paham akan hal ini.

Terkadang dalam suatu kondisi, pertanyaan tentang "apa itu crawl" masih sering terlihat.

Saya menyimpulkan bahwa, 75% dari pengguna forum blogger yang saya ikuti adalah orang yang belum memahami tentang crawl.

Walau data di atas bukanlah hasil dari sebuah penelitian saya, namun rasanya ini cukup untuk menyampaikan informasi bahwa masih banyak pengguna yang tidak mengetahui hal ini dan blogger harus mengerti.

Ini merupakan komponen yang paling mendasar dalam sebuah situs pencarian seperti Google.

Dalam sebuah situs blog yang berada di internet, akan muncul dalam sebuah mesin pencari bila telah dilakukan crawl terhadapnya.

Jadi, situs-situs yang muncul di setiap kali anda mencari informasi di internet, itu adalah situs yang sudah di crawl Google sebelumnya. Bahkan jauh sebelum anda mulai mencari sesuatu.

Untuk Apa Melakukan Crawl

Seperti yang telah dijelaskan di atas, bahwa bila anda ingin sebuah tulisan anda melalui sebuah laman blog ditemukan di mesin pencari seperti Google, tentu langkah yang mendasar yang harus anda ketahui adalah tentang crawl.

Saya dahulu, saat memulai sebuah blog, tidak mengetahui hal ini. Cukup lama saya menggunakan blog (berkisar 1-2 tahun). Namun, penggunaan saya itu berujung sia-sia dan sayapun beralih untuk tidak menggunakan blog dan mulai aktif dalam sosial media.

Hal itu terjadi jauh sebelum saya memulainya kembali pada tahun 2010.

Saya sama sekali tidak mengerti tentang apa itu algoritma, kemana saya harus bertanya tentang sebuah halaman blog, dan lain sebagainya termasuk kajian crawl ini.

Lihatlah gambar di bawah ini:

Gambar di atas merupakan sebuah perjalanan atau proses tempat dimana crawl itu berfungsi. Dari gambar di atas, dirasa cukup mewakili dari postingan ini.

Crawl itu sering disebut dengan robot Google, dimana robot ini akan senantiasa melakukan tugasnya sebagai perayap di mesin pencari Google untuk merayapi sebuah situs blog yang ada dan diizinkan.

Kecuali bila anda tidak memberi tahu kepada google tentang keberadaan situs blog anda melalui robot.txt. Untuk ini, robot google tidak akan bekerja untuk merayapi situs anda. Alhasil, situs anda tidak akan muncul dalam sebuah halaman pencariannya.

Sebaliknya, bila anda memberi tahu tentang keberadaan situs anda kepada Google dengan memberikan sitemap blog anda, maka google akan melakukan crawl terhadap situs blog anda dan pendindeksan.

Saya pikir, penjelasan ini sudah cukup untuk membantu anda mencari informasi seputar Crawl. Untuk menambah ilmu, saya menyarankan anda untuk mencari dari berbagai informasi seputar hal ini.

Ini adalah hal yang paling mendasar dalam sebuah pencarian seperti Google. Jadi, senang rasanya bila dapat berbagi ilmu yang sedikit ini kepada anda.

Terimakasih telah berkunjung di halaman blog saya. Jangan sungkan untuk menanyakan sesuatu.

Tautan Terkait

https://www.google.com/intl/id/search/howsearchworks/crawling-indexing/