sekilas tentang search engine

Web search engine

Search engine adalah sistem database yang dirancang untuk mengindex alamat-alamat website di internet . Untuk melaksanakan tugasnya ini, search engine atau mesin pencari memiliki program khusus yang biasanya disebut spider crawler. Pada saat Anda mendaftarkan sebuah alamat website (URL), spider dari search engine tersebut akan menerima dan menganalisa URL tersebut lalu mengcrawlnya.

Dengan proses dan prosedur yang serba otomatis, spider ini akan memutuskan apakah web yang anda daftarkan layak diterima atau tidak pada search engine tersebut. Jika layak, spider akan langsung menambahkan alamat URL tersebut ke sistem database mereka. Rangking-pun segera ditetapkan dengan algoritma dan caranya masing-masing. Jika tidak layak, terpaksa Anda harus bersabar dan mengulangi pendaftaran diwaktu yang lain. Jadi semua yang namanya search engine, pasti memiliki program yang disebut Spider crawler. Dan program inilah yang sebenarnya menentukan posisi web site Anda di search engine tersebut.

PENGERTIAN SEARCH ENGINE OPTIMIZATION

Dalam dunia website/weblog sekarang ini, khususnya bagi para publisher dan blogger diperlukan pengetahuan tentang Search Engine Optimization, website/weblog yang telah sobat buat tugas selanjutnya adalah mendaftarkan website/weblog sobat ke mesin pencari Google atau yang lainnya. Sebelum mendaftarkan website/weblog yang telah dibuat; sekarang yang menjadi pertanyaan apa itu search engine optimization, cara kerja dan fungsi suatu search engine.

Pengertian Search Engine

Mesin pencari web atau yang lebih dikenal dengan istilah web search engine merupakan program komputer yang dirancang untuk mencari informasi yang tersedia didalam dunia maya. Berbeda halnya dengan direktori web (seperti dmoz.org) yang dikerjakan oleh manusia untuk mengelompokkan suatu halaman informasi berdasarkan kriteria yang ada, web search engine mengumpulkan informasi yang tersedia secara otomatis.

Cara Kerja Search Engine

Mesin pencari web bekerja dengan cara menyimpan hampir semua informasi halaman web, yang diambil langsung dari www. Halaman-halaman ini diambil secara otomatis. Isi setiap halaman lalu dianalisis untuk menentukan cara mengindeksnya (misalnya, kata-kata diambil dari judul, subjudul, atau field khusus yang disebut meta tag). Data tentang halaman web disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya. Sebagian mesin pencari, seperti Google, menyimpan seluruh atau sebagian halaman sumber (yang disebut cache) maupun informasi tentang halaman web itu sendiri.

Ketika seorang pengguna mengunjungi mesin pencari dan memasukkan query, biasanya dengan memasukkan kata kunci, mesin mencari indeks dan memberikan daftar halaman web yang paling sesuai dengan kriterianya, biasanya disertai ringkasan singkat mengenai judul dokumen dan terkadang sebagian teksnya.

Mesin pencari lain yang menggunakan proses real-time, seperti Orase, tidak menggunakan indeks dalam cara kerjanya. Informasi yang diperlukan mesin tersebut hanya dikumpulkan jika ada pencarian baru. Jika dibandingkan dengan sistem berbasis indeks yang digunakan mesin-mesin seperti Google, sistem real-time ini unggul dalam beberapa hal seperti informasi selalu mutakhir, (hampir) tak ada broken link, dan lebih sedikit sumberdaya sistem yang diperlukan (Google menggunakan hampir 100.000 komputer, Orase hanya satu.). Tetapi, ada juga kelemahannya yaitu pencarian lebih lama rampungnya.

Komponen utama dalam Search Engine

Sebuah search engine memiliki beberapa komponen agar dapat menyediakan layanan utamanya sebagai sebuah mesin pencari informasi.
Komponen tersebut antara lain :

Web Crawler

Web crawler atau yang dikenal juga dengan istilah web spider bertugas untuk mengumpulkan semua informasi yang ada di dalam halaman web. Web crawler bekerja secara otomatis dengan cara memberikan sejumlah alamat website untuk dikunjungi serta menyimpan semua informasi yang terkandung didalamnya. Setiap kali web crawler mengunjungi sebuah website, maka dia akan mendata semua link yang ada dihalaman yang dikunjunginya itu untuk kemudian di kunjungi lagi satu persatu. Proses web crawler dalam mengunjungi setiap dokumen web disebut dengan web crawling atau spidering. Beberapa websites, khususnya yang berhubungan dengan pencarian menggunakan proses spidering untuk memperbaharui data data mereka. Web crawler biasa digunakan untuk membuat salinan secara sebhagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat dip roses lebih lanjut oleh system pengindexan. Crawler dapat juga digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web, dan crawler juga digunakan untuk memperoleh data yang khusus seperti mengumpulkan alamat e-mail.

Web crawler termasuk kedalam bagian software agent atau yang lebih dikenal dengan istilah program bot. Secara umum crawler memulai prosesnya dengan memberikan daftar sejumlah alamat website untuk dikunjungi, disebut sebagai seeds. Setiap kali sebuah halaman web dikunjungi, crawler akan mencari alamat yang lain yang terdapat didalamnya dan menambahkan kedalam daftar seeds sebelumnya. Dalam melakukan prosesnya, web crawler juga mempunyai beberapa persoalan yang harus mampu di atasinya. Permasalahan tersebut mencakup :

v  Halaman mana yang harus dikunjungi terlebih dahulu.

v  Aturan dalam proses mengunjungi kembali sebuah halaman.

v  Performansi, mencakup banyaknya halaman yang harus dikunjungi.

v  Aturan dalam setiap kunjungan agar server yang dikunjungi tidak kelebihan beban.

v  Kegagalan, mencakup tidak tersedianya halaman yang dikunjungi, server down, timeout, maupun jebakan yang sengaja dibuat oleh webmaster.

v  Seberapa jauh kedalaman sebuah website yang akan dikunjungi.

Hal yang tak kalah pentingnya adalah kemampuan web crawler untuk mengikuti

perkembangan teknologi web, dimana setiap kali teknologi baru muncul, web crawler harus dapat menyesuaikan diri agar dapat mengunjungi halaman web yang menggunakan teknologi baru tersebut.

Proses sebuah web crawler untuk mendata link – link yang terdapat didalam sebuah halaman web menggunakan pendekatan regular expression. Crawler akan menelurusi setiap karakter yang ada untuk menemukan hyperlink tag html (<a>). Setiap hyperlink tag yang ditemukan diperiksa lebih lanjut apakah tag tersebut mengandung atribut nofollow rel, jika tidak ada maka diambil nilai yang terdapat didalam attribute href yang merupakan sebuah link baru.

Indexing system

Indexing system bertugas untuk menganalisa halaman web yang telah tersimpan sebelumnya dengan cara mengindeks setiap kemungkinan term yang terdapat di dalamnnya. Data term yang ditemukan disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya.

Indexing system mengumpulkan, memilah dan menyimpan data untuk memberikan kemudahan dalam pengaksesan informasi secara tepat dan akurat. Proses pengolahan halaman web agar dapat digunakan untuk proses pencarian berikutnya dinakamakan web indexing. Dalam implementasinya index system dirancang dari penggabungan beberapa cabang ilmu antara lain ilmu bahasa, psikologi, matematika, informatika, fisika, dan ilmu komputer.

Tujuan dari penyimpanan data berupa indeks adalah untuk performansi dan kecepatan dalam menemukan informasi yang relevan berdasarkan inputan user. Tanpa adanya indeks, search engine harus melakukan scan terhadap setiap dokumen yang ada didalam database. Hal ini tentu saja akan membutuhkan proses sumber daya yang sangat besar dalam proses komputasi. Sebagai contoh, indeks dari 10.000 dokumen dapat diproses dalam waktu beberapa detik saja, sedangkan penulusuran secara berurutan setiap kata yang terdapat di dalam 10.000 dokumen akan membutuhkan waktu yang berjam lamanya. Tempat tambahan mungkin akan dibutuhkan di dalam computer untuk penyimpanan indeks, tapi hal ini akan terbayar dengan penghematan waktu pada saat pemrosesan pencarian dokumen yang dibutuhkan.

Search system

Search system inilah yang berhubungan langsung dengan pengguna, meyediakan hasil pencarian informasi yang diinginkan. Ketika seorang pengguna mengunjungi mesin pencari dan memasukkan kata pencarian biasanya dengan beberapa kata kunci, search system akan mencari data dari indeks database, data yang cocok kemudian akan ditampilkan, biasanya disertai ringkasan singkat mengenai judul dokumen dan terkadang sebagian teksnya.

JENIS-JENIS MESIN PENCARI

Berdasarkan cara mengumpulkan data halaman-halaman  web, mesin pencari dapat di

kelompokkan menjadi 4 kategori

Human Organized Search Engine Mesin pencari yang di kelola sepenuhnya oleh tangan manusia. Mesin pencari ini

menggunakan metode dengan memilah-milih informasi yang relevan dan dikelompokan

sedemikian rupa sehingga lebih bermakna dan bermanfaaat bagi penggunannya. Situs ini dalam

prakteknya memperkerjakan para pakar dalam bidang-bidang tertentu, kemudian para pakar

tersebut dapat mengkelompokan situs-situs tertentu sesuai dengan bidangnnya atau kategori situs

itu sendiri.

Computer Created Search Engine

Search engine kategori ini banyak memiliki kelebihan karena banyak menyajikan

inforrmasi walaupun kadang-kadang ada beberapa informasi yang tida relevan tidak seperti yag

kita ingin kan.  Search engine ini telah menggunakan software laba-laba atau  spider software

yang berfungsi menyusup pada situs-situs tertentu,  kemudian mengunpulkan data serta

mengelompokan dengan sedikit bantuan tangan manusia.

Hybrid Seacrh Engine

Merupakan gabungan antara tangan manusia dengan computer, sehingga menghasilkan

hasil pencarian yang relative akurat. Peran manusia dalam hal ini adalah sebagai penelaah dalam

proses pengkoleksian database halaman web. Sebenarnya tipe ini lah yanag paling mudah

pembuatannya menurut saya karena dapat di desaingsesuai dengan keinginan kita.

MetaCrawler/Metasearch

Merupakan perantara dari mesin pencari yang sebenarnya. Mesin ini hanya akan

mengirimkan permintaan pencarian ke berbagai mesin pencari serta menampilkan hasilnya satu

di layer browser sehingga akan menampilkan banyak sekali hasil dari ber bagai mesin pencari

yang ada.

Cara kerja mesin pencari Mesin pencari web bekerja dengan cara menyimpan informasi tertang banyak halaman

web, yang diambil secara langsung dari www. Halaman ini di ambil dengan web

crawler-browsewr web yang otomatis mengikuti setiap pranala yang di lihatnya. Isi setiap

halaman lalu dianalisis untuk menentukan cara mengindeksnya (misalnya kata-kata di ambil dari

judul, subjudul, atau field khusus yang di sebut meta tag ). Data tentang halaman web disimpan

dalam sebuah database indeks untuk di gunakan dalam pencarian selanjutnya. Sebagian mesin

pencari seperti Google, menyimpan seluruh atau sebagian halaman sumber ( yang di sebut cache)

maupun informasi tentang halaman web itu sendiri.

Ketika seorang pengguna menggunakan mesin pencari dan memasukin query, biasanya

dengan memasukan kata kunci, mesin mencari akan meng-

indesk dan memberikan daftar halaman web yang paling sesuai dengan kriterianya.

Selama pengembangan awal dari web, ada daftar webservers disunting oleh Tim Berners-Lee dan host di CERN webserver.Satu snapshot sejarah dari tahun 1992 tetap. [2] Sebagai webservers lebih pergi online daftar sentral tidak bisa mengikuti.Pada NCSA situs server baru diumumkan dengan judul "What's New!" [3]

Yang pertama alat yang sangat digunakan untuk mencari di Internet adalah Archie . [4] Nama singkatan "arsip" tanpa "v." Itu dibuat pada tahun 1990 oleh Alan Emtage , Bill Heelan dan J. Peter Deutsch, mahasiswa ilmu komputer di McGill Universitydi Montreal . Program-download daftar direktori dari semua file yang terletak di publik anonymous (FTP File Transfer Protocol) situs, menciptakan database dicari nama file, namun tidak Archie mengindeks isi dari situs-situs tersebut karena jumlah data yang sangat terbatas itu bisa dengan mudah dicari secara manual.

Munculnya Gopher (diciptakan pada tahun 1991 oleh Mark McCahill di University of Minnesota ) menyebabkan dua program pencarian baru, Veronica dan Jughead . Seperti Archie, mereka mencari nama file dan judul yang disimpan di dalam sistem index Gopher. Veronica (V ery E asy R odent-O riented N et-lebar aku ndex ke C omputerized A rchives) menyediakan pencarian kata kunci dari menu Gopher judul yang paling dalam daftar seluruh Gopher. Jughead (onzy's U J niversal opher G H ierarchy E xcavation A isplay D nd) adalah alat untuk memperoleh informasi menu dari server Gopher tertentu. Sedangkan nama mesin pencari "Archie" bukan mengacu pada Archie buku komik seri, " Veronica "dan" Jughead "adalah karakter dalam seri, sehingga referensi pendahulu mereka.

Pada musim panas tahun 1993, tidak ada search engine belum ada untuk web, meskipun banyak katalog khusus yang dikelola oleh tangan. Oscar Nierstrasz di Universitas Jenewa menulis serangkaian Perl script yang secara berkala akan cermin halaman ini dan menulis ulang ke dalam format standar yang membentuk dasar untuk W3Catalog , web pertama mesin pencari primitif, dirilis pada tanggal 2 September 1993. [5]

Pada bulan Juni 1993, Matthew Gray, kemudian di MIT , menghasilkan apa mungkin yang pertama robot web , yang Perlberbasis World Wide Web Wanderer , dan menggunakannya untuk menghasilkan indeks yang disebut 'Wandex'. Tujuan dari Wanderer adalah untuk mengukur ukuran dari World Wide Web, yang hal itu sampai akhir 1995. kedua mesin pencari WebAliweb muncul pada bulan November 1993. Aliweb tidak menggunakan robot web , tetapi tergantung pada diberitahu oleh administrator situs keberadaan di setiap lokasi dari file indeks dalam format tertentu.

JumpStation (dirilis pada bulan Desember 1993 [6] ) menggunakan robot web untuk mencari halaman web dan untuk membangun indeks, dan menggunakan formulir web sebagai antarmuka untuk program query nya. Itu demikian WWW pertama penemuan sumber daya alat untuk menggabungkan tiga fitur penting dari mesin pencari web (merangkak, pengindeksan, dan mencari) seperti yang dijelaskan di bawah ini. Karena keterbatasan sumber daya yang tersedia pada platform yang berlari, maka pengindeksan dan pencarian yang terbatas pada judul dan judul ditemukan di halaman web crawler yang ditemui.

Salah satu yang pertama "full teks" berdasarkan search engine-crawler adalah WebCrawler , yang keluar pada tahun 1994.Tidak seperti pendahulunya, itu membiarkan pengguna mencari setiap kata dalam setiap halaman web, yang telah menjadi standar untuk semua mesin pencari utama sejak. Itu juga yang pertama yang dikenal luas oleh masyarakat. Juga pada tahun 1994, Lycos (yang dimulai di Carnegie Mellon University ) diluncurkan dan menjadi usaha komersial utama.

Segera setelah itu, mesin pencari banyak bermunculan dan bersaing memperebutkan popularitas. Ini termasuk Magellan ,Excite , Infoseek , Inktomi , Northern Light , dan AltaVista . Yahoo! merupakan salah satu cara yang paling populer bagi orang untuk menemukan halaman web yang menarik, tetapi fungsi pencarian yang dioperasikan pada direktori web , daripada-teks salinan lengkap halaman web. pencari informasi juga bisa menelusuri direktori bukannya melakukan pencarian kata kunci berbasis.

Pada tahun 1996, Netscape sedang mencari untuk memberikan mesin pencari satu kesepakatan eksklusif untuk menjadi mesin pencari fitur mereka. Ada begitu banyak bunga bahwa alih-alih kesepakatan terkesan dengan Netscape oleh lima dari mesin pencari utama, dimana untuk $ 5Million per tahun masing-masing mesin pencari akan di rotasi pada halaman mesin pencari Netscape. Kelima mesin yang Yahoo!, Magellan, Lycos, Infoseek, dan Excite. [7] [8]

Mesin pencari juga dikenal sebagai beberapa bintang cemerlang dalam perlombaan investasi Internet yang terjadi pada akhir 1990-an. [9] Beberapa perusahaan memasuki pasar spektakuler, menerima keuntungan catatan selama mereka publik penawaran perdana . Beberapa telah dibawa turun mesin pencari publiknya, dan hanya memasarkan edisi enterprise saja, seperti Northern Light. Banyak perusahaan mesin pencari yang terperangkap dalam gelembung dot-com , sebuah didorong pasar boom-spekulasi yang memuncak pada tahun 1999 dan berakhir pada tahun 2001.

Sekitar 2000, mesin pencari Google menjadi terkenal. [ rujukan? ] Perusahaan ini mencapai hasil yang lebih baik untuk pencarian banyak dengan inovasi yang disebut PageRank . Ini algoritma iteratif peringkat halaman web berdasarkan jumlah dan PageRank dari situs web lain dan halaman yang memiliki pranala sana, pada premis bahwa halaman yang baik atau diinginkan terkait dengan lebih dari yang lain. Google juga mempertahankan antarmuka minimalis dengan mesin pencarian.Sebaliknya, banyak pesaingnya tertanam mesin pencari di portal web .

Pada tahun 2000, Yahoo menyediakan layanan pencarian berdasarkan mesin pencari Inktomi's. Yahoo mengakuisisi Inktomi pada tahun 2002, dan Overture (yang dimiliki AlltheWeb dan Altavista) pada tahun 2003. Yahoo! beralih ke mesin pencari Google hingga tahun 2004, ketika meluncurkan mesin pencari sendiri didasarkan pada teknologi gabungan dari rencana akusisi tersebut.

Microsoft pertama kali diluncurkan MSN Search pada musim gugur tahun 1998 menggunakan hasil pencarian dari Inktomi.Pada awal tahun 1999 situs mulai menampilkan daftar dari Looksmart dicampur dengan hasil dari Inktomi kecuali untuk waktu yang singkat pada tahun 1999 ketika hasil dari AltaVista digunakan sebagai gantinya. Pada tahun 2004, Microsoftmulai transisi ke teknologi pencarian sendiri, didukung oleh sendiri web crawler (disebut msnbot ).

namanya mesin pencari Microsoft, Bing , diluncurkan pada tanggal 1 Juni 2009. Pada tanggal 29 Juli 2009, Yahoo dan Microsoft menyelesaikan kesepakatan di mana Yahoo! Pencarian akan didukung oleh teknologi Bing Microsoft.

Bagaimana mesin pencari web bekerja

Sebuah mesin pencari beroperasi, dalam urutan berikut

1.    Web merangkak

2.    Pengindeksan

3.    Pencarian

mesin pencari web bekerja dengan menyimpan informasi tentang banyak halaman web, yang mereka mengambil dari html itu sendiri. Halaman ini diambil oleh crawler Web (kadang-kadang juga dikenal sebagai laba-laba) - Web browser otomatis yang mengikuti setiap link di situs. Pengecualian dapat dilakukan dengan menggunakan robots.txt . Isi setiap halaman lalu dianalisis untuk menentukan bagaimana harus diindeks (misalnya, kata-kata diambil dari judul, judul, atau field khusus yang disebut meta tag ). Data tentang halaman web disimpan dalam sebuah database indeks untuk digunakan dalam query nanti. query bisa menjadi kata tunggal. Tujuan dari indeks adalah untuk memungkinkan informasi dapat ditemukan secepat mungkin. Beberapa mesin pencari, seperti Google , menyimpan semua atau sebagian dari halaman sumber (disebut sebagai cache ) maupun informasi tentang halaman web, sedangkan yang lain, seperti AltaVista , menyimpan setiap kata dari setiap halaman yang mereka temukan. Cache halaman ini selalu memegang pencarian teks yang sebenarnya karena merupakan salah satu yang sebenarnya diindeks, sehingga dapat menjadi sangat berguna ketika isi dari halaman saat ini telah diperbarui dan istilah pencarian tidak lagi di dalamnya. Masalah ini mungkin dianggap sebagai bentuk ringan linkrot , dan yang menangani Google itu meningkatkan kegunaan dengan memenuhi harapan pengguna bahwa istilah pencarian akan berada pada halaman web dikembalikan. Ini memenuhi prinsip keheranan setidaknya sejak pengguna biasanya mengharapkan istilah pencarian berada di halaman kembali. relevansi pencarian Peningkatan membuat halaman-halaman cache yang sangat berguna, bahkan di luar fakta bahwa mereka mungkin berisi data yang mungkin tidak lagi tersedia di tempat lain.

Ketika pengguna memasukkan query ke mesin pencari (biasanya dengan menggunakan kata-kata kunci ), mesin memeriksa nya indeks dan memberikan daftar pencocokan laman web-terbaik menurut kriteria, biasanya dengan ringkasan pendek berisi dokumen judul dan kadang-kadang bagian teks. Indeks dibangun dari informasi yang tersimpan dengan data dan metode yang informasi diindeks. Sayangnya, saat ini tidak ada mesin pencari yang dikenal publik yang memungkinkan dokumen yang akan dicari menurut tanggal. Kebanyakan mesin pencari mendukung penggunaanoperator boolean AND, OR dan NOT untuk lebih menentukan permintaan pencarian . operator Boolean adalah untuk pencarian literal yang memungkinkan pengguna untuk memperbaiki dan memperluas syarat-syarat pencarian. Mesin mencari kata atau frasa persis seperti masuk. Beberapa mesin pencari menyediakan fitur yang disebut maju pencarian kedekatan yang memungkinkan pengguna untuk menentukan jarak antara kata kunci. Ada juga konsep berbasis mencari dimana penelitian melibatkan menggunakan analisis statistik pada halaman yang berisi kata atau frasa yang Anda cari. Selain itu, pertanyaan bahasa alam memungkinkan pengguna untuk mengetik pertanyaan dalam satu bentuk yang sama akan meminta kepada manusia. Sebuah situs seperti ini akan ask.com.

Kegunaan dari mesin pencari bergantung pada relevansi hasil set itu memberi kembali. Meskipun mungkin ada jutaan halaman web yang mencakup kata tertentu atau frase, sebagian halaman mungkin lebih relevan, populer, atau otoritatif daripada yang lain. Kebanyakan mesin pencari menggunakan metode untuk peringkat hasil untuk memberikan yang "terbaik" hasil pertama. Bagaimana mesin pencari yang memutuskan halaman yang paling cocok, dan apa pesanan hasilnya harus ditunjukkan dalam, sangat bervariasi dari satu mesin yang lain. Metode juga berubah dari waktu ke waktu sebagai perubahan penggunaan internet dan teknik baru berkembang. Ada dua jenis utama mesin pencari yang telah berevolusi: satu adalah sistem kata kunci standar dan hirarki memerintahkan bahwa manusia telah diprogram secara ekstensif. Yang lainnya adalah sistem yang menghasilkan sebuah " indeks terbalik "dengan menganalisis teks ini menempatkan. Bentuk kedua jauh lebih banyak bergantung pada komputer itu sendiri untuk melakukan sebagian besar pekerjaan.

Sebagian besar mesin pencari web adalah usaha komersial yang didukung oleh periklanan pendapatan dan, sebagai hasilnya, beberapa mempekerjakan praktek memungkinkan pengiklan untukmembayar uang untuk memiliki daftar mereka peringkat lebih tinggi dalam hasil pencarian. mesin pencari Mereka yang tidak menerima uang untuk mesin hasil pencarian mereka menghasilkan uang dengan menjalankan terkait iklan pencarian di samping hasil mesin pencarian biasa. Mesin pencari menghasilkan uang setiap kali seseorang mengklik salah satu iklan tersebut.