Search Engine kitakita

May 30, 2008 · Filed under Informatic Engineering

Insya Allah ini jadi tugas besar terakhir yang aku kerjain bersama tmen-tmen seperjuangan selama kuliah. Wah, perjuangan yang berat di sela-sela harus ngerjain skripsi. Demi menjaga persahabatan dan tetep bisa meluangkan waktu bersama, di awal semester 8, aku sama sahabat2ku sepakat ngambil mata kuliah pilihan Information Retrieval(IR). Kuliahnya mendalami tentang cara kerja search engine, terutama cara kerja Google!

Nah, sebagai konsekuensinya (seperti biasa), di akhir kuliah ini, kita dikasih tugas besar yang harus dikerjain dalam waktu skitar 2 mingguan. Karena di kuliah ini kita belajar cara kerjanya Google, akhirnya tugas besarnya pun disuruh bikin search engine juga. Dulu waktu semester 6, pas ngambil kuliah Desain&Analisis Algoritma, pernah juga sih disuruh bikin search engine, tapi menggunakan algoritma-algoritma yang udah diajarin. Nah klo search engine tugas IR ini dibikin bener-bener sesuai cara kerja search engine yang seharusnya dan harus bisa berjalan online.

Tahap pembuatan search engine nya sendiri dibagi jadi dua : Indexing dan Searching

Proses yang dilakukan waktu indexing ternyata ga sederhana dan lumayan banyak, antara lain :

1. Saat ada dokumen yang masuk, dilakukan proses break into token, yaitu memecah-mecah dokumen jadi token-token alias dipecah per kata.

2. Abis itu, dilakukan stop list, yaitu menghilangkan token-token yang ga penting, misalnya kata-kata : dan, di, yang, atau, dst.

3. Proses yang ketiga yaitu stemming. Proses ini untuk menghilangkan imbuhan dan mengembalikan kata-kata ke bentuk dasarnya. Misalnya kata “mengerjakan” di-stemming menjadi kata “kerja”

4. Setelah itu, token-token yang udah lolos proses stop list dan stemming diberi bobot (weight). Sebenernya ada 2 metode term weighting yang bisa dipake yaitu term frequency (tf) dan idf (lupa idf tuh kepanjangannya apa..hehe). Cuma kmaren aku cuma bikin pembobotan token nya pke metode term frequency, yaitu dengan membari bobot pada token sesuai jumlah kemunculan token itu dalam sebuah dokumen.

5. Stelah keempat proses di atas selesai, baru deh token itu bisa masuk ke database sebagai index.

Fiuhhhhh….melelahkan bukan? padahal ini cuma untuk indexing aja. Sedangkan proses searching nya sendiri ga jauh beda sama proses indexing nya. Proses nya antara lain :

1. Parse query, yaitu memecah-mecah query (keyword) yang dimasukkan user menjadi token-token. Proses ini ga jauh beda sama proses break into token di indexing.

2. Abis itu token-token yang dipecah dari query tadi masuk ke proses stop list dan stemming. Proses ini juga ga jauh beda sama yang ada di indexing.

3. Nah proses yang ketiga ini yaitu mencari token di index database dan di document collection

4. Trus semua dokumen yang ditemukan dilakukan pe-ranking-an dulu sebelum ditampilkan. Ada beberapa metode perangkingan ini misalnya dengan menghitung nilai similarity antara dokumen dan query nya, bisa juga dengan metode page rank. tapi kmaren search engine yang aku buat cuma pke metode perankingan similarity.

5. Abis dilakukan perankingan, baru deh dokumen hasi pencarian itu ditampilkan sesuai urutan rankingnya, yaitu semakin tinggi nilai similarity sebuah dokumen dengan query nya maka semakin tinggi juga ranking nya

Lumayan bekerja keras juga nyelesain tugas besar ini. Tapi puas juga dengan hasilnya. Buat yang mw liat kya apa hasil search engine buatanku dan tmen2ku bisa diliat di :

untuk proses indexing nya di www.kitakita.co.cc/indexing2. Nanti disana silahkan masukkan dokumen (dalam format free text dokumen yang diinputkan ke text area), trus klik tombol submit, nanti kluar smua proses yang terjadi di indexing kya yg dijelasin di atas

trus, klo untuk searching nya diakses lewat www.kitakita.co.cc. Masukkan keyword di textfield yang tersedia. Klo kata-kata yang dicari ada, maka akan tampil hasilnya sekaligus muncul proses-proses searching yang dijelasin di atas. Tapi mohon maaf kalo tiba-tiba keyword yang dicari sering ga ada, karena kami bukan Google! yang punya web crawler otomatis yang bisa mengenali hampir semua halaman web yang ada di internet. Tapi yang insya Allah ada yaitu dokumen dengan keyword “internet”.

Selamat mencoba!!

About these ads