Ubuntu Türkiye

Yazılım => Programlama => PHP => Konuyu başlatan: Ubuntu-az - 19 Eylül 2009 - 22:07:56

Başlık: Arama motoru nasıl yapılır? Misal:Google
Gönderen: Ubuntu-az - 19 Eylül 2009 - 22:07:56
Arkadaşlar misal da olsa şaka gibi feliyor biliyorum :D ama bi de bu yanından bakalım ki, mesela Google Custom Search diye bi şey var. Google kendi bünyesinde sana bedava seçdiğin sitelerde arama kurmanı sağlıyor ve de bi hayli siteler de kullanıyor. Mesela ben size bi siteyi veriyim Azeri Arama Motoru (http://tinyurl.com/azsearch) baksanız hemen modifiye olunmuş bir Google Custom Search olduğunu anlarsınız ki, arama sonuçarı bölümüde sağ köşede logosu da mevcuttur. Ama bi de bi şeyi söyleyeyim ki, bu yakınlarda Azerbaycanda her ülkede olduğu gibi reklamdan para kazandıran, haber, online alış-veriş, blog servisi, forum ve s. işleri bir portal görüntüsünde yapan bu sitede bi de Arama Motoru (http://tinyurl.com/azportal) da var. Ama bu Google-la alakalı bi arama sistemi değil portalın Joomla kullandığını temin ederim. Ama böyle bir arama motorunu kurmak nasıldır, neleri bilmek gerekiyor, böyle bir hazır CMS ve skript gibi bir şeyler varmıdır. Open Source hazır kodları falan da olur. Yani ne varsa kitap bile olursa bilmek istiyorum. Arkadaşlar bildiklerinizi paylaşırsanız çok sevinirim.
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: Amad - 20 Eylül 2009 - 01:19:10
Ya şimdi bu konu gerçekten ama gerçekten çok karışıktır. Mesela google senin sitendeki "head" tagları arasındaki diğer taglara (örneğin: title, meta description, meta content) vs gibi kodlara bakar, body tagları arasındaki <!-- --> arasında olmayan tüm herşeye bakar...

Bu kadar bakar bakar dedim de nasıl bakar onu söyliyeyim... şimdi preg_match komutu gibi fakat kendisi farklılaştırdığı bir fonksyonu var google amcamızın, bu fonksyon sayesinde önce head, sonra body arasındaki verilere bakar.

Neye göre üst sıralarda çıkartır : pagerank yüksek olacak (ki nasıl hesapladığını açıklamak uzun hikaye), kötü bildirilmemiş olacak, anahtar kelimeler bol bol sitede mevcut olacak...

Ben sadece kısaltarak anlattım böyle birşey yapmak istiyorsan yardım etmek isterim...

İyi çalışmalar
Başlık: Arama motoru nasıl yapılır? Misal:Google
Gönderen: Ubuntu-az - 20 Eylül 2009 - 10:00:45
Alıntı yapılan: Amad - 20 Eylül 2009 - 01:19:10
Ya şimdi bu konu gerçekten ama gerçekten çok karışıktır. Mesela google senin sitendeki "head" tagları arasındaki diğer taglara (örneğin: title, meta description, meta content) vs gibi kodlara bakar, body tagları arasındaki <!-- --> arasında olmayan tüm herşeye bakar...

Bu kadar bakar bakar dedim de nasıl bakar onu söyliyeyim... şimdi preg_match komutu gibi fakat kendisi farklılaştırdığı bir fonksyonu var google amcamızın, bu fonksyon sayesinde önce head, sonra body arasındaki verilere bakar.

Neye göre üst sıralarda çıkartır : pagerank yüksek olacak (ki nasıl hesapladığını açıklamak uzun hikaye), kötü bildirilmemiş olacak, anahtar kelimeler bol bol sitede mevcut olacak...

Ben sadece kısaltarak anlattım böyle * bir şey yapmak istiyorsan yardım etmek isterim...

İyi çalışmalar
İlgilenmen bile benim için çok önemli. Teşekkürler. Ama google bu işlemleri bot-lar yardımcılığıyla yapar. Bu bot-ların da adları var. Freshbot, Adsense ve DeepCrowl. Ama ben Google alternatifi yapmak gibi saçma bir düşünce içerisinde değilim ki, bu da mümkündür. Ama benim için önemli olan örneğini verdiğim site http://tinyurl.com/azportal önemli. Yani bunu nasıl yapdılar. Google-ile mi anlaşdılar. Kendilerimi bot yazdılar. Ama kendilerinin yaptığına inanmıyorum. Mutlaka hazır bir şeyler kullanmışlardır. Ne olur yardımcı ola bilecek arkadaşlar bilgi versin!
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: Amad - 20 Eylül 2009 - 17:28:37
Verdiğin linki inceledim kendileri yazmış olamazlar olsa da bu kadar hızlı çalışamaz :)

Yaptığı şey yine aynı mantık preg_match yapıp verileri göstermek olabilir (Google'dan tabii). Örneğin sana bir örnek anlatıyım. Kim yaptığını hatırlamıyorum ama eburhan dı sanırım onun "Gopof" adında (GOogle POsition Finder) bir sistemi vardı. Tamamiyle mantığı google da aratıp onu preg_match yaparak listeletmek. Bununla aynı mantıkta olduğunu düşünüyorum. İstersen Preg_match, replace, match_all komutlarıyla ilgili makaleler gönderebilirim ?
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: Ubuntu-az - 20 Eylül 2009 - 23:16:22
Alıntı yapılan: Amad - 20 Eylül 2009 - 17:28:37
Verdiğin linki inceledim kendileri yazmış olamazlar olsa da bu kadar hızlı çalışamaz :)

Yaptığı şey yine aynı mantık preg_match yapıp verileri göstermek olabilir (Google'dan tabii). Örneğin sana bir örnek anlatıyım. Kim yaptığını hatırlamıyorum ama eburhan dı sanırım onun "Gopof" adında (GOogle POsition Finder) bir sistemi vardı. Tamamiyle mantığı google da aratıp onu preg_match yaparak listeletmek. Bununla aynı mantıkta olduğunu düşünüyorum. İstersen Preg_match, replace, match_all komutlarıyla ilgili makaleler gönderebilirim ?
Aslında çok iyi olur. Buna ihtiyacım var. Yardımcı olduğunuz için teşekkürler! Bu benim sana linkini verdiğim Joomla tabanlı bir portaldır. Şimdilik DataLife gibi bir varez sonra yavaş-yavaş linkini verdiğim site benzeri bir portal yapmak istiyorum. Abi anlaşılan işden iyi anlıyorsun. Bu portalın Google Ads-a benzer bi de Adwords reklamdan para kazandirma sistemi var. Bunu nerden bula bilirim?
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: Amad - 20 Eylül 2009 - 23:50:07
Abi deme de adımla rahatça çağırabilirsin ^^

Adsense mantığını da anlatıyım sana kısaca:
adsense de örnek script
<skript src="siteadresin/php.php">
kullanici=12;
yukseklik=100;
genislik=600;
</skrtip>
i sitene yerleştirdiğinde senin sitene document.writeln komutu sanırım onunla iframe yazıyor senin verdiin kullanıcı = 12 id sine ait reklam yapıştırıyor (tabii kullanıcı, kanal vs de var da kısalttım). orda verdiğin yukseliklik ve genislik olarak da iframe yaratıyor kısaca bu... adsense'in asıl marifeti senin ziyaretçinin fake veya normal ciddi ciddi o reklama tıklanıp tıklanmadığını araştırıp parayı sana kazandırmak. Öyle bir sistem yazmak istersen sana gönderebilirim fakat evimdeki internette problem yaşıyorum şu aralar.

Elimden ne gelirse yardımcı olurum. Ubuntu dan çakmıyorum pek bari php de yardımım dokunsun .)
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: Ubuntu-az - 21 Eylül 2009 - 09:27:28
Amad teşekkürler aslında mantığı anlamam için bu kod yardımcım oldu. Esas bu arama motoru işini çözmek ilk işim. Sen bu iş için bir kaç şeyin olduğunu söylemişdin. Mümkünse onları da bana gönderirmisin.
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: canosayan - 21 Eylül 2009 - 11:14:42
bu sistem bir nevi google gibi çalışıyor diyebiliriz. önemli olan sayfaları indexleyebiliyor. amad'ın bu kadar hızlı çalışamaz fikrine katılmıyorum. çünkü google ın en son duyduğum rakamla 12 milyar indeksli web sayfası vardı.(eski bir bilgi buda)

bir kelimeyi aradığınızda google sizin bölgenizle ilgili sonuçların olduğu indexe bakar. yeterli sonuç yoksa daha geniş indekse bakar. bu yüzden siz banka yazarsanız. türkiyedeki bankalara yönelik çözümleri daha önce alırsınız.

bu sitenin bu işi daha hızlı yapabilmesinin sırrı daha küçük bir indexi kontrol etmesi. örnek vermek gerekirse, google 0.13 saniyede size ubuntu ile ilgili 57.300.000 bağlantı çıkartıyor. Fakat bu site benzer bir zaman aralığında sadece 2351 bağlantı çıkartabiliyor. yani eğer gerçekten ölçersek google bu sitenin yanında onlarca kat daha hızlı.

sitenin kendi indexleme yaptığına dair bir başka örnekse şu olabilir. mesela google.az da canosayan araması yaptım(kendini beğenmişlik değil az sonuç çıkartacak ortaklığı az bir kelime) google.az 4030 sonuç verdi. bu sitede canosayan araması yaptığımda ise hiç bir sonuç bulunmadı.eğer sonuçları googledan sağlıyor olsa idi pekala canosayan sorgusu içinde sonuçlar bulabilirdi.

sitenin verdiği http://search.yumroo.az/add_url.php adresinden kendi blogum olan canosayan.com'u ilave ettim. eğer yakın bir zamanda canosayan sorgusunda sonuçlar bulabilirse bu bize çok daha rahat kendi indexlemesini kullanıyor deme şansı sunar.
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: Amad - 21 Eylül 2009 - 11:40:57
Alıntı yapılan: Ubuntu-az - 21 Eylül 2009 - 09:27:28
Amad teşekkürler aslında mantığı anlamam için bu kod yardımcım oldu. Esas bu arama motoru işini çözmek ilk işim. Sen bu iş için bir kaç şeyin olduğunu söylemişdin. Mümkünse onları da bana gönderirmisin.

Preg_replace, preg_match vs mi dedin anlayamadım ?
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: Ubuntu-az - 21 Eylül 2009 - 13:31:01
Alıntı yapılan: Amad - 21 Eylül 2009 - 11:40:57
Alıntı yapılan: Ubuntu-az - 21 Eylül 2009 - 09:27:28
Amad teşekkürler aslında mantığı anlamam için bu kod yardımcım oldu. Esas bu arama motoru işini çözmek ilk işim. Sen bu iş için bir kaç şeyin olduğunu söylemişdin. Mümkünse onları da bana gönderirmisin.

Preg_replace, preg_match vs mi dedin anlayamadım ?
evet aynen...


Mesaj tekrarı yüzünden mesajınız birleştirildi. Bu mesajın gönderim tarihi : 21 Eylül 2009 - 13:58:12

Alıntı yapılan: canosayan - 21 Eylül 2009 - 11:14:42
bu sistem bir nevi google gibi çalışıyor diyebiliriz. önemli olan sayfaları indexleyebiliyor. amad'ın bu kadar hızlı çalışamaz fikrine katılmıyorum. çünkü google ın en son duyduğum rakamla 12 milyar indeksli web sayfası vardı.(eski bir bilgi buda)

bir kelimeyi aradığınızda google sizin bölgenizle ilgili sonuçların olduğu indexe bakar. yeterli sonuç yoksa daha geniş indekse bakar. bu yüzden siz banka yazarsanız. türkiyedeki bankalara yönelik çözümleri daha önce alırsınız.

bu sitenin bu işi daha hızlı yapabilmesinin sırrı daha küçük bir indexi kontrol etmesi. örnek vermek gerekirse, google 0.13 saniyede size ubuntu ile ilgili 57.300.000 bağlantı çıkartıyor. Fakat bu site benzer bir zaman aralığında sadece 2351 bağlantı çıkartabiliyor. yani eğer gerçekten ölçersek google bu sitenin yanında onlarca kat daha hızlı.

sitenin kendi indexleme yaptığına dair bir başka örnekse şu olabilir. mesela google.az da canosayan araması yaptım(kendini beğenmişlik değil az sonuç çıkartacak ortaklığı az bir kelime) google.az 4030 sonuç verdi. bu sitede canosayan araması yaptığımda ise hiç bir sonuç bulunmadı.eğer sonuçları googledan sağlıyor olsa idi pekala canosayan sorgusu içinde sonuçlar bulabilirdi.

sitenin verdiği http://search.yumroo.az/add_url.php adresinden kendi blogum olan canosayan.com'u ilave ettim. eğer yakın bir zamanda canosayan sorgusunda sonuçlar bulabilirse bu bize çok daha rahat kendi indexlemesini kullanıyor deme şansı sunar.
Anlaşılan siz Google Custom Search ile ilgili yazdığımı gözden kaçırmışsınız. Çünki ben çok önceleri Google Custom Search hesabı açmışdım. Bu hesap yardımıyla istediğim siteyi ilave ede biliyorum. Yani ben verdiğim siteler arasında aramasını sağlamak için siteleri kendim ilave ediyorum. Ama böyle olduğu zaman arama sonuçları bölümünün sağında "Powered by Google Custom Search" yazısı çıkıyor. Peki sitenin Google custom search olmadığı ne malum. Eğer sizin söylediğiniz gibi kendileri yazdığı bir arama motoruysa mutlaka hazır bir skriptdir. Kendileri yazmamıştır. Eğer kendileri yazmışsa bile PHP-de arama motoru yapa bilmem için dökümanlar istiyorum. Ama öyle olmadığını da biliyorum.
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: Amad - 21 Eylül 2009 - 14:39:43
Tüm dökümanlar ingilizce özellikle çevirmemi istediğin biryer olursa yaz ,)
http://www.noupe.com/php/php-regular-expressions.html
http://www.catswhocode.com/blog/15-php-regular-expressions-for-web-developers
http://www.ibm.com/developerworks/opensource/library/os-php-regex1/index.html
http://www.phpro.org/tutorials/Introduction-to-PHP-Regex.html
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: canosayan - 21 Eylül 2009 - 15:32:32
Alıntı yapılan: Ubuntu-az - 21 Eylül 2009 - 13:31:01
Alıntı yapılan: Amad - 21 Eylül 2009 - 11:40:57
Alıntı yapılan: Ubuntu-az - 21 Eylül 2009 - 09:27:28
Amad teşekkürler aslında mantığı anlamam için bu kod yardımcım oldu. Esas bu arama motoru işini çözmek ilk işim. Sen bu iş için bir kaç şeyin olduğunu söylemişdin. Mümkünse onları da bana gönderirmisin.

Preg_replace, preg_match vs mi dedin anlayamadım ?
evet aynen...


Mesaj tekrarı yüzünden mesajınız birleştirildi. Bu mesajın gönderim tarihi : 21 Eylül 2009 - 03:58:12

Alıntı yapılan: canosayan - 21 Eylül 2009 - 11:14:42
bu sistem bir nevi google gibi çalışıyor diyebiliriz. önemli olan sayfaları indexleyebiliyor. amad'ın bu kadar hızlı çalışamaz fikrine katılmıyorum. çünkü google ın en son duyduğum rakamla 12 milyar indeksli web sayfası vardı.(eski bir bilgi buda)

bir kelimeyi aradığınızda google sizin bölgenizle ilgili sonuçların olduğu indexe bakar. yeterli sonuç yoksa daha geniş indekse bakar. bu yüzden siz banka yazarsanız. türkiyedeki bankalara yönelik çözümleri daha önce alırsınız.

bu sitenin bu işi daha hızlı yapabilmesinin sırrı daha küçük bir indexi kontrol etmesi. örnek vermek gerekirse, google 0.13 saniyede size ubuntu ile ilgili 57.300.000 bağlantı çıkartıyor. Fakat bu site benzer bir zaman aralığında sadece 2351 bağlantı çıkartabiliyor. yani eğer gerçekten ölçersek google bu sitenin yanında onlarca kat daha hızlı.

sitenin kendi indexleme yaptığına dair bir başka örnekse şu olabilir. mesela google.az da canosayan araması yaptım(kendini beğenmişlik değil az sonuç çıkartacak ortaklığı az bir kelime) google.az 4030 sonuç verdi. bu sitede canosayan araması yaptığımda ise hiç bir sonuç bulunmadı.eğer sonuçları googledan sağlıyor olsa idi pekala canosayan sorgusu içinde sonuçlar bulabilirdi.

sitenin verdiği http://search.yumroo.az/add_url.php adresinden kendi blogum olan canosayan.com'u ilave ettim. eğer yakın bir zamanda canosayan sorgusunda sonuçlar bulabilirse bu bize çok daha rahat kendi indexlemesini kullanıyor deme şansı sunar.
Anlaşılan siz Google Custom Search ile ilgili yazdığımı gözden kaçırmışsınız. Çünki ben çok önceleri Google Custom Search hesabı açmışdım. Bu hesap yardımıyla istediğim siteyi ilave ede biliyorum. Yani ben verdiğim siteler arasında aramasını sağlamak için siteleri kendim ilave ediyorum. Ama böyle olduğu zaman arama sonuçları bölümünün sağında "Powered by Google Custom Search" yazısı çıkıyor. Peki sitenin Google custom search olmadığı ne malum. Eğer sizin söylediğiniz gibi kendileri yazdığı bir arama motoruysa mutlaka hazır bir skriptdir. Kendileri yazmamıştır. Eğer kendileri yazmışsa bile PHP-de arama motoru yapa bilmem için dökümanlar istiyorum. Ama öyle olmadığını da biliyorum.

google custom search'ü biliyor ve kullanıyorum. benim anlatmak istediğim bunun harici bir script olduğu yönünde. kendileri yazmıştır yada yazmamıştır bilemeyeceğim. ama sonuçta biri yazmış.
Başlık: Arama motoru nasıl yapılır? Misal:Google
Gönderen: Ubuntu-az - 24 Eylül 2009 - 14:35:08
Peki ben Google Custom Search kullanmaya karar verdim. Ama simdi bunun icin bana yardiminiz gerekli. http://tinyurl.com/azsearch sitesindeki gibi siteyi degistirmek istiyorum. Yani Google-in verdigi gibi kalmasin kendim header, footer ayarlarini yapmak ve de css uygulamak istiyorum. Yardimlarinizi bekliyorum. Neyi nasil yapmam gerekdigini bilmiyorum. Tek bildigim Google Custom Search hesabini aca bilmek.
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: Amad - 25 Eylül 2009 - 11:17:41
@Ubuntu-az, ben yardımcı olurum fakat kodları buradaki arkadaşlarla da paylaşma sözü isterim ?
Başlık: Arama motoru nasıl yapılır? Misal:Google
Gönderen: Ubuntu-az - 25 Eylül 2009 - 19:57:58
Yapdigimi yazicam. Arkadaslarla da ne modifiye edicegim koldari varsa onlar da bitdikden sonra yazaram. Eger lazim olursa adim-adim anlatim bile veririm. Resim bile ilave ederim. Bu konuda emin ol. Allah razi olsun.
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: Amad - 25 Eylül 2009 - 20:30:59
Tamam o zaman arkadaşlara da burdan söz vermiş olduk beraber devamını pm'den halledelim ,)
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: ubuntuser - 10 Ocak 2010 - 02:55:19
bi sonuç varmı acaba paylaşma sözü almışsın amad devamı gelmemiş :)
Başlık: Arama motoru nasıl yapılır? Misal:Google
Gönderen: Ubuntu-az - 10 Ocak 2010 - 08:57:37
Abi gelmesi için bir iş olması gerekiyor. Google Custom Search-ü her kes biliyor. Ama ben istediğim bu değildi. Ben sölediğim sıfırdan bi arama motoru yapmakdı. Yani ya kendin yazıcakdın, ya da ki, böyle bir hazır platformlar falan. Ama istediğimi bulamadım çünki forumda bu işin profosyonel tarafını bilen yok.
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: ubuntuser - 10 Ocak 2010 - 14:35:59
Amad ın bilgisi de yetersiz kaldı demek ki.başka forumlarda araştırdınmı peki bu konuyu?
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: sema - 10 Ocak 2010 - 14:41:26

Arama moturunu C#'ta çok kolay bir şekilde yapabilirsiniz, biz yapmıştık daha önce.. Ama bir bakmam gerek.. Şimdi işlerim var akşama cevap vereceğim..

Düzeltme: Çok özür yardımcı olacağını söyleyen arkadaş varmış, ben de atladım hemen.. Sadece üstteki mesajları okuyunca, pardon..
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: ubuntuser - 10 Ocak 2010 - 14:43:11
.net paltformunda daha basit işler ve daha güçlü galiba ama php nin yeri başka :) linux gibi php de bi sevda oldu bende :)
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: sema - 10 Ocak 2010 - 14:45:17

Hımm.. Tekrar pardon.. Baştan sona sazanlık yapmışım :D
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: ubuntuser - 10 Ocak 2010 - 14:47:08
estagfurullah.siz yine de yardımınızı yapın c# ta olsa mantık aynı sonuçta.yorumlayıp php ye çevirmesinide biz yapalım.herşeyi hazır beklemek hoş olmaz zaten :)
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: sema - 10 Ocak 2010 - 18:29:53

Şimdi dergi yazımla ilgileniyorum, geri döneceğim buraya, geç olsa da..
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: ubuntuser - 10 Ocak 2010 - 19:25:10
site içi arama gibi mi yoksa normal bir arama motoru mu acaba bu yaptığınız? kolay gelsin bu arada
Başlık: Arama motoru nasıl yapılır? Misal:Google
Gönderen: Ubuntu-az - 10 Ocak 2010 - 23:21:48
Tabii de ki, bildigimiz google.com, search.yahoo.com, mail.ru, ya.ru gibi arama motorlari. Ama "php" olmasina cok sevinirim. Site ici arama motoru kendim "php" de yaza bilirim. Yani basit bir arama motoru da yazmak mumkun zaten. Ama arkadaslar tabii de ki, her sey kitabina uygun yapilmalidir ve de standartlara uymalidir. Ben bu isin profesyonel yapilanmasi ogrenmek istiyorum. Yani tabii de ki, google gibi bir sirket kendi gelistirdigi bir sheylerle bunu yapmis ola bilir. Bizim de maksadimiz google yapmak degil ki, yapamayiz da. Sadece bu isi ogrenmek ve bilmek. En azindan dev arama motorlarinin arkasindaki motorun nasil calisdigi mantigina sahip olmak ve bir seyler yapa bilmek. Ama hic kimse SEO hakkinda yazmasin bunu biliyoruz. Merak edilen teknik tarafi. Hepinize tesekkurler. Cevaplarinizi bekliyorum.
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: bRaVe - 05 Şubat 2010 - 13:16:12
Merhabalar, konu biraz eski ama hâlâ ihtiyacın varsa diye bir betik önermek istiyorum.
Betiği kullanmasan bile en azından fikir edinmene yardımcı olacaktır:

Sphider (php) (http://www.sphider.eu)
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: barış atmn - 27 Eylül 2011 - 21:38:26
sema c# da yaptığınız algoritmayı ekleyebilirmisin. bizim de java da projemiz var bununla ilgili eklersen çok iyi olur :D
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: tarik54 - 07 Aralık 2012 - 21:20:14
misal:google dediğin için örnekle anlataım

ön planda : python, php, perl....
arka planda : c++ , java, ...
diller arası iletişim : protocolbuffer, thrift, msgpack rpc (kısacası rpc die arat)
veri tabanı : hbase, hypertable, mongodb, redis ... (sayac için redis ideal, büyük veriler için hbase veya hypertable)
alt yapı . hadoop olabilir
aramalar için : lucene altyapısında (solr, elastic search) veya belki sphinx
crawler : solr ve hbase için nutch iş görür. oturupta crawler yazmaya gerek yok..

bildiğim kadarıyla google ın sistemi :::
ön plan dili : python
arka plan : c++ ve java
iletişim : protocol buffer ( zaten araştırrsan python , c++ ve java rpc didir)
veri tabanı : bigtable (c++ ile yazılmış die biliyorum)
sunucu : headerları değiştirilmiş apache , server kısmında gws yazıo
altyapı : hadoop tarzı. hadoop google file system dan esinlenilmiştir.
arama işlemlerini saniyeler içinde yapması cache(önbellek) server ve distributed(dağıtımlı) searchs sayesinde map&reduce algoritması
hadoop ta var map&reduce

bildiğim kadarıyla böyleydi
soruya göre biraz ağır oldu galiba ve ölmüş konuyu hortlatmak gibi oldu :D ama ihtiyacı olanlar için bilgi olur
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: heartsmagic - 08 Aralık 2012 - 14:29:00
Meraklıları için son derece güzel bir cevap olmuş bence.
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: ShangriLa - 20 Eylül 2015 - 12:45:54
Bu konuda defalarca PHP önerilmiş. Programlamaya PHP ile başlayacağına hiç öğrenme, başka alanlara yönel daha iyi.
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: ersinkandemir - 20 Eylül 2015 - 22:41:59
@ShangriLa Açabilir misin biraz, bu PHP nefretinin arkaplanını merak ettim. :)
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: lnxdev - 21 Eylül 2015 - 01:17:57
Alıntı yapılan: ShangriLa - 20 Eylül 2015 - 12:45:54
Bu konuda defalarca PHP önerilmiş. Programlamaya PHP ile başlayacağına hiç öğrenme, başka alanlara yönel daha iyi.

Gerçekten çok başına savuruk bir argüman söylemişsiniz PHP'yi neden hiç öğrenilmemesi hakkında burada bizleride bilgilendirisen çok sevinirim. Şayet ben aylık paramı bu dil üzerinden kazanıyorum çok geç olmadan bırakmam gerekirse bırakayım.
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: Reverser - 21 Eylül 2015 - 02:47:48
aynı şekilde ben de nedenini öğrenmek isterim @ShangriLa.
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: -DıLgEş- - 22 Eylül 2015 - 14:56:29
PHP en iyi web programlamada kullanılır. Veritabanı ile birlikte kullanılır. Eğer nefretin bu konuda ise başka bir programlama dillerine yönelirsiniz. PHP iyi bir dil. Türkiye'de bildiğim kadar çok fazla PHP programcısı var.
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: oasln - 22 Eylül 2015 - 22:47:36
Bu konuyu tamamen unutmuşum, ShangriLa kardeşim olur, bu nedenle üye olurken aynı IP adresi nedeniyle sıkıntı yaşamıştık.

ShangriLa sadece ben ona öyle dediğim için sevmiyor PHP'yi. Benim PHP'den neden pek haz etmediğimi anlatan bir forum postu yazıyordum ama forum BBCODE formatıyla istediğim gibi gözükmüyor. Ben de 8 senede 10 post attığım blogumda yayımlamaya karar verdim madem sordunuz, hem buraya yazmam yersiz olurdu konuyla pek alakası yok.

Herneyse neden php'yi pek sevmiyorum buradan (http://onur.im/php.html) okuyabilirsiniz.
Başlık: Ynt: Arama motoru nasıl yapılır? Misal:Google
Gönderen: ekremsenturk - 25 Eylül 2015 - 21:31:04
Blog reklamı çıktı işin içinden.