Arama motoru nasıl yapılır? Misal:Google

[Ubuntu-az]

Arkadaşlar misal da olsa şaka gibi feliyor biliyorum ama bi de bu yanından bakalım ki, mesela Google Custom Search diye bi şey var. Google kendi bünyesinde sana bedava seçdiğin sitelerde arama kurmanı sağlıyor ve de bi hayli siteler de kullanıyor. Mesela ben size bi siteyi veriyim Azeri Arama Motoru baksanız hemen modifiye olunmuş bir Google Custom Search olduğunu anlarsınız ki, arama sonuçarı bölümüde sağ köşede logosu da mevcuttur. Ama bi de bi şeyi söyleyeyim ki, bu yakınlarda Azerbaycanda her ülkede olduğu gibi reklamdan para kazandıran, haber, online alış-veriş, blog servisi, forum ve s. işleri bir portal görüntüsünde yapan bu sitede bi de Arama Motoru da var. Ama bu Google-la alakalı bi arama sistemi değil portalın Joomla kullandığını temin ederim. Ama böyle bir arama motorunu kurmak nasıldır, neleri bilmek gerekiyor, böyle bir hazır CMS ve skript gibi bir şeyler varmıdır. Open Source hazır kodları falan da olur. Yani ne varsa kitap bile olursa bilmek istiyorum. Arkadaşlar bildiklerinizi paylaşırsanız çok sevinirim.

[Amad]

Ya şimdi bu konu gerçekten ama gerçekten çok karışıktır. Mesela google senin sitendeki "head" tagları arasındaki diğer taglara (örneğin: title, meta description, meta content) vs gibi kodlara bakar, body tagları arasındaki <!-- --> arasında olmayan tüm herşeye bakar...

Bu kadar bakar bakar dedim de nasıl bakar onu söyliyeyim... şimdi preg_match komutu gibi fakat kendisi farklılaştırdığı bir fonksyonu var google amcamızın, bu fonksyon sayesinde önce head, sonra body arasındaki verilere bakar.

Neye göre üst sıralarda çıkartır : pagerank yüksek olacak (ki nasıl hesapladığını açıklamak uzun hikaye), kötü bildirilmemiş olacak, anahtar kelimeler bol bol sitede mevcut olacak...

Ben sadece kısaltarak anlattım böyle birşey yapmak istiyorsan yardım etmek isterim...

İyi çalışmalar

[Ubuntu-az]

Ya şimdi bu konu gerçekten ama gerçekten çok karışıktır. Mesela google senin sitendeki "head" tagları arasındaki diğer taglara (örneğin: title, meta description, meta content) vs gibi kodlara bakar, body tagları arasındaki <!-- --> arasında olmayan tüm herşeye bakar...

Bu kadar bakar bakar dedim de nasıl bakar onu söyliyeyim... şimdi preg_match komutu gibi fakat kendisi farklılaştırdığı bir fonksyonu var google amcamızın, bu fonksyon sayesinde önce head, sonra body arasındaki verilere bakar.

Neye göre üst sıralarda çıkartır : pagerank yüksek olacak (ki nasıl hesapladığını açıklamak uzun hikaye), kötü bildirilmemiş olacak, anahtar kelimeler bol bol sitede mevcut olacak...

Ben sadece kısaltarak anlattım böyle * bir şey yapmak istiyorsan yardım etmek isterim...

İyi çalışmalar

İlgilenmen bile benim için çok önemli. Teşekkürler. Ama google bu işlemleri bot-lar yardımcılığıyla yapar. Bu bot-ların da adları var. Freshbot, Adsense ve DeepCrowl. Ama ben Google alternatifi yapmak gibi saçma bir düşünce içerisinde değilim ki, bu da mümkündür. Ama benim için önemli olan örneğini verdiğim site http://tinyurl.com/azportal önemli. Yani bunu nasıl yapdılar. Google-ile mi anlaşdılar. Kendilerimi bot yazdılar. Ama kendilerinin yaptığına inanmıyorum. Mutlaka hazır bir şeyler kullanmışlardır. Ne olur yardımcı ola bilecek arkadaşlar bilgi versin!

[Amad]

Verdiğin linki inceledim kendileri yazmış olamazlar olsa da bu kadar hızlı çalışamaz

Yaptığı şey yine aynı mantık preg_match yapıp verileri göstermek olabilir (Google'dan tabii). Örneğin sana bir örnek anlatıyım. Kim yaptığını hatırlamıyorum ama eburhan dı sanırım onun "Gopof" adında (GOogle POsition Finder) bir sistemi vardı. Tamamiyle mantığı google da aratıp onu preg_match yaparak listeletmek. Bununla aynı mantıkta olduğunu düşünüyorum. İstersen Preg_match, replace, match_all komutlarıyla ilgili makaleler gönderebilirim ?

[Ubuntu-az]

Verdiğin linki inceledim kendileri yazmış olamazlar olsa da bu kadar hızlı çalışamaz

Yaptığı şey yine aynı mantık preg_match yapıp verileri göstermek olabilir (Google'dan tabii). Örneğin sana bir örnek anlatıyım. Kim yaptığını hatırlamıyorum ama eburhan dı sanırım onun "Gopof" adında (GOogle POsition Finder) bir sistemi vardı. Tamamiyle mantığı google da aratıp onu preg_match yaparak listeletmek. Bununla aynı mantıkta olduğunu düşünüyorum. İstersen Preg_match, replace, match_all komutlarıyla ilgili makaleler gönderebilirim ?

Aslında çok iyi olur. Buna ihtiyacım var. Yardımcı olduğunuz için teşekkürler! Bu benim sana linkini verdiğim Joomla tabanlı bir portaldır. Şimdilik DataLife gibi bir varez sonra yavaş-yavaş linkini verdiğim site benzeri bir portal yapmak istiyorum. Abi anlaşılan işden iyi anlıyorsun. Bu portalın Google Ads-a benzer bi de Adwords reklamdan para kazandirma sistemi var. Bunu nerden bula bilirim?

[Amad]

Abi deme de adımla rahatça çağırabilirsin ^^

Adsense mantığını da anlatıyım sana kısaca:
adsense de örnek script
<skript src="siteadresin/php.php">
kullanici=12;
yukseklik=100;
genislik=600;
</skrtip>
i sitene yerleştirdiğinde senin sitene document.writeln komutu sanırım onunla iframe yazıyor senin verdiin kullanıcı = 12 id sine ait reklam yapıştırıyor (tabii kullanıcı, kanal vs de var da kısalttım). orda verdiğin yukseliklik ve genislik olarak da iframe yaratıyor kısaca bu... adsense'in asıl marifeti senin ziyaretçinin fake veya normal ciddi ciddi o reklama tıklanıp tıklanmadığını araştırıp parayı sana kazandırmak. Öyle bir sistem yazmak istersen sana gönderebilirim fakat evimdeki internette problem yaşıyorum şu aralar.

Elimden ne gelirse yardımcı olurum. Ubuntu dan çakmıyorum pek bari php de yardımım dokunsun .)

[Ubuntu-az]

Amad teşekkürler aslında mantığı anlamam için bu kod yardımcım oldu. Esas bu arama motoru işini çözmek ilk işim. Sen bu iş için bir kaç şeyin olduğunu söylemişdin. Mümkünse onları da bana gönderirmisin.

[canosayan]

bu sistem bir nevi google gibi çalışıyor diyebiliriz. önemli olan sayfaları indexleyebiliyor. amad'ın bu kadar hızlı çalışamaz fikrine katılmıyorum. çünkü google ın en son duyduğum rakamla 12 milyar indeksli web sayfası vardı.(eski bir bilgi buda)

bir kelimeyi aradığınızda google sizin bölgenizle ilgili sonuçların olduğu indexe bakar. yeterli sonuç yoksa daha geniş indekse bakar. bu yüzden siz banka yazarsanız. türkiyedeki bankalara yönelik çözümleri daha önce alırsınız.

bu sitenin bu işi daha hızlı yapabilmesinin sırrı daha küçük bir indexi kontrol etmesi. örnek vermek gerekirse, google 0.13 saniyede size ubuntu ile ilgili 57.300.000 bağlantı çıkartıyor. Fakat bu site benzer bir zaman aralığında sadece 2351 bağlantı çıkartabiliyor. yani eğer gerçekten ölçersek google bu sitenin yanında onlarca kat daha hızlı.

sitenin kendi indexleme yaptığına dair bir başka örnekse şu olabilir. mesela google.az da canosayan araması yaptım(kendini beğenmişlik değil az sonuç çıkartacak ortaklığı az bir kelime) google.az 4030 sonuç verdi. bu sitede canosayan araması yaptığımda ise hiç bir sonuç bulunmadı.eğer sonuçları googledan sağlıyor olsa idi pekala canosayan sorgusu içinde sonuçlar bulabilirdi.

sitenin verdiği http://search.yumroo.az/add_url.php adresinden kendi blogum olan canosayan.com'u ilave ettim. eğer yakın bir zamanda canosayan sorgusunda sonuçlar bulabilirse bu bize çok daha rahat kendi indexlemesini kullanıyor deme şansı sunar.

[Amad]

Amad teşekkürler aslında mantığı anlamam için bu kod yardımcım oldu. Esas bu arama motoru işini çözmek ilk işim. Sen bu iş için bir kaç şeyin olduğunu söylemişdin. Mümkünse onları da bana gönderirmisin.

Preg_replace, preg_match vs mi dedin anlayamadım ?

[Ubuntu-az]

Amad teşekkürler aslında mantığı anlamam için bu kod yardımcım oldu. Esas bu arama motoru işini çözmek ilk işim. Sen bu iş için bir kaç şeyin olduğunu söylemişdin. Mümkünse onları da bana gönderirmisin.

Preg_replace, preg_match vs mi dedin anlayamadım ?

evet aynen...


Mesaj tekrarı yüzünden mesajınız birleştirildi. Bu mesajın gönderim tarihi : 21 Eylül 2009 - 13:58:12

bu sistem bir nevi google gibi çalışıyor diyebiliriz. önemli olan sayfaları indexleyebiliyor. amad'ın bu kadar hızlı çalışamaz fikrine katılmıyorum. çünkü google ın en son duyduğum rakamla 12 milyar indeksli web sayfası vardı.(eski bir bilgi buda)

bir kelimeyi aradığınızda google sizin bölgenizle ilgili sonuçların olduğu indexe bakar. yeterli sonuç yoksa daha geniş indekse bakar. bu yüzden siz banka yazarsanız. türkiyedeki bankalara yönelik çözümleri daha önce alırsınız.

bu sitenin bu işi daha hızlı yapabilmesinin sırrı daha küçük bir indexi kontrol etmesi. örnek vermek gerekirse, google 0.13 saniyede size ubuntu ile ilgili 57.300.000 bağlantı çıkartıyor. Fakat bu site benzer bir zaman aralığında sadece 2351 bağlantı çıkartabiliyor. yani eğer gerçekten ölçersek google bu sitenin yanında onlarca kat daha hızlı.

sitenin kendi indexleme yaptığına dair bir başka örnekse şu olabilir. mesela google.az da canosayan araması yaptım(kendini beğenmişlik değil az sonuç çıkartacak ortaklığı az bir kelime) google.az 4030 sonuç verdi. bu sitede canosayan araması yaptığımda ise hiç bir sonuç bulunmadı.eğer sonuçları googledan sağlıyor olsa idi pekala canosayan sorgusu içinde sonuçlar bulabilirdi.

sitenin verdiği http://search.yumroo.az/add_url.php adresinden kendi blogum olan canosayan.com'u ilave ettim. eğer yakın bir zamanda canosayan sorgusunda sonuçlar bulabilirse bu bize çok daha rahat kendi indexlemesini kullanıyor deme şansı sunar.

Anlaşılan siz Google Custom Search ile ilgili yazdığımı gözden kaçırmışsınız. Çünki ben çok önceleri Google Custom Search hesabı açmışdım. Bu hesap yardımıyla istediğim siteyi ilave ede biliyorum. Yani ben verdiğim siteler arasında aramasını sağlamak için siteleri kendim ilave ediyorum. Ama böyle olduğu zaman arama sonuçları bölümünün sağında "Powered by Google Custom Search" yazısı çıkıyor. Peki sitenin Google custom search olmadığı ne malum. Eğer sizin söylediğiniz gibi kendileri yazdığı bir arama motoruysa mutlaka hazır bir skriptdir. Kendileri yazmamıştır. Eğer kendileri yazmışsa bile PHP-de arama motoru yapa bilmem için dökümanlar istiyorum. Ama öyle olmadığını da biliyorum.

[Amad]

Tüm dökümanlar ingilizce özellikle çevirmemi istediğin biryer olursa yaz ,)
http://www.noupe.com/php/php-regular-expressions.html
http://www.catswhocode.com/blog/15-php-regular-expressions-for-web-developers
http://www.ibm.com/developerworks/opensource/library/os-php-regex1/index.html
http://www.phpro.org/tutorials/Introduction-to-PHP-Regex.html

[canosayan]

Amad teşekkürler aslında mantığı anlamam için bu kod yardımcım oldu. Esas bu arama motoru işini çözmek ilk işim. Sen bu iş için bir kaç şeyin olduğunu söylemişdin. Mümkünse onları da bana gönderirmisin.

Preg_replace, preg_match vs mi dedin anlayamadım ?

evet aynen...


Mesaj tekrarı yüzünden mesajınız birleştirildi. Bu mesajın gönderim tarihi : 21 Eylül 2009 - 03:58:12

bu sistem bir nevi google gibi çalışıyor diyebiliriz. önemli olan sayfaları indexleyebiliyor. amad'ın bu kadar hızlı çalışamaz fikrine katılmıyorum. çünkü google ın en son duyduğum rakamla 12 milyar indeksli web sayfası vardı.(eski bir bilgi buda)

bir kelimeyi aradığınızda google sizin bölgenizle ilgili sonuçların olduğu indexe bakar. yeterli sonuç yoksa daha geniş indekse bakar. bu yüzden siz banka yazarsanız. türkiyedeki bankalara yönelik çözümleri daha önce alırsınız.

bu sitenin bu işi daha hızlı yapabilmesinin sırrı daha küçük bir indexi kontrol etmesi. örnek vermek gerekirse, google 0.13 saniyede size ubuntu ile ilgili 57.300.000 bağlantı çıkartıyor. Fakat bu site benzer bir zaman aralığında sadece 2351 bağlantı çıkartabiliyor. yani eğer gerçekten ölçersek google bu sitenin yanında onlarca kat daha hızlı.

sitenin kendi indexleme yaptığına dair bir başka örnekse şu olabilir. mesela google.az da canosayan araması yaptım(kendini beğenmişlik değil az sonuç çıkartacak ortaklığı az bir kelime) google.az 4030 sonuç verdi. bu sitede canosayan araması yaptığımda ise hiç bir sonuç bulunmadı.eğer sonuçları googledan sağlıyor olsa idi pekala canosayan sorgusu içinde sonuçlar bulabilirdi.

sitenin verdiği http://search.yumroo.az/add_url.php adresinden kendi blogum olan canosayan.com'u ilave ettim. eğer yakın bir zamanda canosayan sorgusunda sonuçlar bulabilirse bu bize çok daha rahat kendi indexlemesini kullanıyor deme şansı sunar.

Anlaşılan siz Google Custom Search ile ilgili yazdığımı gözden kaçırmışsınız. Çünki ben çok önceleri Google Custom Search hesabı açmışdım. Bu hesap yardımıyla istediğim siteyi ilave ede biliyorum. Yani ben verdiğim siteler arasında aramasını sağlamak için siteleri kendim ilave ediyorum. Ama böyle olduğu zaman arama sonuçları bölümünün sağında "Powered by Google Custom Search" yazısı çıkıyor. Peki sitenin Google custom search olmadığı ne malum. Eğer sizin söylediğiniz gibi kendileri yazdığı bir arama motoruysa mutlaka hazır bir skriptdir. Kendileri yazmamıştır. Eğer kendileri yazmışsa bile PHP-de arama motoru yapa bilmem için dökümanlar istiyorum. Ama öyle olmadığını da biliyorum.

google custom search'ü biliyor ve kullanıyorum. benim anlatmak istediğim bunun harici bir script olduğu yönünde. kendileri yazmıştır yada yazmamıştır bilemeyeceğim. ama sonuçta biri yazmış.

[Ubuntu-az]

Peki ben Google Custom Search kullanmaya karar verdim. Ama simdi bunun icin bana yardiminiz gerekli. http://tinyurl.com/azsearch sitesindeki gibi siteyi degistirmek istiyorum. Yani Google-in verdigi gibi kalmasin kendim header, footer ayarlarini yapmak ve de css uygulamak istiyorum. Yardimlarinizi bekliyorum. Neyi nasil yapmam gerekdigini bilmiyorum. Tek bildigim Google Custom Search hesabini aca bilmek.

[Amad]

@Ubuntu-az, ben yardımcı olurum fakat kodları buradaki arkadaşlarla da paylaşma sözü isterim ?

[Ubuntu-az]

Yapdigimi yazicam. Arkadaslarla da ne modifiye edicegim koldari varsa onlar da bitdikden sonra yazaram. Eger lazim olursa adim-adim anlatim bile veririm. Resim bile ilave ederim. Bu konuda emin ol. Allah razi olsun.

[Amad]

Tamam o zaman arkadaşlara da burdan söz vermiş olduk beraber devamını pm'den halledelim ,)

[ubuntuser]

bi sonuç varmı acaba paylaşma sözü almışsın amad devamı gelmemiş

[Ubuntu-az]

Abi gelmesi için bir iş olması gerekiyor. Google Custom Search-ü her kes biliyor. Ama ben istediğim bu değildi. Ben sölediğim sıfırdan bi arama motoru yapmakdı. Yani ya kendin yazıcakdın, ya da ki, böyle bir hazır platformlar falan. Ama istediğimi bulamadım çünki forumda bu işin profosyonel tarafını bilen yok.

[ubuntuser]

Amad ın bilgisi de yetersiz kaldı demek ki.başka forumlarda araştırdınmı peki bu konuyu?

[sema]

Arama moturunu C#'ta çok kolay bir şekilde yapabilirsiniz, biz yapmıştık daha önce.. Ama bir bakmam gerek.. Şimdi işlerim var akşama cevap vereceğim..

Düzeltme: Çok özür yardımcı olacağını söyleyen arkadaş varmış, ben de atladım hemen.. Sadece üstteki mesajları okuyunca, pardon..

[ubuntuser]

.net paltformunda daha basit işler ve daha güçlü galiba ama php nin yeri başka linux gibi php de bi sevda oldu bende

[sema]

Hımm.. Tekrar pardon.. Baştan sona sazanlık yapmışım

[ubuntuser]

estagfurullah.siz yine de yardımınızı yapın c# ta olsa mantık aynı sonuçta.yorumlayıp php ye çevirmesinide biz yapalım.herşeyi hazır beklemek hoş olmaz zaten

[sema]

Şimdi dergi yazımla ilgileniyorum, geri döneceğim buraya, geç olsa da..

[ubuntuser]

site içi arama gibi mi yoksa normal bir arama motoru mu acaba bu yaptığınız? kolay gelsin bu arada