Artkadaşlar benim şöle bir fikrim var daha doğrusu ihtiyacım var:D
Labaratuarımızda 15 adet pc var özellikleri fena sayılmaz ve bilimsel kullandığımız bazı kodlar var. Bazen iyi bi bilgisayarın bu kodlar ile hesaplama yapması 15-24 saat arası sürüyor.
Ben bu 15 bilgisayarı birbirine bağlayıp tek bir bilgisayarmış gibi davranmalarını sağlayabilir miyim?
Yoksa kodun her bölümünü ayrı ayrı makinelere hesaplatıp sonra tek bir bilgisayarda birleştirebilirim ama ben bununla uğraşmak yerine bütün işlemi tek bir bilgisayar üzerinden yapmak istiyorum:)
Öneriler nedir
Yapilmasi mumkun. Fakat hic bilgim yok nasil yapildigi hakkinda. Hatta en cok merak ettigim konularin basinda gelir. Bir de Turkce kaynak olacagini pek tahmin etmedigim bir konu ama; High Performance Computing, Compute Cluster, Eucalyptus, Grid, UEC bakacaginiz ilk anahtar kelimelerden. Bir seyler bulursaniz buraya da yazmayi ihmal etmeyin :)
Konuya uzağım lakin blender ile yapılan render işlemlerinde durum aynen bu şekilde. Bir sunucu ve sunucu üzerinde bağlı tüm bilgisayarlar bu render işini beraberce yapar. Buna da render çiftlikleri deniyor ve animasyon şirketleri tarafından bol bol kullanılıyor. Yine bu forumda bir başlıkta bilimsel çalışmalara kendi bilgisayarınızı kaydedip bilgisayarınızın yapılacak olan hesaplamalarda kullanılabilmesine olanak sağlayabiliyordunuz. Ayrıca Cloud Computing olayı var ki Ubuntu'nun Cloud sürümü de var diye biliyorum. Umarım yanılmıyorumdur. Yani nasılı ile ilgili hiç bilgim yok ancak kimler nerelerde kullanıyor biliyorum.
http://forum.ubuntu-tr.net/index.php?topic=25724.0
http://www.ubuntu.com/business/cloud/overview
parallel computing diye geçiyor. Türkçe belgesi http://acikfikir.org/2011/03/linux-altinda-mpi-ve-parallel-computing/
Alıntı yapılan: rutku - 10 Ekim 2011 - 20:59:02
parallel computing diye geçiyor. Türkçe belgesi http://acikfikir.org/2011/03/linux-altinda-mpi-ve-parallel-computing/
Saolasın hocam araştırıyorum :D
Arkadaşlar konuyla pek alakalı değil ama cloud computing bilgisi olan varmı acaba?
Bu bir grup bilim adamının bilgisayarı birbirine bağlayıp ağ olışturulması gibi birşey.
Alıntı yapılan: ibonov - 22 Kasım 2011 - 12:52:12
Bu bir grup bilim adamının bilgisayarı birbirine bağlayıp ağ olışturulması gibi * bir şey.
Yani benim yapmak istediğim şey :)
Konu hala güncel arkdaşlar. Hatta cluster hakkında bilgisi olan varsa süper olur :)
Alıntı yapılan: bahdem - 25 Nisan 2012 - 19:49:48
Konu hala güncel arkdaşlar. Hatta cluster hakkında bilgisi olan varsa süper olur :)
Geçen haftasonu ankara'da hadoop (http://hadoop.apache.org/) ile ilgili bir seminer olmuştu. java tabanlı bir sistem ve bir işlemi bir çok bilgisayara yaptırma olayı. wiki (http://wiki.apache.org/hadoop/)si ve yahoo framework (http://developer.yahoo.com/hadoop/)'u oldukça gelişkin. Seminerde Hasan Tayyar Beşik (https://github.com/hasantayyar) tarafından php ile örnek sunulmuştu (http://ankara.yazilimatolyesi.org/wp-content/uploads/2012/04/Yazilim_atolyesi_Hadoop_Php.pptx). Tabi yine araştırman gerekecek ama..
Bu konuda itü'de Ulusal Yüksek Başarımlı Hesaplama Merkezi (UYBHM)
http://www.uybhm.itu.edu.tr/ (http://www.uybhm.itu.edu.tr/)
Bu merkezde paralel programlama (MPI ve OMP) ile ilgili haziran aylarında
verilen bir yaz okulu var. Bu düşüncenizi gerçekleştirmenize bir olanak sağlayabilir.
@bahdem, bahadır sen misin ? ben sabri?
eğer bahadır değilsen seni bahadır ile tanıştıralım, kendisi bu konular ile ilgili i.ü. bünyesinde çeşitli faaliyetlerde bulunuyor.
işte @yakhusa o benim :) Zaten araştırma hızlandı. Yüksek enerji fiziği ile uğraşanlar bu işi iyi biliyor. CERN de uğraşıyorlar bu işle. Onlara yakın duracağım biraz bakalım ne olacak. Bu arada php ile yaplıyor çoğu şey burada da senden yardım alacağım gibi duruyor :)
Merhaba,
Konu çok ilgi çekici :) Kodlama grubu gibi bir grup oluşurturulursa içinde yer almaktan mutluluk duyarım. Java öğreniyorum bu aralar ama dilin pek önemli olmadığını düşünüyorum.
@ct
İlgin için teşekkür ederim. Böyle bir şey yapma fikrim vardı zaten. Yardımlarından mutluluk duyarım.
Süper :) Yol haritası, öğrenilecek şeyler gibi başlangıç noktaları kesinleşti mi acaba? library.nu kapalı olduğundan kaynak bulmada sıkıntı yaşıyorum açıkçası ama hadoop gibi açık kaynak projelerin dökümanları var.
Ekleme:
Hadoop kullananlar nerede kullandıklarını şurada özetlemişler:
http://wiki.apache.org/hadoop/PoweredBy
Bu mesajımın silinip başlığın programlama bölümünde sabitlenmesini istesem çok mu olur acaba? Buradan destek veren arkadaşlarla beraber bir çalışma çıkartmayı planlıyorum. Tübitak'a yazacağım proje ile kaynağı sağlamayabilirim (Kullanılacak makine ve ekipmanlar için). Umarım güzel işler çıkarırız.
İleti dursun zararı olmaz :) Şimdilik Genel bölümüne aldım, eğer şekillenirse ona göre bir yere alırız.
@heartsmagic
Her zamanki gibi göstermiş olduğun özveri ve ilgiden dolayı teşekkür ederim.
Buna da özveri denirse @bahdem :) Yeter ki ortaya güzel şeyler çıksın.
@bahdem http://dispy.sourceforge.net/ işinizi görebilir. Python objesini dağıtabildiği gibi herhangi bir programı da dağıtabilir. Eğer python kullanmıyorsanız data dosyanızı nfs gibi bir dosya sistemine yerleştirip kullandığınız dilin çalıştırılabilir dosyasını dağıtabilirsiniz. Eğer bunlarla uğraşmak istemezseniz amazonun yüksek cpu'lu instancelarından kullanabilirsiniz. Ufak boyutlu bir deneme hesaplatmasıyla maliyetini hemen hemen kestirebilirsiniz.
Bu forumdan o kadar çok faydalanıyorum ki emeği geçen herkese teşekkür ederim. Ayın 2 sinde (bu çarşamba) Fatih üniversitesinde bu işlerle uğraşmış bir hoca ve istanbul üniversitesi bilgisayar müh. bölümü hocaları ile görüşüp gerekli bir yol haritası oluşturulacak. Ben istanbuldayım ve dahil olmak isteyen arkadaşlar varsa bizim laboratuvarda bir toplantı yapalım. Hem daha sağlıklı olur ve bir ivme kazanırız aynı zamanda bir ilke tanıklık etmiş olursunuz :)
(https://forum.ubuntu-tr.net/proxy.php?request=http%3A%2F%2Ff1204.hizliresim.com%2Fw%2Fy%2F52wpv.jpg&hash=a245f7480638ac937ec8e231da836b139e0212e2)
Bu görmüş olduğunu sıcaklık değeri tam tamına herşeyin donduğu yerin oralarda :) İşte bu işi başardığımız yeri ve artık bu ülkede bişeylerin yapılabildiğini görmenizi isterim. Gelmek isteyen arkadaşlar ve gruba dahil olmak isteyen arkadaşlar yazarsanız boş günlerinize göre bir gün belirleyelim.
7.75 Kelvin mi o? :) Orada birde mK yazıyor da acaba miliKelvin olabilir mi diye düşündüm.
Bu sıcaklığa nerde ve nasıl indiniz acaba?
bir de mili kelvin mi sonuç sanırım bu bir ilk değil mi?
İstanbul üniveristesi kuantum teknolojileri laboratuvarında kullanmış olduğumuz 20 T lık magnet ile indik. Doğrudur mili kelvin mertebesinde yaklaşık olarak -273.143 santigrat derece :)
Alıntı yapılan: bahdem - 30 Nisan 2012 - 10:44:05
mili kelvin mertebesinde yaklaşık olarak -273.143 santigrat derece :)
Bence yaklaşık değil, tam dereceyi vermişsiniz @bahdem. ;)
Böyle bir şey mümkün fakat sizin istediğiniz tarzda mümkün değil (çok özel donanımlar haricinde (süper pcler gibi) ). Şöyle açıklayayayım: Ne Linux ne de başka işletim sistemi birkaç pc donanımının birbirine bağlanması sonucu hepsinden birden güç alarak çalışamaz. Bu donanımın bir kısıtlamasıdır. Fakat bazı yazılımlara ağdaki diğer bilgisayarları tanıtatarak, diğer bilgisayarları da aynı işlem için kullanabilmenizi sağlar fakat bu olay ilk satırda yazdığım cümlelerden çok farklı. Örneğin hesap makinesi büyük bir çarpma işlemi yapacak. Bu çarpma işlemini ağdaki diğer bilgisayarları kullanarak şu şekilde yapar: Çarpanlardan birini çarpanlarına ayırır, her 2 çarpanı farklı makineye soket açarak yollar. Ağdaki makinelerde aynı yazılımı içerenler, o soketten aldığı çarpım işlemini yapar ve cevabı ana makineye yollar. Yani bu bir nevi proxy server üzerinden başka bir siteye gitmeye benzetilebilir. Siz burda proxy bilgisayarları kullanıyorsunuz fakat hep bir aracı yazılım sayesinde bunları yapıyorsunuz. Yani direk olarak o makinelere kablo ile bağlı da olsanız onların cpu ve ram'ini direk olarak değil ancak dolaylı yoldan kullanıyor olabiliceksiniz.
Yani yapacağınız her araştırma için özel yazılım yazmanız gerekecektir (Fakat önceden yazılmış programlar varsa tabiki onları kullanabilirsiniz). Fakat böyle yazılımı yazmanız gerçekten çok zahmetlidir. Paralel cloud computing bazında bir yazılım yapmış olursunuz ki bu çok ama çok kafa yorar :) Ama tahmin ediyorum matlab, blender gibi bilimsel yazılımlar ağdaki biglisayarları kullanabilmeniz için özellikler içeriyor olmalı (en azından öyle tahmin ediyorum).
Belki başlıktaki verilen bağlantılar içerisinde mevcuttur ama Scientific Linux dağıtımı Cern laboratuvarlarında kullanıldığı bilgisi rastlanabilir durumda.
dağıtım ile ilgili BELGE... (https://docs.google.com/viewer?a=v&q=cache:K0lN-OhKeaEJ:www.lugod.org/presentations/linux4scientificcomputing.pdf+scientific+linux+many+computers&hl=tr&gl=tr&pid=bl&srcid=ADGEESiDBNVqNFZ_f51EEfFKvpikHl25t1Y-TC946PM3NxHh6KXuMNA2mrPQ5bfZMsPKSSotkxQkwAi7ORIL2-QTFMQ9dl1AWg2FZSa5QE2sZgJg5hQPXxfLQctk93RcZgTXP20O4U_s&sig=AHIEtbTjl3SMCkv8feeR-1cYwEckSVJUXw)
içerisindeki
Parallel computing on clusters Sometimes called "Beowulf" clusters Mini-supercomputers
kısım, konu ile bağdaşmaktadır.
Alıntı yapılan: burk - 30 Nisan 2012 - 10:45:51
Alıntı yapılan: bahdem - 30 Nisan 2012 - 10:44:05
mili kelvin mertebesinde yaklaşık olarak -273.143 santigrat derece :)
Bence yaklaşık değil, tam dereceyi vermişsiniz @bahdem. ;)
Fizikçi alışkanlığındandır. Fizikte sonuçlar hata hesapları ile birlikte verilir. 100+-1 gibi(artı ve eksi üst üste olacak.) Birde Kuantum Fiziği söz konusu olunca kesin konuşmak olmaz. :)
Noktadan sonra 3 basamak benim dünyam için oldukça kesin bir sonuç ifade ediyor @travego0403. :) Doğrudur tabi, kuantum fiziği apayrı bir dal. :)
Alıntı yapılan: burk - 30 Nisan 2012 - 10:45:51
Alıntı yapılan: bahdem - 30 Nisan 2012 - 10:44:05
mili kelvin mertebesinde yaklaşık olarak -273.143 santigrat derece :)
Bence yaklaşık değil, tam dereceyi vermişsiniz @bahdem. ;)
O sıcaklıkta kontaklar bile çalışması kesin değer vermediği için yaklaşık ifadesini kullandim :) 4.2 K den aşağıya doğru hata artar :)
Alıntı yapılan: bahdem - 30 Nisan 2012 - 10:27:39
Bu forumdan o kadar çok faydalanıyorum ki emeği geçen herkese teşekkür ederim. Ayın 2 sinde (bu çarşamba) Fatih üniversitesinde bu işlerle uğraşmış bir hoca ve istanbul üniversitesi bilgisayar müh. bölümü hocaları ile görüşüp gerekli bir yol haritası oluşturulacak. Ben istanbuldayım ve dahil olmak isteyen arkadaşlar varsa bizim laboratuvarda bir toplantı yapalım. Hem daha sağlıklı olur ve bir ivme kazanırız aynı zamanda bir ilke tanıklık etmiş olursunuz :)
Bu görmüş olduğunu sıcaklık değeri tam tamına herşeyin donduğu yerin oralarda :) İşte bu işi başardığımız yeri ve artık bu ülkede bişeylerin yapılabildiğini görmenizi isterim. Gelmek isteyen arkadaşlar ve gruba dahil olmak isteyen arkadaşlar yazarsanız boş günlerinize göre bir gün belirleyelim.
@bahem Türkiye'de değilim maalesef ama alınan kararlar doğrultusunda katkı vermek isterim.
Eğer yanlış anlamadıysam cloud computing yani bulut bilişim konusunda BSD Magazine Nisan ayı sayısının ana konusu olmuş ama tabii ingilizce.
http://www.goksinakdeniz.net/2012/04/bsd-magazine-nisan-2012-says-duyuruldu.html (http://www.goksinakdeniz.net/2012/04/bsd-magazine-nisan-2012-says-duyuruldu.html)
Birde bizim BSD'lerde Parallel ports (http://www4.tw.freebsd.org/doc/en/books/porters-handbook/building.html) olayı var, yani portlar işlemciler için aynı anda çoklu işlem yapmayı destekleyecek şekilde yapılandırılmış.
Tabii bu dediğimin bu konuyla çok alakası yok belki ama make.conf'a eklenen bu iki satır bana aynı anda 2 işlem yaptırıyor(muş) :D
FORCE_MAKE_JOBS=YES
MAKE_JOBS_NUMBER=2
Nette 2 olan yerin 16 olanını da görmüştüm ki breh breh dedim, benim amd64 çift çekirdeğe 2 yeterli :)
@Sherlock Holmes Beowulf clusters ilk aklımıza gelen şeydi aslında ama okulda bu işi bilen hiç yoktu. Sıfırdan bir işe başlayacağız tam işimize yarayan şeyi bulursak boşuna uğraşmamız olacağız.
@zembela hocam aramızda senide görmek isteriz eğer vaktin varsa.
@ct hocam sizde artık ordan yardım edersiniz istediğiniz sürece :)
@Felâsife hocam inceleyeceğim kaynağı. Teşekkür ederim.
İşe biraz daha açıklama getireyim.
1)Tek bir problemi parçalara bölme işi. Örneğin 128x128 lik bir matris var bu hesaplama yapılacak. Bu bir bütünü parçalamak ve tekrar ana makinada sonucu vermek gibi bir şey.
2)1000 farklı problemi 100 makineye ayıracak. Bu makinelerden çözümleri alıp ana makinede asıl sonucu bize verecek. Buradaki 1000 farklı problemden kasıt sadece girdi değerlerinin farklı olmasıdır.
@ironic bana bir kod yazmıştı . Bu kod problemi istediğim adette sırayla çözüyor.
#!/bin/bash
SEC=`yad --form --title 'octopus' \
--field='Ana dizin konumu:DIR' "$PWD" \
--field='Eşzamanlı çalışacak octopus sayısı:NUM' '1!1..25!1' \
--field='Octopus grupları arası bekleme süresi (dk):NUM' '1!1..180!1' \
--button='gtk-execute:0' --button='gtk-quit:1' \
--fixed --sticky --mouse`
case $? in
0)
IFS="|"
sec_listesi=()
for i in ${SEC}
do
sec_listesi+=("$i")
done
unset IFS;;
*)
exit 0;;
esac
cd "${sec_listesi[0]}"
octopus_sayisi=$(sed -n 's:[.|,].*::p' <<<${sec_listesi[1]})
bekleme_suresi=$(sed -n 's:[.|,].*::p' <<<${sec_listesi[2]})
function octopus_calistir() {
if [[ $(pgrep octopus | wc -l) -lt $octopus_sayisi ]]
then
cd "$1" && octopus && cd - &>/dev/null
else
sleep "${bekleme_suresi}m" ; octopus_calistir $1
fi
}
for klasor in *
do
octopus_calistir ${klasor}
done
örneğin bu kodun içine eğer "git şu makinede şu problemi çöz" eklenirse 2. dediğim olmuş olacak aslında.
1. dediğim içinse kullandığımız programları tamamen sıfırdan kodlayarak paralel hale getirmek gerek sanırım.
@bahdem, farklı makinelere uygulama gönderilir de "cluster" meselesi öyle olmuyor sanırım. Paralel hesaplama gibi şeyler için bence CERN'de yapılan olayı araştırın siz. Hazırı varken yenisini yazmak veya yeni ortamı oluşturmak bence daha zahmetli olur :) Eğer belgelendirmesi vs. varsa başka hiçbir dağıtıma bulaşmadan doğrudan Scientific Linux üzerinde denersiniz her şeyi. Gerçi evet onun için de ek mesai yapmanız gerekir, en azından aranızdan bir grup yapmalı :)
Bahdem açıkcası sende kendimi görüyorum. Fakat biraz daha yolun başındasın. Öncelikle sana biraz cloud computing hakkında düşündüklerimi nasıl yapılabileceğini anlatayım.
Öncelikle yapacağın hesaplamaların matrixler üzerinde olduğunu farzediyorum. Matrixler üzerinde uygulanabilecek algoritmalar paralel olarak çalıştırılabiliyorsa cluster üzerinden yapabilmen mümkün. Örneğin basitçe matrix çarpma işlemini ele alırsak, A matrix'inin 1. kolonunu B matrix'inin 1. sutunu ile çarpman gerekiyor. Mesela bu matrix'i paralel olarak işlemek istiyorsan kabaca aşağıdaki gibi bir yaklaşım çözüm yöntemi olabilir.
1. Matrix'i genel bir data havuzunda tutman gerekiyor. (Bu bir database olabilir, yada bir web servis yada soket ile çalışan bir servis olabilir) Buradaki amaç cloud içindeki bir client bana A matrixinin 1. kolonunu ver dediği zaman data havuzu bunu hızlı bir şekilde verip client'e ulaştırması gerekiyor.
2. Client aldığı kolon ve row'u kendi üzerinde çarpıp, neticesini data havuzuna göndermesi gerekiyor.
3. Bütün clientlerin işi bittiğinde çarpma işleminin sonucu data havuzunda olmuş oluyor.
Bu çerçevede baktığın zaman işi paralel yapmış oluyorsun, fakat iş bu yukardaki 3 maddedeki kadar kolay değil; Şöyle problemler ortaya çıkıyor
1. Network üzerinde data kaybı (Özellikle büyük bir cluster olduğunu düşünürsen)
2. Çakışmalar, örneğin 2 client aynı Row ve kolonları alıp işlem yaptı, ve havuzda aynı yere yazmaya çalışması
3. Örneğin data alınırken client ile havuz arasında bağlantı koptu, recovery mekanizması
4. Data client tarafında işlenirken, client öldü, yine recovery mekanizması
gibi konularıda düşünmen lazım.
Büyük matrixler üzerinde çalışma gibi bir durum söz konusu ise, matrixleri sıkıştırıp taşıman, save etmen mantıklı olabilir. Zira 1000x1000'lik bir matrix'i dosyaya double cinsinden 4 precision olarak kaydettiğinizde 350-400 mb gibi bir miktar oluşacaktır. Ki burda matrix'in nasıl bir yapıda olduğuda önemli. Eğer sparse matrix üzerinde işlem yapıyorsan, ben bu konu ile ilgili bir çözüm geliştirdim. Compressed Column Matrix, Compressed Row Matrix gibi yöntemlerle sparse matrixleri ciddi anlamda boyunu küçültebiliyorsun. Bu şekilde küçültülmüş veri saklamak işlemek çoğu zaman daha kolay ve hızlı oluyor.
Öte yandan hadoop güzel bir sisteme benziyor, fakat her projeye uygun bir yapısı olmayabilir. Yaptığınız işlemler açısından kolaylık sağlayacaksa hadoop'u kullanmanı öneririm. Fakat öğrenme periyodu, anlama periyodu, tecrübe etme periyodu derken çok fazla vakit kaybedebilirsin. Öte yandan kendi clustering yapını oluşturmanda aslında çok zor değil. Genel olarak cluster'ın nasıl çalışması gerektiğini vs, belirleyebilirsen implemente etmesi zor bir iş değil.
Sana başlaman için şöyle bir kaç konu önerebilirim.
1. RMI (Remote Method Invocation)
2. DMI (Distributed Method Invocation) - Yukardakine göre biraz daha karışık
3. CORBA, Hadoop (Bunu okumanda yarar var zira CORBA clustering içinde çok fazla duyacağın bir kavram olacak)
Eğer java ile geliştirme yapacaksan RMI ile yapabilirsin. Yada native interface'ler yazı C üzerinden geliştirdiğin DMI backbone'unu java ile de kontrol edebilirsin.
Yüksek lisanstaki tezim, çapraz dilde arama yapabilen bir arama motoru geliştirmesi idi. Bu konuya genel olarak "Information Retrieval" denir. Bu konu ile çalışırken benimde bir çok matrix işleme derdim olmuştu. Bazı testler 17-18 gün sürmüştü. O zamanlarda çözüm olması amacıyla clould computing yapma durumum olmuştu fakat hocam yaptırtmadı :D O kadar derine girmeye gerek yokmuş doktorada onu yaparım demişti.. Fakat ben yolun %80, %90'ını bitirmiştim. O yüzden genel anlamda cluster üzerinde matrixler nasıl işlenebilir bir çok deney yapmıştım. Güzel tecrübe oldu. Fakat master bitince bıraktım çoğunu.
Şimdi de bir GSM firmasında servisler networküne bakıyorum. Ne kadar acınası bi şey insan yıllarını döktüğü konu üzerinde çalışamaması sırf düzgün bir işi olması amacı ile başka alanlarda çalışmak zorunda kalması. Neyse konuyu saptırmak hoş olmaz. Aklıma gelince sinirleniyorum böyle şeyler.
@WhiteScars, cevabın ve açıklamaların için çok teşekkür ederim :)
UYBHM de yapılacak çalışmanın konuları;
MPI ile Dağıtık Bellek Programlama Çalıştayı İçeriği
Yüksek Başarımlı Hesaplama (YBH) I-II :
• Yüksek Başarımlı Hesaplama (YBH) nedir?
• UYBMH'de mevcut bilgisayar yapısı
• Sistemlere nasıl erişiriz?
• İş teslimi nasıl yapılır ?
• Login Süreci
• Mevcut Yazılımlar
Neden Yüksek Başarım? :
• Paralel programlamaya ihtiyaç duyulma nedenleri
• Yüksek başarımlı hesaplama kaynaklarına gereksinim nedenleriParalel Programlamaya Giriş
• Paralel programlama nedir?
• Dağıtık ve ortak paylaşım bellekli mimariler
• Paralel hesaplama modelleri
Yüksek Başarımlı Hesaplama (YBH) III-IV :
• Linux ortamındaki dosya editörleri
• Kod derleme (Compiling)
• Make komutu makefile dosyası
• Hata ayıklama (Debug)
MPI'a Giriş ve MPI Noktadan Noktaya Haberleşme I-IV :
• Dağıtık hesaplama programlama ve temellerine giriş
• MPI'a giriş
• Basit MPI tabanlı algoritmalar
• Noktadan noktaya gönderme ve alma kavramları ve örnekleri (uygulamalı)
MPI Toplu Haberleşme I-II ve MPI Uygulamalar I-II :
• MPI 'da toplu iletişim (collective communication) yöntemleri
• Toplu haberleşme uygulamaları
MPI Türetilmiş Veri Tipi I-II
• Türetilmiş veri tiplerine (derived data types) dayalı MPI programlama
MPI Sanal Topoloji I-II:
• Haberleşme dünyası (communication world) kavramı
• Sanal kartezyen topoloji yardımıyla MPI programlama
• Sanal graph topoloji yardımıyla MPI programlama
Proje 1 -I(Kısmi Diferansiyel Denklemler) :
• Kısmi Diferansiyeller ve uygulama alanlarının anlatımı
• Örnek kısmi diferansiyel denklemler
• Laplace diferansiyel denklemi ve ısı denklemi
• Örnek Uygulamanın anlatılması
Proje 1-II (Kısmi Diferansiyel Denklemler) :
• Sonlu farklar yöntemi ile ısı denkleminin ayrıklaştırılması
• Sınır koşullarının tanımlanması
• Seri kod yazılması ve uygulama
Proje 1-III (Kısmi Diferansiyel Denklemler) :
• Kodun paralelleştirilmesi
• Türetilmiş veri tiplerinin, sanal topolojinin ve gruplamanın uygulama için kullanımı
• Hayalet hücre kavramı
• Uygulama
Proje 1-IV (Kısmi Diferansiyel Denklemler) :
• Örnek kodların incelenmesi, uygulama
• Soru - cevaplar
MPI-2
• MPI-2 özellikleri
• Paralel girdi/çıktı fonksiyonları (parallel I/O)
• Uzaktaki hafızaya erişim (remote memory access)
• MPI'da dinamik süreç yönetimi (dynamic process management)
MPI Ödev Çözümü
Performans Analizi: Intel Trace Analyzer
• Analiz Terminolojisi (Profiling ve Tracing)• MPI Programlarının Analizi Nasıl Yapılır?
• Intel Trace Analyzer için MPI Programı Derlenmesi ve Çalıştırılması (Uygulamalı)
• Intel Trace Analyzer Arayüzünün Kullanımı (Uygulamalı)
Performans Analizi:, TAU
• TAU Analiz Araçlarının Kullanımı
• MPI Programlarının TAU ile Performans Analizi
• TAU ile MPI Program Analizi için Veri Toplama (Uygulamalı)
• TAU Görselleştirme Araçlarının Kullanımı (Uygulamalı)
Proje 2 –I (Matris-Matris çarpım algoritmaları) :
• Matris-matris çarpımının uygulama alanlarının anlatımı
• Matris-matris çarpımını ile ilgili örnekler
• Canon algoritması hakkında bilgi
• Fox algoritması hakkında bilgi
Proje 2-II (Matris-Matris çarpım algoritmaları) :
• Canon algoritmasının seri kodunun yazılması
• Fox algoritmasının seri kodunun yazılması
Proje 2-III (Matris-Matris çarpım algoritmaları :
• Canon algoritmasının paralelleştirilmesi
• Fox algoritmasının paralelleştirilmesi
Proje 2-IV (Matris-Matris çarpım algoritmaları) :
• Örnek uygulamalar
Herkese merhabalar. Biraz daha fazla kafası karışmış birisi olarak döndüm :)
Öncelikle hemen hemen bütün programlar seri olarak yazılıyor ve biz bunları seri olarak çalıştırıyoruz. Bunun anlamı şudur;
programalar tek çekirdek içinde çalışıyor. Bizim bilgisayarımız 4 çekirdek de olsa, 8 çekirdek de olsa program seri yazıldıysa tek çekirdek işlemi gerçekleştiriyor ve aralarında fark olmuyor (tabi burada çekirdeklerin çalışma frekanslarının aynı olduğunu düşünüyoruz). O zaman niye biz 4 çekirdekli bilgisayarlar alıyoruz :) Çok sayıda farklı programı daha rahat çalıştırmak için diye düşünüyorum :)
Paralelleştirme işini iki kola ayırabilirim. Bir yazılım boyutu, ikinci olarak ise donanım boyutu.
Yazılım boyutunda asıl soru, istenilen şey paralelleştirme işine uygun mu? Bazen istenilen şeyin kendisi kendiliğinden paralel, bazense paralelleştirme imkanı yok. Dolayısıyla istenilen şey öncelikle irdelenmesi gerekiyor. Diyelim ki uygun, bu seferde ona uygun paralel bir algoritma geliştirmek ve kodlamak gerekiyor. Kodlama işini temelde fortran ve C ile yapabiliriz. Bunun yanında çeşitli kütüphaneler kullanılmakta. Bunlar MPİ ve OPENMP. MPİ farklı bilgisayarlar arasındaki haberleşmeyi sağlayacak, OPENMP ise aynı bilgisayarın çekirdeklerini tek bir işlemi yapmak için kullanacak.
Cluster işi ilk ortaya atıldığında bilgisayarlar üzerinde tek çekirdek vardı. Dolayısıyla mpi her bilgisayardaki tek çekirdeği kullanacak. Buda demek oluyor ki ben dört bilgisayarlık bir cluster oluştursam 4 çekirdekli bir bilgisayarda'kinden daha az performans alacağım. Bunun için cpular üzerinde melez işlemler ortaya çıkmaya başladı. Buda hem mpi hemde openmp kullanılarak kodlamalar yapıldı.
mpi ile kodlamak openmp ye göre biraz daha zor ve karışık :) İkisinin de ayrı ayrı daha iyi olduğu yerler var ama en iyisi bunları ortak kullanmak.
Basit mantıkla 4 çekirdekli 10 bilgisayarı mpı ile birbirine bağlasak 10 çekirdeği kullancağım. Bunu yanında openmp'yi sisteme dahil etsem bu sefer 40 çekirdeği aynı anda kullancağım.
Clusterlar şu nedenlerden dolayı yavaştırlar.
1) Haberleşmede kaybedilen süre.
2) Çekirdeklerin işlerini bitirip bazen birbirini beklmesi.
Donanım boyutunda ise bilgisayarların birbirine bağlanması ve haberleştirilmesi ve kütüphane dosyaları üzerinde çeşitli ayarların yapılması gerekiyor. Tabi unutmadan birbiri ile haberleşen bilgisayarların ağ üzerinde adreslerinin sabit olması gerekiyor :)
Şimdi asıl can alıcı nokta şu. Biz neden clusterlara ihtiyaç duyuyoruz. İki nedenden dolayı. Büyük hesaplamalarda çok sayıda işlemci kullanmak işlemin süresini kısaltıyor, ikinci olarak da çok büyük belleklere ihtiyacımız var. Bunu da birbiri ile haberleşen bilgisayarların belleklerini ortak kullanarak yapıyoruz. Kafa karıştırıcı noktada aşağıdaki grafik.
(https://forum.ubuntu-tr.net/proxy.php?request=http%3A%2F%2Fg1207.hizliresim.com%2Fz%2Fk%2F9tumz.jpg&hash=7e46526f0f9f2783264f766c7cff42d16c8e1689)
Grafikte şu iş yapılmış. Aynı boyuta sahip iki matrix çarpılıyor. Bunlar farklı işlemciler ve bir ekran kartında yapılıyor.
Örnek olarak 5120x5120 boyutundaki iki matrix çarpımı için;
İŞLEMCİLER
intel core2 duo t9550 : 400,4 sn
Amd phenom II x4 : 191,03 sn
Intel xenon 33.5 ec2 compute units:58.217 sn
Intel xenon 88 ec2 compute units :58.217 sn
EKRAN KARTLARI
2 x Nvidia Tesla M2050 :2.3671 sn
Ati Radeon Hd 5970 x2 :0.6 sn
Arada çok büyük uçurum olduğu aşikar :)
Biz iki nedenle cluster yapıyorduk. Biri işlemci çekirdeklerini fazlalaştırmak ve işimizi hızlandırmak. Diğeri ise bellek boyutunun azlığı. Burada çekirdek sayısının fazlalığı için cluster'a gerek olmadığı anlaşılıyor. Tek bir ekran kartı ile her işimi görebilirim.Peki bellek azlığını nasıl çözeceğim?
Onunda çözümünü şöyle yapabilirim. Ana kart üzerine pci express üzerinden bağlayacağım bir solid disk'i swap olarak kullanarak yetersiz bellek sorununu ortadan kaldırırım :)
O zaman ben şunu mu demek istedim. İşlemci Cluster'ı yapmak yerine tek ekran kartı ile her işimi halledebiliyor muyum? Aynen öyle :)
Peki yetmezse?O zamanda multi-gpu yapmak ile çözüme ulaşabilirim :)
Not : Grafik ERSİN KUZU (http://www.ersinkuzu.org/)'nun internet sitesinden alınmıştır.
Çok uzattım sanırım :)
Önemli bir soru sormak istiyorum. Şimdi normal yazılmış bir kodu işlemci çalıştırıyor. Görsel kütüphanelerle(opengl filan) ekran kartı devreye girmekte sanırım (hiç kullanmadım ama). Temel anlamda işlemci-ekran kartı seçimini yazılım üzerinden nasıl yapıyoruz ki?
Opencl ile kodumu yazıyorum. Bu dil biraz karışık :=)
Ek olarak: Opencl de donanım bağımlı değilim. Her şey üzerinde çalışırım. Ama Nvidia nın geliştirmiş olduğu dil olan Cuda'da sadece nvidia üzerinde çalışabiliyorum.
Matris işlemlerinin ekran kartı üzerinde daha performanslı yapılması beklenen bir şey. Çünkü ekran kartı işlemcisi GPU matris işlemleri için özelleştirilmiştir. Bu yüzden CPU'ya göre çok daha hızlı işlemleri gerçekleştirir. Çünkü 3 boyutlu oyunlarda ışık, gölge, dönüşüm...vs olayların hepsi matrisler kullanılarak hesaplanıyor. Ekran kartının işlemcisini, GPU, kullanabilmek için shader programlamaya girmek gerekiyor. Artık grafik programlama da örneğin OpenGL de
glBegin(....);
glVertex();
glVertex();
glEnd();
şeklinde kod yazılmıyor. Hemen hemen her şey shader programlama ile yazılıyor.
http://setiathome.berkeley.edu/ gibi hazır grid çalışmalarına yollamayı düşündünüz mü peki ?
@dewilman, yapılan çalışmalar gizli olduğu için sadece kendi alanlarımızda saklamalı ve işlemleri yapmalıyız :)
@bahdem, yanlış bilmiyorsam aslında "Cluster" olayının sadece bir bacağı başarım (performans) artışıdır. Onu sen açıklamışsın aslında, diğer bacaklarından birisi ise yedekli çalışmaya olanak sağlaması. Tek makineye veya tek donanıma bağlı olmazsın böylece.
Uygulamaların çoğu seri olarak yazılıyor demişsin, zaten işin önemli bir bölümü de bu galiba başarımı arttırmak için. Paralel olarak yazılan, gerçek anlamda paralel çalışabilecek uygulamalar yazılabilirse sanırım donanımlardan azami olarak yararlanılabilir. O taraklarda hiç bezim olmadığı için sözü yazılımcı arkadaşlara bırakmak lazım :)
@heartsmagic, hocam aslında bizim "Cluster" yapma ihtiyacımız bellek yetersizliği oluyordu :) Onuda artık pci express üzerinden solid diskler ile çözüme kavuşturacağız :)
Umarım rahat bir şekilde çözersiniz @bahdem :)
Sıra geldi artık "cluster" 'ı oluşturmaya :)
Ama şöyle bir sorun var. Sistem yönetim grubu laboratuvardaki sadece bir bilgisayar'a sabit ip veriyor. Dolayısı ile ip ler değiştiği an makinalar birbiri ile haberleşemeyecekler. Bu makinalara sabit ip verebilmek için bir makinaya zentyal kusam ve diğer makinalarında bu makina üzerinden internete çıkmasını sağlasam yanlış bir şey yapmış olurmuyum?
Aklıma iki şey takılıyor.
(https://forum.ubuntu-tr.net/proxy.php?request=http%3A%2F%2Fdoc.zentyal.org%2Fen%2F_images%2Fintro1.png&hash=09d75d1cb195d0282698248a746a7d6bc464064b)
1)Resimde görüldüğü gibi makinalar direk Zenytal makina üzerinden ağ'a bağlılar. Benim kuracağım sistemde ise bütün makinalar aynı sırada olacak Bütün makinalar duvardaki ethernet uçları ile ağa katılacaklar. Yoksa yanlış mı düşünüyorum :-[ Bu şekilde de bu makinaları sunucu üzerinden internete çıkarabilirmiyim?
2) Haberleşme sırasında olacak kayıplar. Bunun içinde ana makinaya sağlam bir ethernet kartı aldım.
Sadece 1 makine için statik IP vermelerinin sebebi nedir?
ip aralığı darmış fakültenin. Öyle diyor beyefendi :) Aslında o makinaya da sabit ip vermeyecekti. Benim hangi sistenmi kullandığımı sordu. Ubuntu cevabını alınca ve üzerine linux bilgimin kafi olduğunu anlayınca razı geldi :) ssh portunu bile açtırmak için 10 takla attım resmen :)
Öyleyse kolaylıklar diliyorum @bahdem :)
Şu okulda
Temizlik görevlisi, sistem yöneticisi, elektrikçi, tornacı, su tesisatçısı ve bilimum meslekler edindim :) Teşekkür ediyorum @burk :)
Zentyal neymiş diyecektim ki eski eBox'un Zentyal olduğunu gördüm :) @bahdem, sen "yanlış mı düşünüyorum" derken soru sormuş oldun değil mi? Bilgisayarlar ağa ethernet uçlarını kullanarak çıkacaklar demişsin bunu sen mi yapacaksın? İçeride bir anahtar (switch) falan mı kullanacaksın yoksa farklı bir sistem mi? Nasıl doğrudan sunucu üzerinden bağlılar internete?
Fakat ne olursa olsun bu makineler de elbette dışarı çıkabilirler. Ancak, senin kullanacağın sunucu üzerinden çıkmalarını istiyorsan haliyle sunucuyu gw olarak göstermen lazım. İkinci bir kartla da yönlendirme yaparsın olur biter. İstediğin bu değil mi senin?
@heartsmagic, hocam her zaman ki gibi ben anlatamama rağmen seni beni anlamış bulunuyorsun :) Laboratuvara bir fiber uç giriyor ve bir çoğaltıcı ile diğer makinalara dağılıyor. Sunucuyu ana giriş ile çoğaltıcı arasına koyduğum zaman (sunucuda iki ağ kartı kullanacağım) sorunum bitmiş olacak :)
Evet, o şekilde araya bir makine koyarsan zaten istediğin gibi at koşturabilirsin @bahdem :)
Ama bir sorun çıkar bu durumda. Makinalar dışarı çıkabilecek ama dışardan içeri giriş olmayacak. Bu durumuda iki adımda ssh kullanarak çözeceğim :)
Konu çok ilgi çekici fakat sönmüş ; canlandırayım bari :D
gerçekten merak ettim akıbeti ne oldu?
Konu sönmedi. Asine daha hızlı ilerliyor :) Bilgisayarları haberleştirmeyi başardım. İşlerimi bir yoluna sokayım en yakın zamanda anlatımı buradan geçeceğim :)
Özür dilerim konu ile alakasız ama 0K mutlak sıfır noktası değil mi? Yani atomların hareketlerinin durduğu an :) Çok ilginç merak ediyorum 0K'e inebiliyor musunuz acaba bir şekilde?
Alıntı yapılan: guopx - 29 Aralık 2012 - 22:04:15
Özür dilerim konu ile alakasız ama 0K mutlak sıfır noktası değil mi? Yani atomların hareketlerinin durduğu an :) Çok ilginç merak ediyorum 0K'e inebiliyor musunuz acaba bir şekilde?
0 K'e inmek mümkün değil :D oraya milikelvin civarında yaklaşabildik işte bizde :)
(https://forum.ubuntu-tr.net/proxy.php?request=http%3A%2F%2Fi.imgur.com%2FnoWyl.jpg&hash=11e4ee9f4ea0da9dc9e943bfe29ddf7b91589577)
Not: Sanırım resim yükleme kodunu kullanamıyoruz.
Düzeltiriz :)
@heartsmagic.
Alıntı yapılan: bahdem - 29 Aralık 2012 - 23:36:48
Alıntı yapılan: guopx - 29 Aralık 2012 - 22:04:15
Özür dilerim konu ile alakasız ama 0K mutlak sıfır noktası değil mi? Yani atomların hareketlerinin durduğu an :) Çok ilginç merak ediyorum 0K'e inebiliyor musunuz acaba bir şekilde?
0 K'e inmek mümkün değil :D oraya milikelvin civarında yaklaşabildik işte bizde :)
(https://forum.ubuntu-tr.net/proxy.php?request=http%3A%2F%2Fi.imgur.com%2FnoWyl.jpg&hash=11e4ee9f4ea0da9dc9e943bfe29ddf7b91589577)
Not: Sanırım resim yükleme kodunu kullanamıyoruz.
Düzeltiriz :)
@heartsmagic.
Vay be elinize sağlık hocam. Gelsin süper iletkenler; tek bildiğim buydu onu da yazayım hemen :)
@bahdem
Hocam son durum nasıl? Çalışması düzgün mü, istenilen performansı veriyor mu? Ben de niyetlendim sizi görünce :) CentOS ile mi yaptınız sistemi?
Konuyu biraz okudum yabancı kaldım ama. Bir zamanlar bir bilgisayar mühendisi abim , tübitakda bir balistik projesi üzerinde çalışıyordu. Onun görevi testi yapan programı 60 makinede parelel olarak çalıştırmaktı. Java ile yapıyordu. Bu şekilde 60 kat daha hızlı sonuç alınıp. Bu konuda dünya birincisi Kanada nın önüne geçilecekti . Ama sonuç ne oldu proje ne alemde hiç bi fikrim. Eğer projeyi tamamladılarsa aynı yöntem kullanılabilir diye düşündüm nacizane.
@karboran, teşekkür ederim.
Alıntı yapılan: karboran - 14 Mart 2013 - 20:31:57
Bu şekilde 60 kat daha hızlı sonuç alınıp. Bu konuda dünya birincisi Kanada nın önüne geçilecekti .
Bildiğim kadarı ile böyle bir şey olması mümkün değil. En fazla kazanç x5 kadar. İstediğimiz kadar işlmeci kullanalın, yazılan koddaki algoritma çok daha önemli. Örneğin 4 çekirdeğimiz olsun;
2. çekirdekteki hesaplamanın olabilmesi için 1. çekirdekteki sonuca ihtiyaç varsa o hesaplama hızlanmaz :D Ben de yavaş yavaş öğreniyorum işte.
@imarah, son durumda sistem çalışır durumda. En yakın zamanda, vakit bulup, bu konu hakkında bir makale yazıp paylaşacağım. Ben Ubuntu aşığıyım bundan dolayı sistemlerde ubuntu kurulu :D
Alıntı yapılan: bahdem - 19 Kasım 2012 - 23:22:16
Şu okulda
Temizlik görevlisi, sistem yöneticisi, elektrikçi, tornacı, su tesisatçısı ve bilimum meslekler edindim :) Teşekkür ediyorum @burk :)
Aynı işleri yaptık. :) Fizik bölümü adama her işi yaptırır yani :)
@bahdem sanırım olay işlem bölümü değil. Atıyorum bir bilgisayar 600 silahı 600 dk da tarıyor ise > 60 bilgisayar olduğu zaman bilgisayar başı taranacak silah sayısı 10 a düşüyor. 600 dk yerine 10 dakika da bitirmiş oluyor işlemi. Bilgisayar sayısı kadar işlem hızlanıyor bu şekilde.
Mutlak sıfırın altına inmişler sanırım o.O
http://enerjienstitusu.com/2013/01/08/mutlak-sifirin-altina-inildi/
http://www.fizikist.com/haber-mutlak-sifir-noktasina-ulasildi--1245.html
zeroshell ile tüm sistem arasında network balans yani yük dengeleme yapabilirsin.genelde sunucularada kullanılır. cpu balanca veya yük dengeleme tarzında bir araştırma yapabilirsin
@alikemal0162, Teşekkür ederim, araştıracağım.
Ben de bu hususta bir yeni yetme olarak aranıza katılıyorum 2 haftadır :) . İşletim sistemleri hocamın yanına gittiğimde bana parallel processing ile ilgili bir çalışma yürütüyorum yardımcı olmak ister misin dedi. Aslında kullandığımız laboratuar 12 eski Sun Ultra 24 serisinden workstationlardan oluşuyor. İşimizi görürler. Yazılan iletileri itina ile okudum şimdi Eclipse'in Parallel Programming için oluşturdukları bir paketi indiriyorum. 1-1.5 yıldır hep C ile istişare ettik. Doğru mu yapıyorum sizce hani daha geliştirme ortamını yanlış seçip seçmediğimi bilmek istedim. Yoksa MPI ve OpenMP kütüphanelerini Code::Blocks'a import ederek de bu işi halledebilir miyim ? Ve esas olarak MPI ve OpenMP kütüphanelerini birlikte include edip ayrı ayrı iki kütüphanenin fonksiyonlarını metotlarını kullanarak mı kodumuzu yazacağız çok sorum var çooook... Şimdiden iyi geceler teşekkürler..
Dünyanın ıvırını zıvırını yazmışım önceki mesajlarımda kimse okumamış, yada okumuş anlamamış. Ben de zaten bir dil problemi var. Forumda beni pek sevmezler :)
Forumda belli başlı sorunlar olmuş bunların cevaplarını vereyim.
NVIDIA Cuda:
Nvidia'nın geliştirdiği bir ortam. Bu ortam sayesinde belirli işlemleri GPU'lara yaptırabiliyorsunuz. Matrix çarpımı mesela yaptırılabilir işlemlerden bir tanesi. Kodu genelde C dili gibi yazılıyor fakat her tarafı bu şekilde değil. Eğer C diline hakimseniz çok zorlamadan geliştirme yapabilirsiniz. Bu arada GPU'lardaki veri bant genişliği çok yüksektir, CPU'larda core başı thread açılabilirken bu rakamlar GPU'da daha fazladır. Grafiksel oyunlar vs matrix bazlı çalıştırıldığı için GPU'lar CPU'ya nazaran farklı çalışır. örneğin 2 matixin çarpımı CPU'da çok uzun sürerken GPU ile milisaniyelere inebilir.
Google'a NVIDIA Cuda development derseniz zaten zebille örnek, development kiti vs hepsini bulabilirsiniz.
Ama şöyle bir sorun var. Sistem yönetim grubu laboratuvardaki sadece bir bilgisayar'a sabit ip veriyor. Dolayısı ile ip ler değiştiği an makinalar birbiri ile haberleşemeyecekler. Bu makinalara sabit ip verebilmek için bir makinaya zentyal kusam ve diğer makinalarında bu makina üzerinden internete çıkmasını sağlasam yanlış bir şey yapmış olurmuyum?
Zentyal nedir en ufak bir fikrim yok. Fakat bahsettiğin sistemi ben kuracak olsam, alırım bir gigabit switch, bağlarım bütün makinaları switch'e. Bir tane makinaya 2 tane ethernet takarım. Ethernetlerin birisine sabit ip adresini veririm, diğerine diğer makinaların kullanacağı network'e göre bir ip veririm. Örneğin. 10.244.233.22 bu senin statik ip adresin olsun. İçerde diğer makinaların kullanacağı network 192.168.0.0 olsun. Bu durumda 192.168.0.1 diğer ethernete verebilirsin. Bu bilgisayar üzerine DHCP server kurarasın. Yok ip'ler sabit kalacak değişmeyecek dersen DHCP direktifleri içinde MAC adresi ile her o makinaya ait olacak static ip'de verebilirsin. Arkasından bu makina üzerinde routing tanımlarsın. Diğer makinalarda 192.168.0.1'i gateway olarak set edersin. Gerçi bütün makinaların ip adreslerinin sabit kalmasını istiyosan DHCP gereksiz. Neden bu kadar yazdıysam.
Parallel Computing
Bunun için daha önce yazdıklarıma bakabilirsiniz. Java RMI ile bütün cluster'ı siz istediğiniz gibi yapılandırabilirsiniz. Hangi makinalar hangi işleri yapacak gibi. Apache Hadoop, Hazelcast bunlarda profesyonel cluster çözümleri. Opensource olan. (Bu arada Hazelcast türk ürünü) Yapılacak işin ne olduğunu bilmeden yorum yapmakta pek mantıklı değil. O yüzden ne yapacağınızı anlatırsanız daha fazla yardımcı olabilirim.
Alıntı yapılan: WhiteScars - 26 Şubat 2014 - 13:59:09
Dünyanın ıvırını zıvırını yazmışım önceki mesajlarımda kimse okumamış, yada okumuş anlamamış. Ben de zaten bir dil problemi var. Forumda beni pek sevmezler :)
Şu cümlelere ne gerek var? Belki önerileriniz uygulanabilir bulunmadı? Belki önerilerinizin üzerinde düşünmek için zaman ihtiyacı var arkadaşın? Belki foruma girmek için bile zor zaman bulabiliyor da cevap yazamadı? vs. vs. Ama hayır, bunların hiç biri değil de "forumda" sevilmemenizmiş sebep. Neyse...
Sonuna :) koymuşum. Cevirip lafı önüme koymuşsun if kardeş. Gerek yok böyle şeyler yazmana. O gülücüğün ne anlama geldiğini ikimizde biliyoruzdur. Ben biliyorumda ifade edemiyorum. Serzeniş mi, iğnelememi ? ingilizcesi "Sarcasm" :)
Konuya geri döneceğim.
Neden uygulanabilir olmasın? RMI ile ilgili inceleme yaptınmı güzel arkadaşım? Benim bu konuda baya tecrübelerim var. Yardımcı olayım.
Alıntı yapılan: WhiteScars - 27 Şubat 2014 - 15:27:55
Sonuna :) koymuşum. Cevirip lafı önüme koymuşsun if kardeş. Gerek yok böyle şeyler yazmana. O gülücüğün ne anlama geldiğini ikimizde biliyoruzdur. Ben biliyorumda ifade edemiyorum. Serzeniş mi, iğnelememi ? ingilizcesi "Sarcasm" :)
":)" simgesinin istihza için kullanıldığını ilk sizin iletinizde gördüm.