Squid Optimize Etmek

[ahmetkanar54]

Merhaba akradaşlar 100 clientli bir sistemde squid3 için 2 gb ram ve çift çekirdekle makina kullandım.30-40 kullanıcıya kadar hiç sorun yok ama clientlar fazlaştıkça squid den kaynaklı ağırlık başlıyor işin ilginci 100 megabit internet var toplam trafik normalde saniyede 10 mb olması gerekirken ethernet kartımı şişiyor yoksa işlemci kasamı şişiyorsa artık 3 mb yi geçemiyor anca squid i kapatınca sistem düzeliyor.Neden kaynaklı olabilir

[if]

@ahmetkanar54, Squid hakkında pek bir bilgim yok. Araştırdığım kadarıyla önbelleklemeden (cache) kaynaklanan bir sorun olma ihtimali var. Siz önbelleklemeyi nasıl yapıyorsunuz? ufs kullanıp çözen var mesela.

[ahmetkanar54]

@ahmetkanar54, Squid hakkında pek bir bilgim yok. Araştırdığım kadarıyla önbelleklemeden (cache) kaynaklanan bir sorun olma ihtimali var. Siz önbelleklemeyi nasıl yapıyorsunuz? ufs kullanıp çözen var mesela.

ufs ile reiserfs sistemi ilemi ?

[if]

@ahmetkanar54,

Kod Seç Genişlet

# Uncomment and adjust the following to add a disk cache directory.
#cache_dir ufs /usr/local/squid/var/cache/squid 100 16 256 bundan bahsediyorum.

[ahmetkanar54]

@ahmetkanar54,

Kod Seç Genişlet

# Uncomment and adjust the following to add a disk cache directory.
#cache_dir ufs /usr/local/squid/var/cache/squid 100 16 256 bundan bahsediyorum.

benimki öyle hocam zaten ama sorun dns le ilgili squid le ilgili değil çünkü indirme yaparken felan son sürat indiriyor.

[if]

@ahmetkanar54,

Kod Seç Genişlet

# Uncomment and adjust the following to add a disk cache directory.
#cache_dir ufs /usr/local/squid/var/cache/squid 100 16 256 bundan bahsediyorum.

benimki öyle hocam zaten ama sorun dns le ilgili squid le ilgili değil çünkü indirme yaparken felan son sürat indiriyor.

O zaman diyebileceğim bir şey yok maalesef @ahmetkanar54.

[arpia]

@if'in gösterdiği gibi başlarında # var mı? Birde cache_mem nedir?

Başında # yoksa, /usr/local/squid/var/cache/squid altına 100 mb alan ayırıyordur fakat bu durumda esas merak ettiğim cache_ mem. Onuda iletirseniz bir fikir oluşabilir.

Ayrıca "maximum_object_size" geçen bir satır var mı? başında # var mı? Yoksa yanında yazan değer nedir?

[ahmetkanar54]

@if'in gösterdiği gibi başlarında # var mı? Birde cache_mem nedir?

Başında # yoksa, /usr/local/squid/var/cache/squid altına 100 mb alan ayırıyordur fakat bu durumda esas merak ettiğim cache_ mem. Onuda iletirseniz bir fikir oluşabilir.

Ayrıca "maximum_object_size" geçen bir satır var mı? başında # var mı? Yoksa yanında yazan değer nedir?

o bölüm bu şekilde bende

cache_mem 2048 MB
cache_dir ufs /var/spool/squid3 40960 16 256
maximum_object_size 50 MB

[arpia]

Başka bir başlıkta da aslında ayırdığınız belleği azaltmanızı önermiştim. Donanım olarak 2gb ram var ve siz cache için 2 gb ayırıyorsunuz, dolayısıyla ram bellek doluyor.

cache_mem'i 256 MB yapıp tekrar dener misiniz?

[cagriemer]

cache_dir'de ayirdiginiz her GB icin en az 15-20MB kadar da RAM'de ayirmaniz lazim. Ayrica cache_mem'i dogrudan RAM'e ekleyeceksiniz. Bunun da biraz overhead'i olacak. Son olarak bir de diger surecler icin RAM gerekecek. Hem HDD ne kadar ki 40GB  cache ayirdiniz? 64GB falan mi? Oyle bile olsa, 600-800MB kadar cache_dir'in RAM ihtiyaci olacak. Ustune 2GB cache_mem ayirmissiniz. Bunun 200-300MB kadar overhead'i olacak. 500-600 civari da sistem kullaniyor varsayarsak 4GB etti bile. cache_dir'i bana kalirsa cok yuksek tutmussunuz. Diskin hizina, fragmantasyona vs bir suru degere bakiyor bu islemlerin hizi. Test edip ona gore ince ayarlarini yapmaniz lazim.

[ahmetkanar54]

cache_dir'de ayirdiginiz her GB icin en az 15-20MB kadar da RAM'de ayirmaniz lazim. Ayrica cache_mem'i dogrudan RAM'e ekleyeceksiniz. Bunun da biraz overhead'i olacak. Son olarak bir de diger surecler icin RAM gerekecek. Hem HDD ne kadar ki 40GB  cache ayirdiniz? 64GB falan mi? Oyle bile olsa, 600-800MB kadar cache_dir'in RAM ihtiyaci olacak. Ustune 2GB cache_mem ayirmissiniz. Bunun 200-300MB kadar overhead'i olacak. 500-600 civari da sistem kullaniyor varsayarsak 4GB etti bile. cache_dir'i bana kalirsa cok yuksek tutmussunuz. Diskin hizina, fragmantasyona vs bir suru degere bakiyor bu islemlerin hizi. Test edip ona gore ince ayarlarini yapmaniz lazim.

hocam peki 100 clientli bir sistem için kaç mb ram ayırmam gerekiyor ? 40 GB yer ayırdım

[cagriemer]

Yukarida hesabini **zaten** yaptigim uzere 40GB alan icin gereken bellek miktarini, tavsiye edilen degerleri baz alip biraz da guvenlik payi birakmak suretiyle 4GB olarak bulmustum. Bunun disinda bu alan bana hala cok buyuk geliyor ve yavasligin buradan kaynaklandigini dusunuyorum. Sistemdeki darbogaz girdi/cikti islemlerinde mi oluyor, islemcide mi oluyor bunlari gormeden daha net yorum yapmak zor. Ya da soyle soyleyeyim, benim daha fazla tahmin yurutecek kadar bilgim yok.

[arpia]

cache_mem değerini düşürüp squid'i yeniden başlattıktan sonra sorun devam mı ediyor?

[ahmetkanar54]

cache_mem değerini düşürüp squid'i yeniden başlattıktan sonra sorun devam mı ediyor?

bugün ram i 4 gb ye çıkarttım squid için ram i 2048 yaptım maximum 50 mb kaydet dedim ve yer olarakta 4 gb yer ayırdım bakalım bugün anlaşılır.


Mesaj tekrarı yüzünden mesajınız birleştirildi. Bu mesajın gönderim tarihi : 21 Mart 2014 - 11:25:34

cache_mem değerini düşürüp squid'i yeniden başlattıktan sonra sorun devam mı ediyor?

bugün ram i 4 gb ye çıkarttım squid için ram i 2048 yaptım maximum 50 mb kaydet dedim ve yer olarakta 4 gb yer ayırdım bakalım bugün anlaşılır.

şu an 40 kullanıcı var ve kasma başladı.

[arpia]

cache_mem'i 256 MB yapıp tekrar dener misiniz?

Bunu denediniz mi?

cache_mem ile diske yazarken ne kadar bellek kulanacağınızı belirtiyorsunuz. Zaten önceden sisteminiz toplam 2gb idi o yüzden kasması normal zira hepsini bu işe ayırıyordunuz.

Ayrıca @cagriemer'e katılıyorum. cache tutmak için bu kadar büyük alana da ihtiyaç yok. Internetten gelen 40 gb veriyi cachelemek ne kadar mantıklı bilmiyorum. 100-200 mb gibi bir alan interneti rahatlatmak için yeterli. 40 gb demek cache dizini altına kaç tane dosya açması demek bilmiyorum ( o kadar çok) ama bu kadar büyük alan ayırdığınızda bilgileri bulması zaman alacaktır ve cache mantığına ters düşecektir. cacheleme yapmazsanız daha hızlı çalışır bu durumda .. O yüzden önerileri deneyip ona göre duruma baksak.

/var/log/squid/cache.log dosyasını buraya geçebilirsiniz.

Kod Seç Genişlet

cache_mem 256 MB
cache_dir ufs /var/spool/squid3 1024 64 256
maximum_object_size 10 MB

Bu şekilde nasıl çalışacak mesela...

Baktınız ki sorun yok, cache_mem'i attırmaya gidersiniz 512 gibi..

[ahmetkanar54]

cache_mem'i 256 MB yapıp tekrar dener misiniz?

Bunu denediniz mi?

cache_mem ile diske yazarken ne kadar bellek kulanacağınızı belirtiyorsunuz. Zaten önceden sisteminiz toplam 2gb idi o yüzden kasması normal zira hepsini bu işe ayırıyordunuz.

Ayrıca @cagriemer'e katılıyorum. cache tutmak için bu kadar büyük alana da ihtiyaç yok. Internetten gelen 40 gb veriyi cachelemek ne kadar mantıklı bilmiyorum. 100-200 mb gibi bir alan interneti rahatlatmak için yeterli. 40 gb demek cache dizini altına kaç tane dosya açması demek bilmiyorum ( o kadar çok) ama bu kadar büyük alan ayırdığınızda bilgileri bulması zaman alacaktır ve cache mantığına ters düşecektir. cacheleme yapmazsanız daha hızlı çalışır bu durumda .. O yüzden önerileri deneyip ona göre duruma baksak.

/var/log/squid/cache.log dosyasını buraya geçebilirsiniz.

Kod Seç Genişlet

cache_mem 256 MB
cache_dir ufs /var/spool/squid3 1024 64 256
maximum_object_size 10 MB

Bu şekilde nasıl çalışacak mesela...

Baktınız ki sorun yok, cache_mem'i attırmaya gidersiniz 512 gibi..

olmuyor abi kafayı yicem 100 megabit hız var squid açık olunca youtube den video dolmuyor 1024 ram 1024 cache alanı yaptım olmuyor işlemci mi yetmiyor acaba yada ethernet kartımı şişiyor.

[arpia]

Yazdıklarımla denedikleriniz çok örtüşmüyor ama daha fazla söyleyebilecek fikrim yok.

Kod Seç Genişlet

cat /proc/cpuinfo
ve demin istediğim,

Kod Seç Genişlet

/var/log/squid/cache.log dosyasını buraya geçebilirsiniz belki başka bir fikrimiz olur.

Şuan ki cache_mem  ve  cache_dir değerlerini de kopyala yapıştır yaparsanız sevinirim.

[ahmetkanar54]

Yazdıklarımla denedikleriniz çok örtüşmüyor ama daha fazla söyleyebilecek fikrim yok.

Kod Seç Genişlet

cat /proc/cpuinfo
ve demin istediğim,

Kod Seç Genişlet

/var/log/squid/cache.log dosyasını buraya geçebilirsiniz belki başka bir fikrimiz olur.

Şuan ki cache_mem  ve  cache_dir değerlerini de kopyala yapıştır yaparsanız sevinirim.

squid conf dosyam

http://pastebin.com/misCUvkp

cpuinfo

http://pastebin.com/uq99eURJ

/var/log/squid3/cache.log

http://pastebin.com/LCYzG53w

[arpia]

squid.conf dosyanızda,

Kod Seç Genişlet


#cache_mem 128 MB
cache_mem 1024 MB

olan satırlarda, başında diyez olmayan yani 1024 yazan satırı 256 olarak değiştirin.
Örn;

Kod Seç Genişlet


cache_mem 256 MB


şeklinde değiştirin, sunucuyu yeniden başlatın bakalım sorun devam edecek mi?

Kod Seç Genişlet


top

çıktısı ile işlemci ve bellek kullanımınızı takip edebilirsiniz, bu sırada işlemciye başka yüklenen bir şey var mı diye...

[ahmetkanar54]

yok hocam olmuyor var bi sıkıntısıda anlıyamıyorum.Ama işin ilgisi sadece youtubede videolar dolmuyor geri kalan video sitelerinde doluyor

[arpia]

Kaçırdığım bir nokta var sanırım. Sunucu mu şişiyor yoksa istemciler üzerinde ki internette mi sorun var?

[ahmetkanar54]

Kaçırdığım bir nokta var sanırım. Sunucu mu şişiyor yoksa istemciler üzerinde ki internette mi sorun var?

hocam herşey iyi sadece youtubede ki videolar dolmuyor

[arpia]

zentyal kurulu sanırım. Proxy --> General altında "Cache Exemptions" diye bir bölüm var mı? Varsa oraya youtube.com'u ekleyip dener misiniz?

Youtube'u cacheleme için muaf tutacaktır.

[ahmetkanar54]

zentyal kurulu sanırım. Proxy --> General altında "Cache Exemptions" diye bir bölüm var mı? Varsa oraya youtube.com'u ekleyip dener misiniz?

Youtube'u cacheleme için muaf tutacaktır.

yok hocam yemiyor galiba işlemcinin gücü yetmiyor.