Squid Optimize Etmek

Başlatan ahmetkanar54, 13 Mart 2014 - 16:01:27

« önceki - sonraki »

0 Üyeler ve 6 Ziyaretçi konuyu incelemekte.

ahmetkanar54

Merhaba akradaşlar 100 clientli bir sistemde squid3 için 2 gb ram ve çift çekirdekle makina kullandım.30-40 kullanıcıya kadar hiç sorun yok ama clientlar fazlaştıkça squid den kaynaklı ağırlık başlıyor işin ilginci 100 megabit internet var toplam trafik normalde saniyede 10 mb olması gerekirken ethernet kartımı şişiyor yoksa işlemci kasamı şişiyorsa artık 3 mb yi geçemiyor anca squid i kapatınca sistem düzeliyor.Neden kaynaklı olabilir

if

@ahmetkanar54, Squid hakkında pek bir bilgim yok. Araştırdığım kadarıyla önbelleklemeden (cache) kaynaklanan bir sorun olma ihtimali var. Siz önbelleklemeyi nasıl yapıyorsunuz? ufs kullanıp çözen var mesela.

ahmetkanar54

Alıntı yapılan: if - 16 Mart 2014 - 16:09:16
@ahmetkanar54, Squid hakkında pek bir bilgim yok. Araştırdığım kadarıyla önbelleklemeden (cache) kaynaklanan bir sorun olma ihtimali var. Siz önbelleklemeyi nasıl yapıyorsunuz? ufs kullanıp çözen var mesela.


ufs ile reiserfs sistemi ilemi ?

if

@ahmetkanar54, # Uncomment and adjust the following to add a disk cache directory.
#cache_dir ufs /usr/local/squid/var/cache/squid 100 16 256
bundan bahsediyorum.

ahmetkanar54

Alıntı yapılan: if - 17 Mart 2014 - 10:45:34
@ahmetkanar54, # Uncomment and adjust the following to add a disk cache directory.
#cache_dir ufs /usr/local/squid/var/cache/squid 100 16 256
bundan bahsediyorum.

benimki öyle hocam zaten :( ama sorun dns le ilgili squid le ilgili değil çünkü indirme yaparken felan son sürat indiriyor.

if

Alıntı yapılan: ahmetkanar54 - 17 Mart 2014 - 11:36:16
Alıntı yapılan: if - 17 Mart 2014 - 10:45:34
@ahmetkanar54, # Uncomment and adjust the following to add a disk cache directory.
#cache_dir ufs /usr/local/squid/var/cache/squid 100 16 256
bundan bahsediyorum.

benimki öyle hocam zaten :( ama sorun dns le ilgili squid le ilgili değil çünkü indirme yaparken felan son sürat indiriyor.

O zaman diyebileceğim bir şey yok maalesef @ahmetkanar54.

arpia

#6
@if'in gösterdiği gibi başlarında # var mı? Birde cache_mem nedir?

Başında # yoksa, /usr/local/squid/var/cache/squid altına 100 mb alan ayırıyordur fakat bu durumda esas merak ettiğim cache_ mem. Onuda iletirseniz bir fikir oluşabilir.

Ayrıca "maximum_object_size" geçen bir satır var mı? başında # var mı? Yoksa yanında yazan değer nedir?

ahmetkanar54

Alıntı yapılan: arpia - 17 Mart 2014 - 11:40:59
@if'in gösterdiği gibi başlarında # var mı? Birde cache_mem nedir?

Başında # yoksa, /usr/local/squid/var/cache/squid altına 100 mb alan ayırıyordur fakat bu durumda esas merak ettiğim cache_ mem. Onuda iletirseniz bir fikir oluşabilir.

Ayrıca "maximum_object_size" geçen bir satır var mı? başında # var mı? Yoksa yanında yazan değer nedir?


o bölüm bu şekilde bende

cache_mem 2048 MB
cache_dir ufs /var/spool/squid3 40960 16 256
maximum_object_size 50 MB

arpia

Başka bir başlıkta da aslında ayırdığınız belleği azaltmanızı önermiştim. Donanım olarak 2gb ram var ve siz cache için 2 gb ayırıyorsunuz, dolayısıyla ram bellek doluyor.

cache_mem'i 256 MB yapıp tekrar dener misiniz?


cagriemer

cache_dir'de ayirdiginiz her GB icin en az 15-20MB kadar da RAM'de ayirmaniz lazim. Ayrica cache_mem'i dogrudan RAM'e ekleyeceksiniz. Bunun da biraz overhead'i olacak. Son olarak bir de diger surecler icin RAM gerekecek. Hem HDD ne kadar ki 40GB  cache ayirdiniz? 64GB falan mi? Oyle bile olsa, 600-800MB kadar cache_dir'in RAM ihtiyaci olacak. Ustune 2GB cache_mem ayirmissiniz. Bunun 200-300MB kadar overhead'i olacak. 500-600 civari da sistem kullaniyor varsayarsak 4GB etti bile. cache_dir'i bana kalirsa cok yuksek tutmussunuz. Diskin hizina, fragmantasyona vs bir suru degere bakiyor bu islemlerin hizi. Test edip ona gore ince ayarlarini yapmaniz lazim.

ahmetkanar54

#10
Alıntı yapılan: cagriemer - 18 Mart 2014 - 00:19:28
cache_dir'de ayirdiginiz her GB icin en az 15-20MB kadar da RAM'de ayirmaniz lazim. Ayrica cache_mem'i dogrudan RAM'e ekleyeceksiniz. Bunun da biraz overhead'i olacak. Son olarak bir de diger surecler icin RAM gerekecek. Hem HDD ne kadar ki 40GB  cache ayirdiniz? 64GB falan mi? Oyle bile olsa, 600-800MB kadar cache_dir'in RAM ihtiyaci olacak. Ustune 2GB cache_mem ayirmissiniz. Bunun 200-300MB kadar overhead'i olacak. 500-600 civari da sistem kullaniyor varsayarsak 4GB etti bile. cache_dir'i bana kalirsa cok yuksek tutmussunuz. Diskin hizina, fragmantasyona vs bir suru degere bakiyor bu islemlerin hizi. Test edip ona gore ince ayarlarini yapmaniz lazim.


hocam peki 100 clientli bir sistem için kaç mb ram ayırmam gerekiyor ? 40 GB yer ayırdım

cagriemer

Yukarida hesabini **zaten** yaptigim uzere 40GB alan icin gereken bellek miktarini, tavsiye edilen degerleri baz alip biraz da guvenlik payi birakmak suretiyle 4GB olarak bulmustum. Bunun disinda bu alan bana hala cok buyuk geliyor ve yavasligin buradan kaynaklandigini dusunuyorum. Sistemdeki darbogaz girdi/cikti islemlerinde mi oluyor, islemcide mi oluyor bunlari gormeden daha net yorum yapmak zor. Ya da soyle soyleyeyim, benim daha fazla tahmin yurutecek kadar bilgim yok.

arpia

cache_mem değerini düşürüp squid'i yeniden başlattıktan sonra sorun devam mı ediyor?

ahmetkanar54

#13
Alıntı yapılan: arpia - 20 Mart 2014 - 08:09:32
cache_mem değerini düşürüp squid'i yeniden başlattıktan sonra sorun devam mı ediyor?

bugün ram i 4 gb ye çıkarttım squid için ram i 2048 yaptım maximum 50 mb kaydet dedim ve yer olarakta 4 gb yer ayırdım bakalım bugün anlaşılır.


Mesaj tekrarı yüzünden mesajınız birleştirildi. Bu mesajın gönderim tarihi : 21 Mart 2014 - 11:25:34

Alıntı yapılan: ahmetkanar54 - 21 Mart 2014 - 10:33:46
Alıntı yapılan: arpia - 20 Mart 2014 - 08:09:32
cache_mem değerini düşürüp squid'i yeniden başlattıktan sonra sorun devam mı ediyor?

bugün ram i 4 gb ye çıkarttım squid için ram i 2048 yaptım maximum 50 mb kaydet dedim ve yer olarakta 4 gb yer ayırdım bakalım bugün anlaşılır.


şu an 40 kullanıcı var ve kasma başladı.

arpia

#14
Alıntı yapılan: arpia - 17 Mart 2014 - 17:09:34
cache_mem'i 256 MB yapıp tekrar dener misiniz?
Bunu denediniz mi?

cache_mem ile diske yazarken ne kadar bellek kulanacağınızı belirtiyorsunuz. Zaten önceden sisteminiz toplam 2gb idi o yüzden kasması normal zira hepsini bu işe ayırıyordunuz.

Ayrıca @cagriemer'e katılıyorum. cache tutmak için bu kadar büyük alana da ihtiyaç yok. Internetten gelen 40 gb veriyi cachelemek ne kadar mantıklı bilmiyorum. 100-200 mb gibi bir alan interneti rahatlatmak için yeterli. 40 gb demek cache dizini altına kaç tane dosya açması demek bilmiyorum ( o kadar çok) ama bu kadar büyük alan ayırdığınızda bilgileri bulması zaman alacaktır ve cache mantığına ters düşecektir. cacheleme yapmazsanız daha hızlı çalışır bu durumda :) .. O yüzden önerileri deneyip ona göre duruma baksak.

/var/log/squid/cache.log dosyasını buraya geçebilirsiniz.

cache_mem 256 MB
cache_dir ufs /var/spool/squid3 1024 64 256
maximum_object_size 10 MB

Bu şekilde nasıl çalışacak mesela...

Baktınız ki sorun yok, cache_mem'i attırmaya gidersiniz 512 gibi..

ahmetkanar54

Alıntı yapılan: arpia - 21 Mart 2014 - 12:04:51
Alıntı yapılan: arpia - 17 Mart 2014 - 17:09:34
cache_mem'i 256 MB yapıp tekrar dener misiniz?
Bunu denediniz mi?

cache_mem ile diske yazarken ne kadar bellek kulanacağınızı belirtiyorsunuz. Zaten önceden sisteminiz toplam 2gb idi o yüzden kasması normal zira hepsini bu işe ayırıyordunuz.

Ayrıca @cagriemer'e katılıyorum. cache tutmak için bu kadar büyük alana da ihtiyaç yok. Internetten gelen 40 gb veriyi cachelemek ne kadar mantıklı bilmiyorum. 100-200 mb gibi bir alan interneti rahatlatmak için yeterli. 40 gb demek cache dizini altına kaç tane dosya açması demek bilmiyorum ( o kadar çok) ama bu kadar büyük alan ayırdığınızda bilgileri bulması zaman alacaktır ve cache mantığına ters düşecektir. cacheleme yapmazsanız daha hızlı çalışır bu durumda :) .. O yüzden önerileri deneyip ona göre duruma baksak.

/var/log/squid/cache.log dosyasını buraya geçebilirsiniz.

cache_mem 256 MB
cache_dir ufs /var/spool/squid3 1024 64 256
maximum_object_size 10 MB

Bu şekilde nasıl çalışacak mesela...

Baktınız ki sorun yok, cache_mem'i attırmaya gidersiniz 512 gibi..


olmuyor abi kafayı yicem 100 megabit hız var squid açık olunca youtube den video dolmuyor 1024 ram 1024 cache alanı yaptım olmuyor işlemci mi yetmiyor acaba yada ethernet kartımı şişiyor.

arpia

Yazdıklarımla denedikleriniz çok örtüşmüyor ama daha fazla söyleyebilecek fikrim yok.

cat /proc/cpuinfo
ve demin istediğim,
/var/log/squid/cache.log dosyasını buraya geçebilirsiniz belki başka bir fikrimiz olur.

Şuan ki cache_mem  ve  cache_dir değerlerini de kopyala yapıştır yaparsanız sevinirim.


ahmetkanar54

Alıntı yapılan: arpia - 21 Mart 2014 - 12:57:57
Yazdıklarımla denedikleriniz çok örtüşmüyor ama daha fazla söyleyebilecek fikrim yok.

cat /proc/cpuinfo
ve demin istediğim,
/var/log/squid/cache.log dosyasını buraya geçebilirsiniz belki başka bir fikrimiz olur.

Şuan ki cache_mem  ve  cache_dir değerlerini de kopyala yapıştır yaparsanız sevinirim.


squid conf dosyam

http://pastebin.com/misCUvkp

cpuinfo

http://pastebin.com/uq99eURJ

/var/log/squid3/cache.log

http://pastebin.com/LCYzG53w


arpia

#18
squid.conf dosyanızda,


#cache_mem 128 MB
cache_mem 1024 MB

olan satırlarda, başında diyez olmayan yani 1024 yazan satırı 256 olarak değiştirin.
Örn;

cache_mem 256 MB


şeklinde değiştirin, sunucuyu yeniden başlatın bakalım sorun devam edecek mi?


top

çıktısı ile işlemci ve bellek kullanımınızı takip edebilirsiniz, bu sırada işlemciye başka yüklenen bir şey var mı diye...

ahmetkanar54

yok hocam olmuyor var bi sıkıntısıda anlıyamıyorum.Ama işin ilgisi sadece youtubede videolar dolmuyor geri kalan video sitelerinde doluyor

arpia

Kaçırdığım bir nokta var sanırım. Sunucu mu şişiyor yoksa istemciler üzerinde ki internette mi sorun var?

ahmetkanar54

Alıntı yapılan: arpia - 21 Mart 2014 - 18:05:52
Kaçırdığım bir nokta var sanırım. Sunucu mu şişiyor yoksa istemciler üzerinde ki internette mi sorun var?


hocam herşey iyi sadece youtubede ki videolar dolmuyor

arpia

zentyal kurulu sanırım. Proxy --> General altında "Cache Exemptions" diye bir bölüm var mı? Varsa oraya youtube.com'u ekleyip dener misiniz?

Youtube'u cacheleme için muaf tutacaktır.

ahmetkanar54

Alıntı yapılan: arpia - 21 Mart 2014 - 20:41:05
zentyal kurulu sanırım. Proxy --> General altında "Cache Exemptions" diye bir bölüm var mı? Varsa oraya youtube.com'u ekleyip dener misiniz?

Youtube'u cacheleme için muaf tutacaktır.


yok hocam yemiyor galiba işlemcinin gücü yetmiyor.