nlb nedir / Ağ Trafiği Dağıtımı - Elastic Load Balancing Hakkında SSS - Amazon Web Services

Nlb Nedir

nlb nedir

Ağ Yükü Dengeleme - Kavram ve notlar

Bu makalede Ağ Yükü Dengeleme hakkında bilgiler sağlanır.

Şunlar için geçerlidir: Windows Server
Özgün KB numarası:

Özet

Bu makalede Bir Microsoft Kümeleme Teknolojisi olan Ağ Yükü Dengeleme hakkında bilgiler yer alır.

Daha fazla bilgi

  • S. NLB Kümesini nasıl test edebilirsiniz?

  • Örneğin, kümede düğümler buldunuz ve Yük Dengeleme'nin çalışıp çalışmadığını denetlemek istiyorsunuz. Dört düğümde farklı dört paylaşım oluşturun ve bunlara bir makineden erişmeye çalışın. UNC düzeltme ekini kullanarak göz atarken her seferinde farklı paylaşımlar almalısınız.

  • Aşağıdaki kayıt defteri değerlerini ayarlayarak Yakınsanma parametrelerini ayarlayabilirsiniz:

    • AliveMsgPeriod
    • AliveMsgTolerance
  • Birden fazla VIP (Sanal IP) yapılandırması yalnızca Windows ve sonraki sürümlerde kullanılabilir.

  • STOP ve DRAINSTOP komutları arasında bir fark vardır. STOP komutu konakta NLB hizmetini durdurur ve tüm mevcut bağlantılar kaybolurken DRAINSTOP, NLB'nin geçerli bağlantıları sunmasına ve yeni bağlantıları aynı anda devre dışı bırakmasına izin verir.

  • IGMP yalnızca Küme Çok Noktaya Yayın desteğini kullanacak şekilde yapılandırıldığında yapılandırılabilir.

  • NLB Yöneticisi kullanılarak yapılandırırken sunucuda herhangi bir ağ özelliği açılmamalıdır.

  • NLB tüm sunucularda doğru yerel saate sahip olmalıdır.

  • NLB uygulama hatasını algılamaz. Örneğin, bir Web Sunucusu hizmeti durabilir, ancak NLB bu sunucuya TCP/IP istekleri göndermeye devam eder.

  • NLB, veri değişikliklerinin nadiren gerçekleştiği TCP/IP tabanlı uygulama için kullanılır.

  • KÜME bağdaştırıcısına TCP/IP dışında başka bir protokol kullanmayın.

  • NLB Kümesi Tek Noktaya Yayın veya Çok Noktaya Yayın modunda çalışabilir, ancak her ikisini birden çalışmaz.

  • Microsoft, Sunucu ve NLB Kümesi karışımını desteklemez.

  • Mix-NLB'ye izin verilir. Windows NT WLBS, Windows NLB'de çalıştırılabilir.

  • NLB, Belirteç Halkası ve ATM ağlarını desteklemez. Yalnızca 10 MB ve MB Ethernet ağında test edilmiştir.

  • Tek Ağ Kartı Sınırlamaları: Tek Noktaya Yayın Modunda çalışırken:

    1. Küme konağı arasında normal ağ iletişimi mümkün değil. Kümedeki herhangi bir bilgisayara yönelik ağ trafiği, kümedeki tüm bilgisayarlar için ek ağ yükü oluşturur.
    2. Buna ek olarak, NLB düğümlerini yapılandırmak ve yönetmek için bu bilgisayarda Ağ Yükü Dengeleme Yöneticisi'ni kullanamıyoruz.
  • Başarısız veya çevrimdışı bir bilgisayarı otomatik olarak algılar ve kurtarır. Konaklar eklendiğinde veya kaldırıldığında ağ yükünü otomatik olarak dengeler. 10 saniye içinde iş yükünü kurtarır ve yeniden dağıtır.

  • Bir konak çevrimdışı olduğunda yük otomatik olarak diğer düğümlere yeniden dağıtılır. Bu konakla tüm etkin bağlantılar kaybolur. Bir düğümü uluslararası olarak çevrimdışına alıyorsanız, düğümü çevrimdışı duruma getirmeden önce tüm etkin bağlantılara hizmet vermek için drainsstop komutunu kullanabilirsiniz.

  • NLB kümesinde çalışan uygulamaların bir karışımını kullanabilirsiniz. Örneğin, iis web sunucusunu tüm düğümlerde ve SQL server'ı yalnızca bir düğümde çalıştırabilirsiniz. Bu şekilde yalnızca SQL server düğümüne veritabanı trafiğini belirleyebilirsiniz.

  • NLB ve Kümeleme aynı bilgisayarda etkin olamaz ancak iki küme oluşturabilirsiniz: Dört Düğüm NLB kümesi ve iki düğümlü sunucu kümesi

    Her iki teknoloji için de ayrı bir alt ağ olması gerekiyor mu?

  • NLB Tek bir kümede en fazla 32 bilgisayarı destekler, ancak Sayıyı oluşturmak için RRDNS kullanabilirsiniz.

  • NLB, aynı düğümde veya farklı düğümde istemciden gelen birden çok isteğin yükünü dengeleyebilir. Bu rastgele yapılır.

  • NLB, NLB Düğümünün başarısızlığını otomatik olarak algılar ve kaldırır, ancak bir uygulamanın çalışıp çalışmadığını veya çalışmayı durdurup durdurmadığını değerlendiremez. Bu, bir betik çalıştırılarak el ile yapılmalıdır.

  • Yeni konaklar eklendiğinde veya kaldırıldığında otomatik olarak yük dengelenir ve bu işlem 10 saniye içinde yapılır.

  • Farklı uygulamaların yükünü dengelemek için farklı Sanal Küme IP'leri oluşturulabilir.

  • Bağlantı noktası kuralları küme genelinde aynı olmalıdır, ancak Bağlantı Noktası Kuralları birden çok Sanal IP için farklı olabilir.

  • NLB, özgün bilgisayar adı ve IP adresiyle çakışmaz.

  • NLB birden çok ağ bağdaştırıcısında etkinleştirilebilir. Bu, farklı NLB Kümesi yapılandırmanıza olanak tanır.

  • NLB iki modda çalışabilir: Tek Noktaya Yayın veya Çok Noktaya Yayın, ancak her iki mod da aynı anda etkinleştirilemiyor. Tek noktaya yayın varsayılan moddur.

  • NLB, her konağın gelen TCP/IP trafiğini algılamasını ve almasını sağlar. Bu trafik kümedeki tüm konaklar tarafından alınır ve NLB sürücüsü tanımlanan Bağlantı Noktası Kuralları'na göre trafiği filtreler. NLB düğümleri, tüm düğümlerde NLB etkinleştirildiğinden istemciden gelen trafik için birbirleriyle iletişim kurmaz. Gelen trafiği dağıtmak için her konakta istatistiksel olarak eşleme kuralı oluşturulur. Kümede bir değişiklik olmadığı sürece (örneğin, düğüm kaldırıldı veya eklendi) bu eşleme aynı kalır.

  • Yakınsama, küme durumunu yeniden oluşturma işlemidir. Bu işlem, kümede bir değişiklik olduğunda çağrılır (örneğin düğüm başarısız olur, kümeden ayrılır veya kümeye yeniden katılır). Bu işlemde küme tarafından aşağıdaki eylemler gerçekleştirilir:

    1. Küme durumunu yeniden oluşturun.
    2. En yüksek konak önceliğine sahip konağı Varsayılan Konak olarak belirleyin.
    3. Yük dengeli trafik, kalan konaklar arasında yeniden bölümlendirilir veya yeniden dağıtılır.
  • Bu işlem sırasında kalan konak gelen istemci trafiğini işlemeye devam eder. Kümeye bir konak eklenirse yakınsama, bu konağın yük dengeli trafik payını almasına izin verir. Kümenin genişletilmesi devam eden küme işlemlerini etkilemez ve hem İnternet istemcilerine hem de sunucu uygulamalarına saydam bir şekilde sağlanır. Ancak, istemci bencesi seçildiğinde birden çok TCP bağlantısına yayılan istemci oturumlarını etkileyebilir, çünkü istemciler bağlantılar arasındaki farklı küme konaklarına yeniden eşlenebilir. Benzite hakkında daha fazla bilgi için

  • Kümedeki tüm düğümler, kümedeki kullanılabilirliklerini bildirmek için sinyal iletilerini yayar. Sinyal iletisi göndermek için varsayılan süre bir saniyedir ve NLB'nin Yakınsanma işlemini çağırmasına neden olan bir konaktan gelen beş yanıtsız sinyal iletisidir.

  • Aynı ağ bağdaştırıcısında birden çok NLB kümesi yapılandırabilir ve ardından bu IP adreslerinin her birine belirli bağlantı noktası kurallarını uygulayabiliriz. Bunlar "Sanal Kümeler" olarak adlandırılır.

  • Windows , ağ yükü dengeleme yöneticisi ve funduszeue.info adlı bir GUI aracıyla birlikte gelir. Bir komut satırı aracı. Windows 'de funduszeue.info ve GUI aracı da yoktur. Bu GUI aracı, yalnızca Windows NLB'yi yönetmek için XP'ye de yüklenebilir. NLB Yöneticisi DCOM ve WMI kullanır.

  • NLB'yi yapılandırdığınız düğümde Yöneticiler grubunun üyesi olmanız gerekir. NLB Yöneticisi'ni çalıştırmak için yönetici olmanız gerekmez.

  • Tek noktaya yayın modunda tek NIC > NLB Etkin - Tek noktaya yayın modundaki tek bir ağ bağdaştırıcısının konak içi iletişimi olmadığından, diğer konakları yapılandırmak ve yönetmek için bu bilgisayarda NLB Yöneticisi'ni kullanamazsınız.

  • Konak içi iletişim yalnızca çok noktaya yayın düğümünde mümkündür. Aynı NLB kümesindeki sunucular arasında iletişime izin vermek için her sunucu şu kayıt defteri girdisini gerektirir: "UnicastInterHostCommSupport" adlı bir DWORD anahtarı ve her ağ arabirimi kartının GUID'i için 1 olarak ayarlanır (HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\WLBS\Parameters\Interface\{GUID})

  • Bağdaştırıcı sayısıyla ilgili bir kısıtlama yoktur. Farklı konakların farklı ağ bağdaştırıcıları olabilir.

  • Tek Noktaya Yayın Modunda Tek Ağ Bağdaştırıcısı

    • Bağdaştırıcının kendi MAC adresi devre dışı bırakıldı: Oluşturulan küme MAC adresi otomatik olarak bu adresin yerini alır.
    • Hem ayrılmış IP adresi hem de Küme IP Adresi, Küme MAC adresine çözümlenmektedir.
    • Küme konakları arasında normal Ağ iletişimi mümkün değildir.

Küme Parametreleri

  • Küme MAC Adresi, Küme IP Adresi kullanılarak otomatik olarak oluşturulur ve alt ağ genelinde benzersizdir.
  • IPSEC etkinse Uzaktan Denetim çalışmaz. Uzaktan denetim UDP üzerinden bağlantı noktasında ve kullanır.
  • Öncelik Benzersiz Ana Bilgisayar Kimliği: En düşük sayı en yüksektir - Bu önceliğe sahip konak, Bağlantı Noktası Kuralları kapsamında olmayan tüm gelen trafiği işler.
    Bir küme düğümü aynı önceliğe sahip birleştirilirse kümenin parçası olarak kabul edilmez, ancak diğer düğümler çalışmaya devam eder. Buna Varsayılan Ana Bilgisayar adı verilir. Varsayılan Konak başarısız olursa, daha yüksek önceliğe sahip diğer düğüm Varsayılan Konak olarak görev yapabilir.
  • Tcp/IP Özelliğinde önce Ayrılmış IP Adresi girilmelidir. DHCP etkinleştirilemiyor. Aynı durum VIP için de geçerlidir.
  • Bir kümeye 32'den fazla Bağlantı Noktası Kuralı ekleyemezsiniz ve küme genelinde aynı olmalıdır.

Ağ Yükü Dengeleme Yöneticisi

  • NLB Yöneticisi şu anda bunu kullanıyorsa konak için herhangi bir ağ özelliğini alamazsınız.

  • NLB, uzak bilgisayarda yönetici haklarına sahip olduğunuz sürece herhangi bir makine için yapılandırılabilir.

  • NLB'yi Windows 'te başarıyla yapılandırmak için NLB Yöneticisi'ni kullanın - NLB'nin işaretini tüm konaklardan kaldırdığınızdan emin olun.

  • NLB Yöneticisi'ni kullanarak bir konak eklediğinizde, Bağlantı Noktası Kuralları ve ilişkili seçenekler ilk konaktan devralınır.

  • Tek noktaya yayın moduna sahip tek bir ağ bağdaştırıcısında konak içi iletişim olmadığından NLB Tek Noktaya Yayın Modu ile Tek Bağdaştırıcı'da çalışıyorsa NLB Yöneticisi'nden diğer konakları alamazsınız. Bunu yapmak için şu kayıt defterini kullanın: UnicastHostInterCommSupport ve 1 olarak ayarlayın.

  • Uzak konakların kimlik bilgilerini belirtmek için NLB Yöneticisi'nde Kimlik Bilgileri Seçeneğini kullanabilirsiniz. NLB Yöneticisi bu kimlik bilgilerini kullanarak uzak konaklara bağlanmayı dener.

  • TCP/IP Özellik ayarlarını veya NLB Yöneticisi'ni kullanmanız, ancak NLB'yi yapılandırmak için ikisini birden kullanmamanız gerekir.

  • NLB Yöneticisi bir kümede yanlış yapılandırılmış Konaklara bağlanmaz veya gösterilmez.

  • Yönetici üyeliğine sahip olmadığınız konaklar NLB Yöneticisi'nde görüntülenmez.

  • Tüm bağlantı noktası aralıklarının listesi Bağlantı Noktası Aralığına göre sıralanır.

  • NLB'de Etki Alanı Denetleyicileri, Üye Sunucular, Çalışma Grubu sunucuları vb. karışık olabilir. Bu aslında NLB'nin sınırlaması değildir. NLB, yerleşik yönetici hesabını kullanarak bilgisayara erişebilmelidir.

  • Bir sunucuda NLB'yi etkinleştirdiğinizde, varsayılan kayıt defteri girdileri aşağıdakiler altında oluşturulur:

  • DIP ve VIP doğru girilmelidir. Bu adımı atlarsanız küme düğümleri birbirleri ile yakınsayacaktır, ancak bu düğümler ve trafiği kabul edemeyecektir.

  • IP Adresi çakışma iletisi yalnızca VIP için görüntülenir. Konakta NLB işaretini kaldırırsanız tüm bağdaştırıcılardan VIP'nin kaldırıldığından emin olun.

  • İzleme için NLB ile aşağıdaki araçlar kullanılabilir:

    • ClusterSenitel
    • Data Warehouse Merkezi
    • HTTPMon - IIS Hizmetlerini izlemek için.
    • Anne
  • PPTP isteklerinin yük dengelemesi yaparken, her NLB konağında iki ağ bağdaştırıcısı gerekir.

  • İki ağ bağdaştırıcısı yapılandırırken TCP/IP özelliğinde ağ geçidi adresi sağlamanız gerekir. Ağ geçidi FE NIC'ye girilmelidir.

  • NLB, Genel veya İnternet'e yönelik ağ bağdaştırıcısında etkinleştirilmelidir.

  • Telnet bağlantısının dengelenmesi için ilişkili bağlantı noktalarının açılması gerekir. Telnet bağlantısı IP başına yalnızca bir bağlantıya yaydığından, bu durumda benzite gerekli değildir.

  • NLB'nin özgün uygulaması WLBS'dir. Tüm olaylar WLBS kaynağında kaydedilir. NLB için komut satırı arabirimi WLBS, Windows 'te ise NLB'dir.

  • NLB Yöneticisi WMI sağlayıcısı, bilgisayar adının sayısal bir karakterle başladığı bir küme konağına bağlanamıyor. Bu bir hata.

  • NLB, uygulama verilerini çoğaltmaz. Microsoft içerik Çoğaltma Sistemi'ni (CRS) veya üçüncü taraf yazılımı kullanmanız gerekebilir.

  • NLB, hizmetlerin durmasını veya başlatılmasını da izlemez. Kaynak seti ile birlikte gelen HTTPMon'ları kullanabilirsiniz. Aşağıda açıklanan aşağıdaki araçları kullanabilirsiniz:

    • Özel Durum İzleyicisi

    • HTTPMon

    • Üçüncü taraf izleme araçları

      • Mercury Interactive Corporation tarafından sitescope
      • NetIQ tarafından AppManager
      • Ipswitch tarafından yapılan WhatsUp Gold

Tek NIC ile Tek Noktaya Yayın Modu

Tek Noktaya Yayın Modu'nda NLB, Ağ Bağdaştırıcısı'nın MAC adresini Küme MAC olarak değiştirir. Artık kümede yalnızca bir MAC Adresi vardır. Bu, Küme MAC'idir ve bu MAC adresinin tüm küme konaklarında aynı olması gerekir. Ağ Yeniden Yönlendiricisi, aynı kaynaktan geliyorsa ve ana bilgisayar birbiriyle iletişim kuramıyorsa isteği aynı MAC Adresine iletemez. Bu, Tek NIC ile Tek Noktaya Yayın Modu'nun dezavantajıdır. Konakların birbirleriyle iletişim kurmasını sağlamak için ÇOK NOKTAYA YAYıN modunu etkinleştirin veya ikinci bir NIC yükleyin.

  • Ağ yük dengeleme yöneticisini kullanırken "Yük dengelemeyi yapılandırmak için kullanılabilir arabirim yok" ifadesini alabilirsiniz. Bir sunucuyu görüntülediyseniz veya sanal makineye kopyaladıysanız bu hatayı alırsınız. Tüm ağ GUID'leri aynı olacaktır. Bu sorunun üstesinden gelmek için ağ bağdaştırıcısını cihaz yöneticisinden yeniden yüklemeniz gerekir.
  • NLB'yi NLB Yöneticisi aracılığıyla yapılandırırken konağı kümeden sildiniz. Bu durumun durumu hala uzun süre beklemede görünüyorsa konaktaki NLB'yi el ile devre dışı bırakın. Yöneticiden kaybolur.
  • Tek Noktaya Yayın Modu ile Tek NIC'de NLB Kümesi çalıştırırken tüm konağı ekledikten sonra yerel konak (NLB Yöneticisi'ni çalıştırdığınız yerde) eklemek her zaman en iyi yöntemdir.
  • Kümeyi Tek Noktaya Yayın veya Çok Noktaya Yayın Modu ile Tek NIC'de çalıştırırken NLB Yöneticisi'ni kümenin parçası olmayan ayrı bir bilgisayarda çalıştırmanız önerilir.
  • Yerel konağı NLB Yöneticisi'ne tek nic tek noktaya yayın modunda eklediyseniz ve yenilediğinizde diğer tüm konaklara ulaşılamaz.
  • UNC kullanarak VIP'ye eriştiğinizde, isteğiniz etki alanında olmayan bir konağa ve etki alanı üyenize iletiliyorsa oturum açma kutusunu alabilirsiniz. Kullanıcı kimlik bilgilerini sağlamanız gerekebilir.
  • NLB düğümleri arasındaki çapraz kablo sinyal iletileri ve diğerleri için düzgün çalışmıyor. Sunucu kümelemesinde harika çalışır.
  • Sinyal iletileri, kümeyi Tek Noktaya Yayın veya Çok Noktaya Yayın modunda çalıştırırken her zaman NLB Etkin NIC üzerinden iletilir.
  • Bir konakta çalışan bir uygulama öldüğünde veya durduğunda, NLB uygulamanın durumunu izlemediğinden istekleri bu sunucuya iletmeye devam eder.
  • NLB Yöneticisi tarafından yalnızca Windows ve sonraki sürümleri yapılandırılabilir. Ancak, Windows'un önceki sürümlerini yönetebilirsiniz, ancak NLB Yöneticisi kullanarak bunları yapılandıramazsınız.
  • NLB için uzaktan denetim UDP bağlantı noktası 'ü kullanır.

Windows Ağ Yük Dengeleme Geliştirmeleri

  • NLB için Windows Server 'de IPV6 desteği vardır. IPV6 konağı NLB düğümünü birleştirebilir.
  • NLB için Windows Server 'de birden çok Ayrılmış IP Adresi desteklenir.
  • Windows 'ten Windows 'e sıralı yükseltmeyi destekler.
  • Katılımsız NLB Yüklemesini Destekler
  • Sunucu Çekirdeği'nde NLB için de destekler.

Microsoft Corporation ve/veya ilgili tedarikçileri, burada yer alan bilgilerin ve ilgili grafiklerin uygunluğu, güvenilirliği ya da doğruluğu hakkında hiçbir beyanda bulunmamaktadır. Benzer bilgilerin ve ilgili grafiklerin tümü, "olduğu gibi" herhangi bir garanti olmaksızın sağlanmaktadır. Microsoft ve/veya ilgili tedarikçileri, zımni tüm satılabilirlik, belirli bir amaca uygunluk, ustalıkla yapma çabası, mülkiyet ve ihlal bulunmaması garanti ve koşulları dahil bu bilgiler ve ilgili grafiklerle ilgili tüm garanti ve koşulları reddetmektedir. Microsoft ve/veya tedarikçileri, hiçbir koşulda herhangi bir doğrudan, dolaylı, cezai, arızi, özel, netice kabilinden doğan zararlar veya sözleşme, haksız fiil, ihmal, kusursuz sorumluluk veya aksi durumlara bağlı kullanım, veri veya kâr kaybı ile buradaki bilgiler ve ilgili grafiklerin kullanılmasından veya kullanılamamasından doğan zararlar dahil ancak bunlarla sınırlı olmamak kaydıyla, Microsoft ve/veya tedarikçilerine zararların oluşma ihtimali hakkında tavsiye de bulunulmuş olsa dahi sorumlu tutulamaz.


Ek kaynaklar

Clusters Mimari (Kümeleme)

Cluster kelimesi Türkçe de “kümelenmek” anlamına gelmektedir. Teknik manada ise basit olarak benzer bir amaç için oluşturulan bilgisayar (sunucu) topluluğu anlamına gelir. Cluster yapı oluşturmak için en az iki sunucu gerekir. Her bir sunucu node olarak isimlendirilir. Kullanıcı arka taraftaki nodeları bilmez yapıyı tek bir nodedan oluşmuş gibi görür. Cluster yapı, servis ve uygulamalara erişebilirliği ve verimliliği artırmak için oluşturulur. Cluster yapı ile;

  • Sunucu veya sunucularda ki Uygulama ve yazılımlarda oluşabilecek hataların,
  • Sunucu veya sunucularda meydana gelebilecek donanımsal arıza, elektrik kesintisi gibi hataların,
  • Doğal afetler, yüksek güç ve iletişim aşımında oluşabilecek hataların önüne geçilmiş olur.

Cluster yapı genelde iki amaç için kurulur.

  • Yüksek erişilebilirlik (High-availability) clusterları

Amaç erişilebilirliği arttırmadır. Tek bir sunucunun görevini herhangi bir donanım yada yazılım sorunu oluştuğunda diğer bir sunucunun otomatik olarak devralması şeklinde özetlenebilir. Özellikle kritik önem içeren hizmetler için tavsiye edilir. Bu yapıda sistem, kesintisiz ya da minimum kesinti süresiyle hizmet vermeye devam eder. Cluster içindeki arızalı sunucuya müdahale edilip tekrar cluster ortamına dahil edilebilmesi ile sistem normale döner. Aktif – Pasif şeklinde çalışır.

  • Yük dağıtımlı clusterlar (Load-Balancing clusters)

Bu tarz clusterlarda birden fazla sunucu belirli bir servis ya da hizmeti verirken oluşan işlem yükünü paylaşırlar. Bu işlem yazılımla yapılabildiği gibi donanım cihazı ile de yapılabilir. Bu yapıya Microsoft tabanlı sever işletim sistemlerinde kullanılan NLB (network load balancing) örnek olarak gösterilebilir. Aktif – aktif çalışır.

Cluster yapı ilk önceleri işletim sistemi seviyesinde uygulandı. Microsoft  Windows Enterprise işletim sistemi ile desteklenmeye başladı. Buradaki amaç yapıyı oluşturan sunuculardan birisi down (devre dışı) olduğu zaman üzerindeki servis veya uygulamanın devamlılığını sağlamak için diğer sunucunun bu görevleri üzerine alarak (Failover yaparak)  hizmetteki kesintinin en az süreye indirilmesi ve hizmet devamlılığının sağlanması idi.

cbsa_cluster_

Cluster yapı daha sonraları uygulama katmanında da kullanılmaya başlandı. Veri tabanı tarafında cluster yapı dağıtık sistemler şeklinde isimlendirilmektedir. Sistemin getirilerinden bazıları şunlardır.

  • Kesintisiz ve sürekli çalışma süresi,
  • Kullanıcıların sunucu kesintilerini hissetmemesi,
  • Kapasiteyi artırmak için Hot-Plug (kesintisiz) olarak yeni sunucu ekleyebilme veya çıkarabilme,
  • &#;Düşük Maliyet&#; ile &#;Yüksek Performans&#;,

cbsa_cluster_

CBS tabanlı uygulamalarda ise cluster yapı çok daha önem arz etmektedir. CBS tabanlı uygulamalar diğer uygulamalara göre daha çok veri içerdiğinden genelde performans sorunu yaşanmaktadır. Bu sorunu aşmanın yollarından biride  CBS uygulamalarının sistem mimarisinde Cluster yapının kullanılmasıdır. Bu konuda en iyi örneklerden biri Arcgis Server cluster mimarisidir.

ArcGIS Server; Data sunucularında tutulan mekânsal verilerin ve bu verileri yönetip, analiz ettiğiniz uygulamaların farklı istemcilerin erişimine açmak için kullanılan yazılımdır.  Arcgis Server mimarisindeki Gis Server&#;lar web servera yapılan tüm request&#;leri karşılayarak haritaları çizer, sorgulamaları gerçekleştirir, farklı araçları (printing, models vs.) çalıştırır. Ayrıca coğrafi bilgi sistemleri geliştirirken çok sık kullanacağınız geometrik hesaplamalarınızı yapar. Gis Server&#;lar bir veya birden fazla makinaların birlikte çalışmasına dayanır. Böylece farklı makinalar aynı mekansal verilere erişip, farklı işlemleri gerçekleştirebilir. Tüm servisler htpp protokolü üzerinden erişime açılır.

Tek sunuculu mimari örnekleri

Tek sunuculu mimari örnekleri

 

 

Çoklu Sunucu mimari örnekleri

Çoklu Sunucu mimari örnekleri

 

 

Cluster yapılı mimari örnekleri

Cluster yapılı mimari örnekleri

 

 

ArcServer sistem mimarisi genel

ArcGIS Server sistem mimarisi genel

 

Kaynak:   funduszeue.info

funduszeue.info

funduszeue.info

 

Merhaba

Daha önceki yazımızda Windows Server Network Load Balancing Kurulumu sizlerle paylaşmıştık. Bu yazımızda da Windows Server Network Load Balancing özelliği ile Remote Desktop Session Host ( RDHS ) üzerinde yapılandırıyor olacağız.

Ortamınız içinde bulunan Remote Desktop Session Host ( RDHS ) ve ya Web Server ( ISS ) gibi hizmetlerin anlık olarak cevap veremez hale gelmesi çoğu Bilgi Teknolojileri çalışanın büyük bir kabusudur. Remote Desktop Session Host ( RDHS ) ve ya Web Server ( IIS ) gibi hizmetler de yaşanabilecek Donanımsal ya da Yazılımsal gibi bir sorunda hizmet veremez duruma gelebilir. Bu gibi Donanımsal ve yazılımsal sorunları hiç yaşamamak için birçok yöntem mevcuttur. Bu yazımızda da Windows Server sunucu işletim sisteminin bir özelliği olan Network Load Balancing ( NLB ) kurulum adımlarını anlatıyor olacağız. Network Load Balancing ( NLB ) özelliği Windows Advanced Server ve sonraki tüm Windows Server versiyonlarında bulunmaktadir.

Network Load Balancing nedir? Niçin İhtiyaç duyarız ?

Network Load Balancing ( NLB ) servisi Network ( Ağ ) yükünün Load Balacing ( Yük Dengeleme ) ve ya Fault Tolerance ( Hata Toleransı ) bağlı olarak birden fazla sunucuya dağılımını yapan servisdir. Bu sayede hizmet kesintisine uğramadan Client makinelerinize hizmet sağlayabiliriz. Network Load Balancing ( NLB ) servisini Remote Desktop Session Host ( RDHS ) ve ya Web Server ( ISS ) gibi hizmetlerin Client makinelerinizin sürekli iletişimde olduğu servislerde kullanabiliriz.

Network Load Balancing ( NLB )’nin iki temel özelliği vardır.

Load Balacing ( Yük Dengeleme ) : Hizmet veren sunucunun belirli bir kapasitesi ve üzerindeki Network Adaptor bir bant genişliği vardır. Ortamınızdaki bütün Client makineleriniz tek bir sunucu üzerinden Remote Desktop Session Host ( RDHS ) ve ya Web Server ( ISS ) gibi hizmetleri alması durumunda performans düşüklüğü yaşayabilirsiniz. Network Load Balancing ( NLB ) sayesinde aynı işi yapan farklı sunucular üzerinde yönlendirme yaparak kapasite ve bant genişliğini artırabilir ve Donanımsal ya da Yazılımsal gibi bir sorunda kesintiyi en aza indirebilirsiniz.

Fault Tolerance ( Hata Toleransı ) : Sunuculardan birinin yedeği olduğu için herhangi birinin üzerinde güncelleme,bakım işlerini yaparken diğer sunucu hizmete devam edebilmektedir.

Kurulum ve Yapılandırmaya geçmeden önce ortamınızla ilgili kısa bir bilgi aktarmak istiyorum.

Birinci Sunucum Windows Server Datacenter işletim sistemine sahip W19DC isminde ve /24 olarak IP Adresi yapılandırılmıştır. Üzerinde Active Directory Domain Services yapılandırılarak funduszeue.info isminde bir Active Directory Domain ortamı kurularak ortamımızda Primary Domain Controller olarak görev yapmaktadır.

İkinci Sunucum Windows Server Datacenter işletim sistemine sahip W19RDHS1 isminde ve /24 olarak IP Adresi yapılandırılmıştır. Active Directory Domain ortamına dahil ederek Remote Desktop Session Host ( RDHS ) rolünün kurulu ve yapılandırılmış durumdadır. Bu sunucumuz üzerinde Network Load Balancing ( NLB ) servisi yapılandırıyor olacağız.

İkinci Sunucum Windows Server Datacenter işletim sistemine sahip W19RDHS2 isminde ve /24 olarak IP Adresi yapılandırılmıştır. Active Directory Domain ortamına dahil ederek Remote Desktop Session Host ( RDHS ) rolünün kurulu ve yapılandırılmış durumdadır. Bu sunucumuz üzerinde Network Load Balancing ( NLB ) servisi yapılandırıyor olacağız.

Windows Server üzerinde Remote Desktop Session Host ( RDHS ), Remote Desktop Licensing Services Yapılandırması ve RemoteApp kurulumlarını ve yapılandırmasını daha önceki yazılarımızda sizlerle paylaşmıştık.

Kısaca özetlemek gerekirse ortamımızda bulunan W19RDHS1 isimli ve W19RDHS2 isimli 2 Adet Remote Desktop Session Host ( RDHS ) sunucumuz bulunmaktadir. Bu Remote Desktop Session Host ( RDHS ) sunucularımız üzerinde Network Load Balancing ( NLB )yapısını yapılandırarak sanki ortamımızda 2 Adet Remote Desktop Session Host ( RDHS ) sunucumuz değil de 1 Adet Remote Desktop Session Host ( RDHS ) sunucu varmış gibi davranmasını sağlayacağız. Remote Desktop Session Host ( RDHS ) sunucularımıza erişim için dışarıdan gelen istemci makineler önce bizim oluşturduğumuz Network Load Balancing ( NLB ) yapısı üzerine gidiyor olacaktır ve Network Load Balancing ( NLB ) yapılandırılmasına göre arka tarafta çalışan Remote Desktop Session Host ( RDHS ) sunucularımız üzerine dağıtımını sağlamış olacağız.

W19RDHS1 isimli sunucumuz üzerinde Network Load Balancing ( NLB ) yapılandırmasını başlatıyoruz.

Network Load Balancing yapılandırması için Administrative Tools => Network Load Balancing Manager konsolunu açıyoruz.

Network Load Balancing Manager konsolunu geliyor karşımıza.

Network Load Balancing Manager konsolununda Network Load Balancing Clusters üzerinde sağ tuş New Cluster diyoruz ya da Cluster menüsü altında New diyerek yapılandırmaya başlayabilirsiniz.

New Cluster : Connect ekranın da Host bölümüne Network Load Balancing ( NLB ) yapısına birinci olarak hangi sunucumuz üzerinden yapılandıracaksak o sunucumuzun Computer Name ( Bilgisayar İsmi ) ya da IP Address ( IP Adresi ) yazmamız gerekiyor.

New Cluster : Connect ekranın da Host bölümüne Network Load Balancing ( NLB ) yapısına birinci olarak hangi sunucumuz üzerinden yapılandıracaksak o sunucumuzun Computer Name ( Bilgisayar İsmi ) ya da IP Address ( IP Adresi ) yazıyoruz ve Connect diyoruz.

New Cluster : Connect ekranın da Interfaces available for configuring a new cluster bölümün de Interface name ve Interface IP sekmelerinde eklemiş olduğumuz W19RDHS1 isimli sunucumuzun bilgilerinin geldiğini görüyoruz.

New Cluster : Connect ekranın da gerekli yapılandırmayı tamamladıktan sonra Next diyerek devam ediyoruz.

New Cluster : Host Parameters ekranın da Priority ( unique host identifier ) bölümününde Network Load Balancing ( NLB ) üyesi olacak her bir sunucu için farklı bir değer olması gerekmektedir. W19RDHS1 isimli sunucumuzun yapılandırdığımız ilk sunucumuz olduğu için Priority ( unique host identifier ) bölümünündeki değerin 1 olarak geldiğini görüyoruz. Yani gelen istekler ilk olarak W19RDHS1 isimli sunucumuzu üzerine yönlendirilecektir.

New Cluster : Host Parameters ekranın da Initial Host State bölümünde Network Load Balancing ( NLB ) üyesi olan sunucuların hangi konumda Started ( Başlatan ), Stopped ( Durdurulan ) ve Suspended ( Askıda ) olacağını belirtebiliriz. Default olarak Started ( Başlatan ) bırakıyoruz.

New Cluster : Host Parameters ekranın da Retain suspended state after computer restarts bölümünü seçmeniz durumda Network Load Balancing ( NLB ) üyesi olan sunucu yeniden başlatığında Network Load Balancing ( NLB ) askıya alınmış durumu korunacaktır.

New Cluster : Host Parameters ekranın da gerekli yapılandırmayı tamamladıktan sonra Next diyerek devam ediyoruz.

New Cluster : Cluster IP  Addresses ekranın da Add diyerek yapılandıracağımız Network Load Balancing ( NLB ) için bir IP Adress ( IP Adresi ) ekliyoruz.

New Cluster : Cluster IP  Addresses ekranın da Add dediğimizde Add IP Adress ekranın da yapılandıracağımız Network Load Balancing ( NLB ) yapısı için yapımız içinde kullanılmayan bir IP Adress ( IP Adresi ) yazıyoruz ve OK diyoruz.

Add IP Adress ekranın da yapılandıracağımız Network Load Balancing ( NLB ) yapısı için yapılandırdığınız IP Adress ( IP Adresi ) ortamdaki W19RDHS1 isimli ve W19RDHS2 isimli sunucularımızın IP Adress ( IP Adresi ) olmayacaktır. Dışarıdan erişim için yönlendirme yapacağımız Network Load Balancing ( NLB ) yapısı için Local Network IP adresi olacaktır.

New Cluster : Cluster IP  Addresses ekranın da Cluster IP address bölümünde IP address ( IP Adresi ) ve Subnet mask ( Alt Ağ Maskesi ) bilgilerinin geldiğini görüyoruz ve Next diyerek devam ediyoruz.

New Cluster : Cluster Parameters ekranın da Cluster IP configuration bölümü altında IP address ( IP Adresi ) ve Subnet mask ( Alt Ağ Maskesi ) bilgilerini görüyoruz.

Cluster operation mode bölümün yapılandırma sunucularımız üzerindeki Network kartlarına göre yapılandırılmaktadır.

Unicast : Sunucunuz üzerinde eğer çift Network Adapter ( Network Adaptör ) sahip ise bu seçenek yapılandırılır.

Multicast : Sunucunuz üzerinde eğer tek Network Adapter ( Network Adaptör ) sahip ise bu seçenek yapılandırılır.

IGMP multicast : Eğer sunucularınızın bağlı olduğu Switch&#;in IGMP özelliğini destekliyorsa kullanabiliriz. IGMP ( Internet Group Management Protocol ), TCP/IP&#;de çoklu dağıtım ( Multicast ) üyelerini yönetmek için kullanılan bir iletişim protokolüdür. Taşıma protokolü gibi davranmamasına rağmen, ağ katmanının üzerinde çalışması IP çoklu dağıtımın önemli bir özelliğidir. Tekli dağıtım ( Unicast ) bağlantılardaki ICMP ye benzerdir. IGMP online streaming videolarda ve oyunlarda kullanılabilir. Bu tip uygulamaları desteklerken kaynaklarının daha verimli şekilde kullanılmasını sağlar.

New Cluster : Cluster Parameters ekranın da Cluster IP configuration altında bulunan Full Internet name bölümüne Network Load Balancing ( NLB ) yapısı için bir Name ( isim ) veriyoruz.

New Cluster : Cluster Parameters ekranın da gerekli yapılandırmayı tamamladıktan sonra Next diyerek devam ediyoruz.

New Cluster : Port Rules ekranın da Edit diyerek Network Load Balancing ( NLB ) yapısıiçin belirleyebileceğimiz Port ayarlarını yapılandırıyoruz.

New Cluster : Port Rules ekranın da Edit dediğimiz de Add/Edit Port Rule ekranını geliyor karşımıza.

Cluster IP address bölümünde eğer All seçili ise Network Load Balancing ( NLB ) yapısı için yapmış olduğunuz bütün yapılandırma başka bir Network Load Balancing ( NLB ) yapısı içinde geçerli olacaktır. Ancak sadece sizin yapılandırmiş olduğunuz Cluster IP Address üzerinde gerekli yapılandırmanın etkin olmasını istiyorsanuz o zaman All işaretini kaldırarak gerekli ayarı o Cluster IP Adress seçerek yapılandırabilirsiniz.

Port Range : Bu seçenekte hangi port aralığını kullanacağınızı yapılandırabiliriz. Default olarak From : 0 To : olarak tüm portlar kullanılmaktadır. Remote Desktop Connection ( RDP ) portu olduğu için bu şekil de yapılandırabilirsiniz.

Protocols : Bu seçenekte hangi port protokolü kullanılacak ise o protolü seçmemiz gerekiyor. TCP (Transmission Control Protocol) , User Datagram Protocol ( UDP ) ya da Both ( Her İkisi ) olarak yapılandırabilirsiniz.

Filtering Mode bölümü altında bulunan seçenek de;

Multiple Host : Eğer ortamınızda birden fazla sunucu kullanılacak ise zaman bu seçeneği yapılandırabilirsiniz.

Affinity bölümü altında bulunan seçenekler de;

None : Gelen talepleri ilk olarak bir sunucuya ikinci olarak diğer sunucuya yönlendirilmesini sağlamaktadır.

Single : İlk talebe cevap hangi sunucudan gelirse hep o sunucuya yönlendirilmesi sağlamaktadır.

Network : Sunucular arasında yönlendirmeyi Network durumuna göre kendisi yapmaktadır. Herhangi bir kuralı yoktur.

Timeout (in muniters ) : Sunucular arasında yönlendirmeyi hangi zaman aşımında yapılacağını belirleyebilirsiniz.

Single Host : Bu seçenek seçilirse Priority değerine göre hangi sunucunun hizmet vereceğini diğer sunucuların hizmet vermeyeceğini belirtmiş olursunuz.

Disable this port range : Port Range dışında herhangi bir cevap vermesini istemiyorsaniz bunu seçebilirsiniz.

Add/Edit Port Rule ekranın da gerekli yapılandırmayı tamamladıktan sonra OK diyoruz.

New Cluster : Port Rules ekranın da gerekli yapılandırmayı tamamladıktan sonra Finish diyerek Network Load Balancing ( NLB ) yapısı oluşturuyoruz.

Network Load Balancing Manager konsolunda yapılandırmış olduğumuz Network Load Balancing ( NLB ) yapısını görüyoruz.

W19RDHS1 isimli sunucumuzun Status bölümünü Converged olarak görüyorsanız yapılandırmanız başarılı olmuştur.

W19RDHS1 isimli sunucumuz üzerinde Network Load Balancing ( NLB ) yapısını başarılı bir şekilde yapılandırdıktan sonra W19RDHS2 isimli sunucumuzu Network Load Balancing ( NLB ) yapısına dahil edeceğiz.

Network Load Balancing Manager konsolununda W19RDHS isimli Cluster yapısı üzerinde sağ tuş Add Host To Cluster diyoruz ya da Cluster menüsü altında Add Host diyerek yapılandırmaya başlayabilirsiniz.

Add Host to Cluster : Connect ekranın da Host bölümüne Network Load Balancing ( NLB ) yapısına birinci olarak hangi sunucumuz üzerinden yapılandıracaksak o sunucumuzun Computer Name ( Bilgisayar İsmi ) ya da IP Address ( IP Adresi ) yazmamız gerekiyor.

Add Host to Cluster : Connect ekranın da Host bölümüne Network Load Balancing ( NLB ) yapısına birinci olarak hangi sunucumuz üzerinden yapılandıracaksak o sunucumuzun Computer Name ( Bilgisayar İsmi ) ya da IP Address ( IP Adresi ) yazıyoruz ve Connect diyoruz.

Add Host to Cluster : Connect ekranın da Interfaces available for configuring a new cluster bölümün de Interface name ve Interface IP sekmelerinde eklemiş olduğumuz W19RDHS2 isimli sunucumuzun bilgilerinin geldiğini görüyoruz.

New Cluster : Connect ekranın da gerekli yapılandırmayı tamamladıktan sonra Next diyerek devam ediyoruz.

Add Host to Cluster : Host Parameters ekranın da Priority ( unique host identifier ) bölümününde Network Load Balancing ( NLB ) üyesi olacak her bir sunucu için farklı bir değer olması gerekmektedir. W19RDHS1 isimli sunucumuzun yapılandırdığımız ilk sunucumuz olduğu için W19RDHS2 isimli sunucumuzu üzerinde Priority ( unique host identifier ) bölümünündeki değerin 2 olarak geldiğini görüyoruz. Yani gelen istekler ikinci olarak W19RDHS2 isimli sunucumuzu üzerine yönlendirilecektir.

Buradaki seçenek tamamen size kalmıştır. W19RDHS1 isimli sunucumuzun Priority değerini 2, W19RDHS2 isimli sunucumuzun Priority değerini 1 yapabilirsiniz.

Add Host to Cluster : Host Parameters ekranın da Initial Host State bölümün altında bulunan Default state seçeneğinde Network Load Balancing ( NLB ) üyesi olan sunucuların hangi konumda Started ( Başlatan ), Stopped ( Durdurulan ) ve Suspended ( Askıda ) olacağını belirtebiliriz. Default olarak Started ( Başlatan ) bırakıyoruz.

Add Host to Cluster : Host Parameters ekranın da Retain suspended state after computer restarts bölümünü seçmeniz durumda Network Load Balancing ( NLB ) üyesi olan sunucu yeniden başlatığında Network Load Balancing ( NLB ) askıya alınmış durumu korunacaktır.

Add Host to Cluster : Host Parameters ekranın da gerekli yapılandırmayı tamamladıktan sonra Next diyerek devam ediyoruz.

Add Host to Cluster : Port Rules ekranın da gerekli yapılandırmayı tamamladıktan sonra Finish diyerek Network Load Balancing ( NLB ) yapısına W19RDHS2 isimli sunucumuzu dahil ediyoruz.

Network Load Balancing Manager konsolunda Network Load Balancing ( NLB ) yapısına W19RDHS2 isimli sunucumuzu dahil edildiğini görüyoruz.

W19RDHS2 isimli sunucumuzun Status bölümünü Pending olarak görüyoruz. Şu anda sunucumuz üzerinde Network Load Balancing ( NLB ) yapısına dahil olduğunu görüyoruz.

W19RDHS2 isimli sunucumuzun Status bölümünü Converged olarak görebiliyorsanız yapılandırmanız başarılı olmuştur.

Network Load Balancing Manager konsolunda W19RDHS2 isimli sunucumuzun Status bölümünü Converged olarak görüyorsanız yapılandırmanız başarılı olmuştur.

 

 

Başka bir yazımızda görüşmek dileğiyle&#;

 

Elastic Load Balancing SSS

S: Network Load Balancer fiyatlandırması nasıl uygulanır?

C: Network Load Balancer hizmetinin çalıştığı her saat veya dakikaya ek olarak Network Load Balancer tarafından yapılan saatlik Yük Dengeleyici Kapasite Birimi (LCU) kullanımı için ücretlendirilirsiniz.

S: Yük Dengeleyici Kapasite Birimi (LCU) nedir?

C: LCU, Network Load Balancer için ne kadar ücret ödeyeceğinizin belirlenmesine yönelik yeni bir ölçümdür. Bir LCU, Network Load Balancer'ın trafiğinizi işlemesinin boyutlarından herhangi birinde tüketilen en fazla kaynağı (yeni bağlantılar/akışlar, aktif bağlantılar/akışlar ve bant genişliği) tanımlar.

S: Network Load Balancer'da TCP trafiği için LCU ölçümleri nelerdir?

C: TCP trafiği için LCU ölçümleri şunlardır:

  • Saniyede yeni TCP bağlantısı.
  • etkin TCP bağlantısı (dakika başına örneklenir).
  • Hedef olarak Amazon EC2 bulut sunucuları, container'lar ve IP adresleri için saatte 1 GB.
S: Network Load Balancer'da UDP trafiği için LCU ölçümleri nelerdir?

C: UDP trafiği için LCU ölçümleri şunlardır:

  • Saniyede yeni akış.
  • etkin UDP akışı (dakika başına örneklenir).
  • Hedef olarak Amazon EC2 bulut sunucuları, container'lar ve IP adresleri için saatte 1 GB.

S: Network Load Balancer'da TLS trafiği için LCU ölçümleri nelerdir?

C: TLS trafiği için LCU ölçümleri şunlardır:

  • Saniyede 50 yeni TLS bağlantısı.
  • etkin TLS bağlantısı (dakika başına örneklenir).
  • Hedef olarak Amazon EC2 bulut sunucuları, container'lar ve IP adresleri için saatte 1 GB.
S: Tüm boyutlar (İşlenmiş Baytlar, Yeni Akışlar ve Etkin Akışlar) üzerinden mi faturalandırılırım?
C: Hayır, her protokol için üç boyuttan yalnızca biri (saat boyunca en yüksek olan) üzerinden ücret ödersiniz.

S: Saniye başına yeni bağlantı/akış sayısı, saniye başına istek sayısıyla aynı şey midir?

C: Hayır. Tek bir bağlantıda birden çok istek gönderilebilir.

S: Classic Load Balancer’larda LCU’ya göre mi faturalandırılırım?

C: Hayır, Classic Load Balancer’lar bant genişliği ve saatlik ücret üzerinden faturalandırılmaya devam edecektir.

S: Bir Network Load Balancer’ın kullandığı LCU sayısını nereden öğrenebilirim?

C: Bir LCU’yu oluşturan üç boyuttan her birinin kullanımına ilişkin olarak Amazon CloudWatch aracılığıyla bilgi sunarız.

S: Bir LCU’nun tüm boyutları üzerinden faturalandırılır mıyım?

C: Hayır, saatlik LCU sayısı, bir LCU’yu oluşturan üç boyut arasında en çok tüketilen kaynak temel alınarak belirlenir.

S: Kısmi LCU’lar için faturalandırılır mıyım?

C: Evet.

S: Yeni AWS hesapları için Network Load Balancer’ı ücretsiz kullanma olanağı sunuluyor mu?

C: Evet. Yeni AWS hesapları için bir Network Load Balancer’a yönelik ücretsiz kullanım kapsamında saat ve 15 LCU sunulur. Bu ücretsiz kullanım teklifi, yalnızca yeni AWS müşterileri tarafından kullanılabilir ve AWS’ye kayıt tarihinden itibaren 12 ay boyunca geçerlidir.

S: Ücretsiz kullanımım kapsamında Network Load Balancer, Application Load Balancer ve Classic Load Balancer'ı birlikte kullanabilir miyim?

C: Evet. Application ve Network Load Balancer'ları her biri için 15 LCU olacak şekilde, Classic yük dengeleyici ise 15 GB olacak şekilde kullanabilirsiniz. yük dengeleyici saati Application, Network ve Classic Load Balancer'lar tarafından ortak kullanılır.

nest...

çamaşır makinesi ses çıkarması topuz modelleri kapalı huawei hoparlör cızırtı hususi otomobil fiat doblo kurbağalıdere parkı ecele sitem melih gokcek jelibon 9 sınıf 2 dönem 2 yazılı almanca 150 rakı fiyatı 2020 parkour 2d en iyi uçlu kalem markası hangisi doğduğun gün ayın görüntüsü hey ram vasundhara das istanbul anadolu 20 icra dairesi iletişim silifke anamur otobüs grinin 50 tonu türkçe altyazılı bir peri masalı 6. bölüm izle sarayönü imsakiye hamile birinin ruyada bebek emzirdigini gormek eşkiya dünyaya hükümdar olmaz 29 bölüm atv emirgan sahili bordo bereli vs sat akbulut inşaat pendik satılık daire atlas park avm mağazalar bursa erenler hava durumu galleria avm kuaför bandırma edirne arası kaç km prof dr ali akyüz kimdir venom zehirli öfke türkçe dublaj izle 2018 indir a101 cafex kahve beyazlatıcı rize 3 asliye hukuk mahkemesi münazara hakkında bilgi 120 milyon doz diyanet mahrem açıklaması honda cr v modifiye aksesuarları ören örtur evleri iyi akşamlar elle abiye ayakkabı ekmek paparası nasıl yapılır tekirdağ çerkezköy 3 zırhlı tugay dört elle sarılmak anlamı sarayhan çiftehan otel bolu ocakbaşı iletişim kumaş ne ile yapışır başak kar maydonoz destesiyem mp3 indir eklips 3 in 1 fırça seti prof cüneyt özek istanbul kütahya yol güzergahı aski memnu soundtrack selçuk psikoloji taban puanları senfonilerle ilahiler adana mut otobüs gülben ergen hürrem rüyada sakız görmek diyanet pupui petek dinçöz mat ruj tenvin harfleri istanbul kocaeli haritası kolay starbucks kurabiyesi 10 sınıf polinom test pdf arçelik tezgah üstü su arıtma cihazı fiyatları şafi mezhebi cuma namazı nasıl kılınır ruhsal bozukluk için dua pvc iç kapı fiyatları işcep kartsız para çekme vga scart çevirici duyarsızlık sözleri samsung whatsapp konuşarak yazma palio şanzıman arızası