Dağıtılmış hiyerarşik kümeleme

oy
21

Hiyerarşik kümeleme ile yardımcı olabilecek herhangi algoritmalar var mı? Google'ın harita-azaltmak k-kümeleme sadece bir örnek vardır. Hiyerarşik kümeleme durumunda, bunu düğümler arasındaki iş bölmek mümkündür emin değilim. Bulduğum diğer kaynaktır: http://issues.apache.org/jira/browse/MAHOUT-19 Ama algoritmaları kullanıldıkları, belirgin değil.

Oluştur 17/09/2008 saat 17:00
kaynak kullanıcı
Diğer dillerde...                            


5 cevaplar

oy
17

Öncelikle, size hiyerarşi aşağıdan yukarıya veya yukarıdan aşağı inşa gidiyoruz karar vermek zorunda.

Aşağıdan Yukarı Hiyerarşik Aglomeratif kümeleme denir. Burada basit, iyi belgelenmiş algoritma var: http://nlp.stanford.edu/IR-book/html/htmledition/hierarchical-agglomerative-clustering-1.html .

Her dağıtılmış işlem, uygun kümeler hakkında seçim yapmak için tüm veri kümesini gerektiğinden tabandan tavana algoritma Dağıtma zordur. aynı seviyede birden fazla kümeye bir veri noktası eklemez yüzden de bugünkü seviyesinde kümelerinin listesini ihtiyacı var.

Yukarıdan aşağı hiyerarşi yapı denir bölücü kümeleme . K-ortalama sizin hiyerarşinin düğümleri bölmek nasıl karar verecek bir seçenektir. Bu kağıt, K-aracı ve düğüm bölme için asıl yönü bölücü Bölümleme (PDDP) bakar http://scgroup.hpclab.ceid.upatras.gr/faculty/stratis/Papers/tm07book.pdf . Sonunda, sadece nispeten iyi dengelenmiş çocuk düğümler içine her üst düğümünü ayırmak gerekir.

Bir yukarıdan aşağıya bir yaklaşım dağıtmak daha kolaydır. İlk düğüm şekilde ayrıldıktan sonra, oluşturulan her düğüm tekrar bölünmesi dağıtılmış sürecine sevk edilebilir ve benzeri ... Her dağıtılmış süreci bölme olan veri kümesinin alt kümesi haberdar olmak için tek ihtiyacı vardır. Sadece ana süreç tam veri kümesi farkındadır.

Buna ek olarak, her bir bölme paralel gerçekleştirilebilir. k-ortalama için iki örnek:

Cevap 10/10/2008 saat 19:45
kaynak kullanıcı

oy
2

Bu çok okunabilir Eğer biraz tarihli göz atın Olson tarafından inceleme (1995) . O zamandan beri çoğu kağıtları erişmek için bir ücret gerektirir. :-)

Eğer R kullanırsam, denemenizi öneririz pvclust kullanarak paralellik elde kar , başka R modülü.

Cevap 12/05/2009 saat 17:56
kaynak kullanıcı

oy
2

Clark Olson hiyerarşik kümeleme için çeşitli dağıtık algoritmalar yorumları:

CF Olson. "Hiyerarşik Kümeleme için Paralel Algoritmalar." Paralel Hesaplama , 21: 1313-1325, 1995, DOI: 10.1016 / 0167-8191 (95) 00017-I .

Parunak ve diğ. karıncalar yuvalarını sıralamak nasıl esinlenerek bir algoritma açıklamaktadır:

H. Van Dyke Parunak Richard Rohwer Theodore C. Belding ve Sven Brueckner: "Herhangi Zamanlı Hiyerarşik Kümeleme Dinamik Dağıtık." In Proc. Mühendislik Kendini Yöneten Sistemleri 4. Uluslararası Çalıştay (ESOA) 2006, DOI: 10.1007 / 978-3-540-69868-5

Cevap 09/10/2008 saat 19:35
kaynak kullanıcı

oy
1

Ayrıca görebilirsiniz bulma ve ağlarda toplum yapısını değerlendirmek onlar topluluklar kalitesi içine ağ bölünme bir ağlarda toplulukları değerlendirirken (ve bu yaklaşımı esas algoritmaların grubu) için yaklasimimizi ve ölçü önermekteyiz Newman ve Girvan, (grafik modülerlik) tarafından.

Cevap 12/05/2011 saat 15:35
kaynak kullanıcı

oy
0

Sen ... adamlar Kendinden organize haritalar (Kohonen'in sinir ağı yöntemiyle) ile yapılan çalışma, bazı bakmak olabilir Viyana Teknoloji Üniversitesi büyüyen hiyerarşik haritası algoritmasının dağıtılan hesaplanmasına bazı işler yaptık.

); Bu, kümelenme söz kenarında biraz, bu nedenle yardımcı olmayabilir, ama daha yakın bir şey düşünemiyorum

Cevap 17/09/2008 saat 17:28
kaynak kullanıcı

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more