TensorFlow içinde tf.while_loop paralel argümanlar açıklaması

oy
0

Ben TensorFlow de paralel bir uygulama sağlayan bir algoritma uygulamak istiyoruz. Sorum argümanlar swap_memory parallel_iterations ve maximum_iterations aslında yapmak ve durumu göre onların uygun değerler olduğu şeydir. Özellikle, TensorFlow site üzerindeki belgelerinde https://www.tensorflow.org/api_docs/python/tf/while_loop parallel_iterations paralel olarak çalışmasına izin yineleme sayısı olduğunu söylüyor. Bu sayı iplik sayısı mı? Birisi CPU-GPU takas hafızası ve hangi nedenle izin vermelidir zaman? Bu seçim avantajları ve dezavantajları nelerdir? Maximum_iterations amacı nedir? O parallel_iterations ile kombine edilebilir mi?

Oluştur 27/11/2018 saat 18:20
kaynak kullanıcı
Diğer dillerde...                            


1 cevaplar

oy
0

swap_memory Eğer GPU cihazda ekstra hafızaya sahip istediğinizde kullanılır. Bir modeli eğitim gören Genellikle bazı aktivasyonlar GPU mem kaydedilir. daha sonra kullanılmak üzere. Swap_memory ile, CPU bellekte bu aktivasyonlar depolamak ve GPU mem kullanabilirsiniz. örneğin büyük toplu boyutlarına sığacak şekilde. Ve bu bir avantajdır. Eğer büyük batch_sizes ihtiyaç veya uzun dizilere sahiptir ve OOM özel durumları önlemek istiyorsanız bu seçsin. Eğer CPU mem veri aktarmak gerekir çünkü Dezavantajı hesaplama zamanı. GPU hafız.

Maksimum yineleme Tavsiyen olduğunu. bunun gibi:

while num_iter < 100 and <some condition>:
    do something
    num_iter += 1 

Eğer bir durumunu kontrol değil, aynı zamanda bir üst sınır olması istediğinizde yüzden yararlıdır (bir örnek, bir model yakınsar eğer hala k tekrardan sonra bitirmek istiyorum değilse. denetlemektir.)

Gelince parallel_iterations Emin değilim, ama evet, birden çok iş parçacığı gibi geliyor. Denemek ve örnek bir komut etkisini görebilirsiniz.

Cevap 27/11/2018 saat 21:26
kaynak kullanıcı

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more