Tensorflow: Veri kümesi Harita num_parallel_calls ile hiçbir hızlanma sunar

oy
1

Ben TensorFlow ve kullanıyorum tf.data.Datasetbazı metin ön işleme gerçekleştirmek için API. Kullanmadan num_parallel_callsbenim de dataset.mapçağrı, bu ön işlemek 10K kayıtlarına 0.03s sürer.

Ben kullandığınızda num_parallel_trials=8(benim makinede çekirdek sayısı), aynı zamanda preprocess 10K kayıtlarına 0.03s sürer.

Etrafa googled ve bu rastladım: Paralellik veri kümesi haritası süresini azaltarak değil

Onlar bir hıza görmek TensorFlow işlemlerini kullanmak gerekir olmadığına işaret etmesi. Olay şu: Ben am sadece TensorFlow işlemlerini kullanarak. Özellikle, bu işlevi haritalama ediyorum:

def preprocess(self, x, data_table):
    x['reviews'] = tf.string_split(x['reviews'], delimiter=' ')
    x['reviews'] = tf.sparse_tensor_to_dense(x['reviews'], default_value=' ')
    x['reviews'] = tf.cast(data_table.lookup(x['reviews']), tf.int32)
    nbatch = tf.cast(tf.shape(x['reviews'])[0], tf.int32)
    nseq = tf.cast(tf.shape(x['reviews'])[1], tf.int32)
    padding = tf.cond(tf.less(nseq, 100),
                      lambda: 0 * tf.ones([nbatch, 100 - nseq], tf.int32),
                      lambda: 0 * tf.ones([nbatch, 0], tf.int32))
    x['reviews'] = tf.concat((x['reviews'], padding), axis=1)[:, :100]
    x['reviews'].set_shape([None, 100])
    return x

Ben herhangi bir hıza görmüyorum neden biliyor musunuz?

Teşekkürler!

Oluştur 27/11/2018 saat 18:09
kaynak kullanıcı
Diğer dillerde...                            


1 cevaplar

oy
0

Benim ilk varsayım, her yineleme ve çekirdek için tembel başlatma olarak hızınızı eziyorlar lambda çağrılar olacaktır. Bu url göre o hızlandırmak ve çekirdek kullanımı için benzer bir sorun vardır. GPU üzerinde tensorflow map_fn kullanmak için bir yolu var mı? Ben tensörü ve boru ile hemen hemen bir acemi değilim ama bilgisayara erişimi varken daha sonra içine bakacağız, ben yürütülebilir olsa nerede yürütülüyor bilmek istiyorum.

Cevap 29/11/2018 saat 23:21
kaynak kullanıcı

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more