Panduan E-katalog Versi 5
Pirjo
Untuk mengetahui informasi selengkapnya tentang penggunaan GPU dengan Dataflow, lihat Dukungan dataflow untuk GPU. Untuk mengetahui informasi selengkapnya tentang alur kerja developer untuk membangun pipeline menggunakan GPU, lihat Tentang GPU dengan Dataflow.
Notebook Apache Beam menawarkan cara yang mudah untuk membuat prototipe dan mengembangkanpipeline Anda secara berulang dengan GPU tanpa menyiapkan lingkungan pengembangan. Untuk memulai, baca panduan Mengembangkan dengan notebook Apache Beam, meluncurkan instance notebook Apache Beam, lalu mengikuti contoh notebook Menggunakan GPU dengan Apache Beam.
Saat Anda menentukan opsi install-nvidia-driver, Dataflow akan menginstal driver NVIDIA ke pekerja Dataflow menggunakan utilitas cos-extensions yang disediakan oleh Container-Optimized OS. Dengan menentukan install-nvidia-driver,Anda setuju untuk menyetujui perjanjian lisensi NVIDIA.
Versi driver GPUbergantung pada versi Container-Optimized OS yang digunakan olehDataflow. Guna menemukan versi driver GPU untuk tugasDataflow tertentu, diDataflow Step Logsdari tugas Anda, telusuri GPU driver.
Untuk berinteraksi dengan GPU, Anda mungkin memerlukan software NVIDIA tambahan, sepertilibrary yang dipercepat GPUdan CUDA Toolkit.Sediakan library ini dalam container Docker yang menjalankan kode pengguna.
Untuk menyediakan image container kustom, gunakan Dataflow Runner v2 dan berikan image container menggunakan opsi pipeline sdk_container_image. Jika Anda menggunakan Apache Beam versi 2.29.0 atau yang lebih lama, gunakanopsi pipeline worker_harness_container_image. Untuk mengetahui informasi lebih lanjut, lihat Menggunakan penampung kustom.
Anda dapat membangun image Docker yang memenuhi kontrak container Apache Beam SDKdari image dasar yang ada yang telah dikonfigurasi untuk penggunaan GPU. Misalnya, image Docker TensorFlow, dan image container NVIDIA telah dikonfigurasi untuk penggunaan GPU.
Saat Anda menggunakan image Docker TensorFlow, gunakan TensorFlow 2.5.0 atau yang lebih baru. Image TensorFlow Docker sebelumnya menginstal paket tensorflow-gpu, bukan paket tensorflow. Perbedaannya tidak penting setelah TensorFlow 2.1.0 dirilis, tetapi beberapa paket downstream, seperti tfx, memerlukan paket tensorflow.
Contoh berikut menunjukkan cara memilih image NVIDIA yang tidakmenyertakan penafsir Python darikatalog image container CUDA. Sesuaikancontoh untuk menginstal versi Python 3 dan pip yang diperlukan. Contoh ini menggunakan TensorFlow. Oleh karena itu, saat memilih gambar, versi CUDA dan cuDNN pada image dasar memenuhi persyaratan untuk versi TensorFlow.
Anda dapat mengonfigurasi image container untuk penggunaan GPU tanpa menggunakan image yang sudah dikonfigurasi sebelumnya. Pendekatan ini hanya direkomendasikan jika gambar yang telah dikonfigurasi sebelumnya tidak cocok untuk Anda. Untuk menyiapkan image container sendiri, Anda harus memilih library yang kompatibel dan mengonfigurasi lingkungan eksekusinya.
Untuk mengonfigurasi jenis dan jumlah GPU yang akan dipasang ke pekerja Dataflow, gunakan opsi layanan worker_accelerator.Pilih jenis dan jumlahGPU berdasarkan kasus penggunaan Anda dan rencana Anda untuk menggunakan GPU dipipeline Anda.
Pertimbangkan berapa banyak proses yang secara serentak menggunakan GPU yang sama pada VM pekerja.Kemudian, tentukan apakah Anda ingin membatasi GPU ke satu proses atau membiarkanbeberapa proses menggunakan GPU.
Untuk menjalankan tugas Dataflow dengan GPU, gunakan perintah berikut.Untuk menggunakan pengaturan yang tepat, daripada menggunakanopsi layanan worker_accelerator,gunakanpetunjuk resource accelerator.
Jika tugas Anda tidak diluncurkan dengan GPU, pastikan opsi layanan worker_accelerator dikonfigurasi dengan benar dan terlihat di antarmuka pemantauan Dataflow di dataflow_service_options. Urutan token dalammetadata akselerator sangat penting.
Pada pipeline Python yang berjalan pada pekerja yang memiliki lebih dari satu vCPU, Anda dapat meningkatkan kualitas operasi GPU dengan mengaktifkan NVIDIA Multi-Process Service (MPS). Untuk mengetahui informasi selengkapnya dan langkah-langkah menggunakan MPS, lihatMeningkatkan performa di GPU bersama menggunakan NVIDIA MPS.
Dataflow Prime memungkinkan Andameminta akselerator untuk langkah tertentu dalam pipeline Anda. Untuk menggunakan GPU dengan Dataflow Prime, jangan gunakan opsi pipeline --dataflow-service_options=worker_accelerator. Sebagai gantinya, minta GPU dengan petunjuk resource accelerator.Untuk mengetahui informasi selengkapnya, lihatMenggunakan petunjuk resource.
Kecuali dinyatakan lain, konten di halaman ini dilisensikan berdasarkan Lisensi Creative Commons Attribution 4.0, sedangkan contoh kode dilisensikan berdasarkan Lisensi Apache 2.0. Untuk mengetahui informasi selengkapnya, lihat Kebijakan Situs Google Developers. Java adalah merek dagang terdaftar dari Oracle dan/atau afiliasinya.
4a15465005