Optimalkan dan terapkan model pembelajaran mendalam di seluruh perangkat keras Intel
Ubah model yang dilatih menjadi format perantara dan jalankan inferensi berkinerja tinggi dengan Model Optimizer dan Inference Engine, menangani CPU, GPU, dan NPU. Intel Corporation menyediakan toolkit sumber terbuka ini untuk pengembangan desktop dan edge, dengan API Python dan C++ serta integrasi Visual Studio. Ini mendukung TensorFlow, PyTorch, ONNX, Keras, dan PaddlePaddle, dan mencakup alat kuantisasi dan penyebaran GenAI. Toolkit ini cocok untuk pengembang dan insinyur AI yang menargetkan perangkat keras berbasis Intel untuk inferensi dengan latensi rendah dan throughput tinggi.
Apa yang dilakukan OpenVINO untuk model yang diterapkan?
OpenVINO mengonversi dan menyiapkan model dengan menggunakan Model Optimizer untuk menerjemahkan artefak TensorFlow, PyTorch, ONNX, Keras, dan PaddlePaddle menjadi Representasi Menengah. Selain itu, Kerangka Kompresi Jaringan Syaraf menerapkan kuantisasi dan optimasi lainnya untuk mengurangi ukuran model. Mesin Inferensi kemudian mengeksekusi file IR tersebut di berbagai prosesor dan grafik Intel yang didukung, yang memungkinkan model yang sama yang telah dikonversi berjalan di berbagai perangkat Intel.
Apakah ini mempengaruhi kinerja sistem selama inferensi?
Toolkit mengarahkan eksekusi ke perangkat Intel terbaik yang tersedia sehingga CPU, GPU terintegrasi atau diskrit, atau NPU dapat melakukan inferensi. Dukungan untuk prosesor Intel Core, Xeon, Atom dan grafik Arc, UHD, atau Iris Xe adalah eksplisit, dan Mesin Inferensi menargetkan primitif yang sesuai dengan perangkat untuk mengurangi latensi dan meningkatkan throughput selama waktu berjalan. Pengembang dapat memilih backend khusus perangkat untuk menyeimbangkan beban CPU dan penggunaan akselerator.
Apakah ini aman dan dapat dikelola untuk lingkungan produksi?
OpenVINO beroperasi di bawah lisensi sumber terbuka dan terintegrasi dengan alur kerja pengembang melalui API Python dan C++ serta kait Visual Studio. Toolkit ini menyediakan langkah-langkah konversi dan optimasi model sebelum eksekusi, mengurangi kebutuhan untuk mengubah biner produksi saat waktu berjalan. Open Model Zoo menyediakan model yang telah dilatih sebelumnya, dan OpenVINO GenAI menambahkan jalur untuk model generatif, yang bersama-sama memungkinkan tim untuk menggunakan aset yang telah diverifikasi daripada menerapkan biner model yang tidak teruji secara langsung.
Cocok untuk tim AI yang berfokus pada Intel; memerlukan pengetahuan tentang model dan penerapan
Toolkit ini cocok untuk pengembang dan ilmuwan data yang harus mendapatkan inferensi berkinerja tinggi pada perangkat keras Intel dan yang dapat bekerja dengan langkah-langkah konversi model dan pemilihan perangkat. Satu catatan: tim yang tidak akrab dengan alur kerja optimisasi model menghadapi kurva pembelajaran karena proses ini memerlukan konversi model ke format IR dan menerapkan langkah-langkah kompresi sebelum penerapan.
