North Carolina Eyalet Üniversitesi’ndeki yapay zeka araştırmacıları, özellik normalleştirme ve özellik dikkat modüllerini özenli normalleştirme (ÖN) olarak adlandırdıkları tek bir modülde birleştirerek derin sinir ağlarının performansını geliştirdiler. Hibrit modül, ihmal edilebilir ekstra hesaplama gücünü kullanırken, sistemin doğruluğunu önemli ölçüde artırıyor.
“Özellik normalleştirme, derin sinir ağlarını eğitmenin çok önemli bir unsurudur ve özelliğin dikkati, ağların ham verilerden öğrenilen hangi özelliklerin belirli bir görevi başarmak için en önemli olduğunu vurgulamasına yardımcı olmak için eşit derecede önemlidir,” diyor. NC Eyaletinde elektrik ve bilgisayar mühendisliği alanında yardımcı doçent. “Ama çoğunlukla ayrı muamele gördüler. Bunları birleştirmenin onları daha verimli ve etkili hale getirdiğini gördük.”
ÖN modüllerini test etmek için, araştırmacılar onu en yaygın kullanılan dört sinir ağı mimarisine bağladı: ResNets, DenseNets, MobileNetsV2 ve AOGNets. Daha sonra ağları iki endüstri standardı karşılaştırmalı teste göre test ettiler: ImageNet-1000 sınıflandırma karşılaştırması ve MS-COCO 2017 nesne algılama ve örnek bölümleme karşılaştırması.
Wu, “ÖN’nin her iki karşılaştırmada da dört mimari için performansı artırdığını gördük,” diyor. “Örneğin, ImageNet-1000’deki en iyi 1 doğruluk% 0,5 ile% 2,7 arasında arttı. Ve Ortalama Kesinlik (AP) doğruluğu sınırlayıcı kutu için% 1,8’e ve MS-COCO’da anlamsal maske için% 2,2’ye kadar arttı.
Wu, “ÖN’nin bir başka avantajı, farklı alanlar arasında daha iyi aktarım öğrenmeyi kolaylaştırmasıdır” diyor. “Örneğin, ImageNet’teki görüntü sınıflandırmasından MS-COCO’da nesne algılamaya ve anlamsal bölümlemeye kadar. Bu, MS-COCO’da ImageNet tarafından önceden eğitilmiş derin sinir ağlarının ince ayarının yapılmasıyla elde edilen MS-COCO kıyaslamasındaki performans artışı ile gösterilmektedir. COCO, son teknoloji bilgisayar görüşünde ortak bir iş akışı.