Sigmoid-Gumbel: Yeni Bir Hibrit Aktivasyon Fonksiyonu

Abstract

Bu makalede daha önce sunulan aktivasyon fonksiyonlarının olumlu yanlarını birleştiren ve onlardan daha iyi başarım sağlayan ve Sigmoid-Gumbel (SG) olarak adlandırılan yeni bir hibrit aktivasyon fonksiyonu önerilmiştir. Önerilen fonksiyonun başarımını değerlendirmek için dört uygulama yapılmıştır. Yapılan uygulamalarda karşılaştırma fonksiyonları olarak Sigmoid, Gumbel, ReLU ve Adaptive Gumbel fonksiyonları kullanılmıştır. Uygulamalarda MLP ve CNN sinir ağı modelleri kullanılmıştır. MLP ağı derin öğrenmede ikili sınıflandırma sınıf dengesizliği problemi için kullanılmıştır. CNN ağı ise derin öğrenmede görüntü sınıflandırma uygulamaları yapmak üzere tercih edilmiştir. Birinci uygulamada, önerilen fonksiyonun etkinliğini göstermek için MLP ağında 25 dengesiz veri kümesi kullanılmıştır. En yüksek AUC ortalamasını 0.9013 değeri ile SG elde etmiştir. İkinci uygulamada, önerilen fonksiyon CNN ağında MNIST veri kümesi kullanılarak Sigmoid ve Gumbel fonksiyonlarıyla karşılaştırılmıştır. En yüksek ortalama doğruluk değerini 0.9921 ile SG elde etmiştir. Üçüncü uygulamada, önerilen fonksiyonun üç farklı versiyonu karşılaştırılmıştır. Bunun için Fashion-MNIST veri kümesi CNN ağı üzerinde denenmiştir. En yüksek doğruluğu 0.9351 ortalama değeri ile SGv3 elde etmiştir. Dördüncü uygulamada, önerilen fonksiyon CNN ağında MNIST veri kümesi kullanılarak ReLU ve Adaptive Gumbel fonksiyonlarıyla karşılaştırılmıştır. En yüksek başarım 0.9926 değeri ile SG tarafından elde edilmiştir. Yapılan deney sonuçlarına bakıldığında önerilen aktivasyon fonksiyonunun genel olarak daha başarılı olduğu görülmektedir.

In this article, a new hybrid activation function called Sigmoid-Gumbel (SG) is proposed, which combines the positive aspects of the previously presented activation functions and performs better than them. Four applications were made to evaluate the performance of the proposed function. In the applications, Sigmoid, Gumbel, ReLU and Adaptive Gumbel functions were used as comparison functions. MLP and CNN neural network models were used in the applications. MLP network is used for binary classification class imbalance problem in deep learning. CNN network is preferred to perform image classification applications in deep learning. In the first application, 25 unbalanced datasets are used in the MLP network to demonstrate the effectiveness of the proposed function. SG had the highest mean AUC with a value of 0.9013. In the second application, the proposed function is compared with the Sigmoid and Gumbel functions using the MNIST dataset in the CNN network. SG obtained the highest average accuracy value of 0.9921. In the third application, three different versions of the proposed function are compared. For this, the FashionMNIST dataset has been tested on the CNN network. SGv3 achieved the highest accuracy with an average value of 0.9351. In the fourth application, the proposed function is compared with ReLU and Adaptive Gumbel functions using MNIST dataset in CNN network. The highest performance was obtained by SG with a value of 0.9926. Considering the experimental results, it is seen that the proposed activation function is more successful in general.