EEG sinyallerinden bakılan görselin üretilmesi

Abstract

Öz:EEG sinyalleri kullanılarak engelliler için kontrol edilebilir tekerlekli sandalyelerin üretildiği veya yapılması düşünülen aktivitenin tahmin edildiği çalışmalara literatürde sıklıkla rastlanmaktadır. Genel olarak bu çalışmalarda elektroensefalografi (EEG) sinyalinin önceden belirlenen sınıflara aktarımı gerçekleştirilir. Bu çalışmalar EEG sinyalinin sınıflandırmasından ibarettir. Ancak son yıllarda yapay öğrenme alanında yaşanan gelişmelerle sınıflandırmadan öteye gidildiği, EEG sinyalinden bakılan görselin üretilebildiği görülmektedir. Klasik çekişmeli üretici ağlar (Generative adversarial networks-GAN) ve otomatik kodlayıcı (Auto encoder-AE) yaklaşımlarının kullanıldığı sınırlı sayıdaki bu çalışmalar incelendiğinde, EEG sinyallerinden kabaca görsellerin üretilebildiği görülmektedir. Bu çalışmanın özgün yönü, görsel üretim kabiliyetini arttıracak matematiksel yaklaşımlar içermesidir. Klasik GAN mimarileri üretilen görüntülerin çeşitliliğini sağlayabilmek için rastgele vektör girişini kullanırlar. Bu yaklaşım ile EEG sinyalinden üretilen görsellerin düşük kalitede olduğu gözlemlenmiştir. Önerilen yöntemde giriş iki kısım (kodlanmış EEG ve rastgelelik) olarak düşünülmüştür. EEG’nin kodlanması için değişken oto kodlayıcı (Variational auto encoder-VAE) ve fourier dönüşümü (FD) kullanılırken, rastgelelik için iki farklı yaklaşım önerilmiştir. Bu özgün GAN kullanımı, EEG sinyallerinden daha kaliteli görsel üretilmesini sağlamıştır. Bu kalitenin sayısal olarak anlaşılabilmesi için önceden eğitilmiş evrişimsel sinir ağları (ESA) kullanılmıştır. Yapılan deneysel çalışmalar neticesinde, klasik GAN ile EEG’den üretilen görsellerin başarım seviyesi %93 civarındayken, önerilen yaklaşımda bu seviyenin %95-%100 aralığına çıktığı görülmektedir.

Öz:In the literature, it is encountered a vast amount of studies related to the production of controllable wheelchairs for people with disabilities or the prediction of activity thought to be performed. In general, the electroencephalography (EEG) signal is transferred to predetermined classes in these studies. These studies consist of the classification of the EEG signal. However, it has been observed that in the recent years, with the developments in the field of artificial learning, the classification has gone beyond, It can be seen that the visual viewed from the EEG signal can be produced. When the limited number of studies using classical generative adversarial networks (GAN) and autu encoder (AE) approaches are examined, it is seen that visuals from EEG signals can be produced roughly. The original aspect of this study is that it includes mathematical approaches to increase the visual production capability. Classical GAN architectures use random vector input to provide a variety of images produced. With this approach, it is observed that the visuals produced from the EEG signal are of low quality. In the proposed method, the input is considered as two parts (coded EEG and randomness). Variable auto encoder (VAE) and fourier transform (FT) are used to encode the EEG, while two different approaches are proposed for randomness. The use of this original GAN has enabled higher quality visuals to be produced than EEG signals. In order to understand this quality numerically, pre-trained convolutional neural networks (CNN) was used. As a result of experimental studies, While the performance level of the visuals produced from EEG signals with classical GAN is around 93%, it is seen that this level rises to 95% -100% in the proposed approach.