Graph Neural Networks Based Approach for Interpersonal Relationship Classification in Images

Abstract

Sosyal hayatımızın ayrılmaz bir parçası olan kişiler arası ilişkiler, insanların toplum içinde nasıl bağlantı kurduklarını ve etkileşimde bulunduklarını gösterir. Görüntülerden iki kişi arasındaki ilişkiyi tanımlamak, birçok farklı faktöre ve özniteliklere bağlıdır. Bu çalışmada imgelerde iki kişi arasındaki ilişkiyi tanımlamada önemli olan öznitelikler temelinde Grafik Sinir Ağları (GSA) tabanlı bir yaklaşım önerilmektedir. Önerilen yöntemde, ilişkinin betimlenmesinde kullanılacak her öznitelik bir GSA düğümü olarak tanımlanır. Daha sonra düğümler arasındaki anlamsız bağlantılar budama işlemiyle seyreltilerek ideal GSA modeli elde edilir. Bu çalışmada literatürden farklı olarak zengin özniteliklerin kullanılmasıyla daha geniş bir GSA tasarlanmış ve budama işlemiyle düğümler arasındaki anlamlı bağlantılar elde edilerek kişiler arası ilişki sınıflandırması için daha gürbüz bir GSA oluşturulmuştur. Yapılan deneylerde hem daha geniş GSA kullanımı hem de budama işlemiyle sınıflandırma performansının yükseldiği görülmüştür.

Interpersonal relationships, which are an integral part of our social life, demonstrate how people connect and interact within society. Describing the relationship between two individuals in images depends on many different factors and attributes. In this study, a Graph Neural Network (GNN) based approach is proposed that focuses on the important attributes for describing the relationship between two individuals in images. In the proposed method, each attribute that will be used to describe the relationship is defined as a GNN node. Then, the meaningless connections between nodes are pruned with a pruning operation to obtain the ideal GNN model. In this study, a more robust GNN for classifying interpersonal relationships is created by using rich attributes, unlike the literature, and obtaining significant connections between nodes through pruning. The experiments conducted in this study showed that both using a wider GNN and pruning operation improve the classification performance.