Le verbe retourner s’emploie au figuré pour rendre l’idée de tourner contre quelqu’un une attaque verbale, un sentiment hostile :

Ce sens négatif est si bien établi que l’expression retourner à quelqu’un son compliment est donnée pour familière et ironique.

Elle n’est jamais employée de façon positive, mais toujours dans le même sens que retourner à quelqu’un une critique, une injure :