Les deux variantes se rencontrent et se rapprochent en sens, mais selon certains auteurs, être plein d’attention pour quelqu’un (au singulier) est vieux ou littéraire.

Il vaut mieux employer être plein d’attentions pour quelqu’un, c’est-à-dire être attentionné, donner de petites marques de délicatesse.