Ficando consciente que é exatamente assim que funciona a brincadeira de convivência e não tem como ser diferente. Tudo que você faz prejudica alguém e vice versa. Tudo que você não faz também prejudica alguém e vice versa.
Se não quer brincar não desce no play. Entrou na brincadeira da convivência, não tem para onde fugir. Frustrar e ser frustrado, prejudicar e ser prejudicado, desagradar e ser desagradado, contrariar e ser contrariado, é inevitável na convivência.
Depois, ficando consciente que assim como você não nasceu para satisfazer as expectativas dos outros, os outros também não nasceram para satisfazer as suas.
Por fim, conversando e encontrando uma opção que beneficie ambos simultaneamente.