私も水泳や柔道と言った体を使う運動は得意でしたが、球技が全然駄目で球技大会は憂鬱でしたね。野球でフライが取れなくて周りに怒られたのを思い出しました。運動神経と言っても球技の才能は全く別物だと思います。
小学生の頃は野球やサッカーが上手いかどうかがクラス内のヒエラルキーに直結していましたからね。水泳が得意でも休み時間に泳げませんから意味ないんですよね。

運動は嫌いじゃないのに出来なさすぎる人もつらいですね。嫌いなら関わらないってことができますが、好きだとスポーツ見てしまいますからね。その気持ちはよくわかります。
そんな人は筋トレとかジョギングの様な周りを気にせずできる運動がおすすめです。