アスペルガー症候群は、対人関係がうまくいかないことが例に挙げられますがコミュニケーション能力や社会性に寄るところが大きいです。
しかし本人や周りに認識している人は少なく、また周りからは理解されにくいことでもあります。
ただこれはいくらなんでもアスペルガー症候群の例としては違うような気がしますね。

言い方はともかく自分の仕事が終わっているのであれば問題ない気がしますし、残業して当たり前と思っていることがまずい気がします。
ベストは定時に仕事を終えて帰宅することではありますね。