最初インターホンでのやり取りの時に声が遠かったのは、相手がカメラに映って顔を判別されないように、手でインターホンをふさいでいた可能性があります。
声でのやり取りができないので、呟き主さんのようにドアを開けてしまうことがあるからですね。

ともかく、事前にアポイントメントの無い来客は、自分にとって不要の人物です。
「変だな」「怪しいな」と思ったら、相手にしないようにし、場合によっては警察に通報するようにしましょうね。