住所、氏名、固定電話を教えてもらいます。
固定電話が電話帳登録などしていれば１０４で住所氏名で聞き、住所と教えて頂いた電話と同じか確認出来ます。

次に相手に自分の携帯などを教えてその固定電話からかけてもらえば安全だと思います。
１０４で住所と電話が合っていても他人の個人情報を利用している可能性がありますので。
間違い、補足があればよろしく。