一个结了婚的男人和我有了关系却说其实很想我了，但是他说他怕会把他老婆丢下。怎么理解这句话。