不合法，可以要回来。用人单位无权收缴个人因私护照。依据中华人民共和国公民出境入境管理法实施细则第十六条 中国公民出境入境的主要证件——中华人民共和国护照和中华人民共和国旅行证由持证人保存、使用。除公安机关和原发证机关有权依法吊销、收缴证件以及人民检察院、人民法院有权依法扣留证件外，其他任何机关、团体和企业、事业单位或者个人不得扣留证件。
