男方在服刑,孩子当然应该由女方抚养,这个问题就是法院没有判决也是这样的,现在孩子在男方父母那儿生活,抚养权也是在女方的,你想强行让孩子与女方一起生活应该是没有问题的,但是如果孩子在男方父母那里生活如果有利于孩子成长的话,个人觉得还是不要太在意吧!否则会毁了孩子的。