Научные интересы М.Н. Костылева связаны с изучением и совершенствованием хозяйственно-полезных качеств овец романовской породы. Он является соавтором трех генеалогических групп романовских овец. По актуальным вопросам овцеводства им опубликовано более 100 научных работ, в том числе 10 рекомендаций и наставлений. С участием М.Н. Костылева разработан действующий нормативный документ «Порядок и условия проведения бонитировки племенных овец романовской породы».