甲因本县卫生局的不当执法行为而蒙受损失，为保险起见，他可以在申请行政复议的同时，选择提起行政诉讼。