En conférant le Baptême à Valens, il lui fit promettre avec serment, qu'il persévérerait dans l'impiété de l'erreur, et qu'il exterminerait tous ceux qui seraient dans un autre sentiment.
Voilà comment il renonça à la doctrine des Apôtres, pour suivre le parti contraire. Il s'acquitta bientôt après de ses promesses, et de ses serments ; car il chassa Mélèce de la ville d'Antioche, Eusèbe de celle de Samosate, et Pelage de celle de Laodicée. Ce dernier s'était marié dans une grande jeunesse ; mais le jour même de ses noces, il avait persuadé à sa femme de préférer la chasteté au plaisir du mariage. Ayant acquis de la sorte la perfection de la continence, il acquit ensuite d'autres excellentes qualités, qui le firent élever à l'honneur du Sacerdoce. Cependant l'ennemi de la vérité n'eut aucun respect pour la pureté de sa vertu, et ne laissa pas de l'exiler en Arabie, comme il exila Mélèce en Arménie, et Eusèbe en Thrace. Ce dernier avait pris le soin, et la peine d'un Apôtre ; car ayant vu plusieurs Églises dépourvues de Pasteurs, il s'habilla en soldat, mit une tiare sur sa tête, parcourut la Syrie, la Phénicie, et la Palestine, ordonna des Prêtres, et des Diacres, et quand il trouva des Évêques, qui tenaient comme lui des sentiments Orthodoxes, il leur confia la conduite des Églises abandonnées.