Yn 1880 derbyniodd alwad i eglwys Bwcle, sir Fflint, eglwys Saesneg o ran iaith ond Cymreig ei hysbryd. Ar ôl pedair bl. yno aeth i Hull at eglwys Saesneg ei hiaith a'i hysbryd. Dyma'r cyfnod y troes ei feddwl a'i galon at Gymru, ac ymhyfrydu yn ei llên a'i barddas. Cyfansoddodd draethodau a darnau barddonol a ddaeth yn arobryn mewn aml eisteddfod. Saif Eist. Gen. Wrecsam, 1888, yn dystiolaeth i'w ddawn. Fe'i gelwid yn ‘Eisteddfod Elfed’ gan iddo fod yn fuddugol ar y bryddest, ‘Y Sabbath yng Nghymru’; y rhieingerdd, ‘Llyn y Morynion’, a thraethawd ar ‘Athrylith John Ceiriog Hughes’. Yr un pryd bu'n paratoi cyhoeddi The sweet singers of Wales ac Emynwyr Cymru. Dyma'r adeg y cyfansoddodd nifer o'i emynau poblogaidd.

Troes yn ôl i Gymru yn 1891 i eglwys y Park, Llanelli, eglwys Saesneg, ond rhoes o'i wasanaeth yn fwyfwy i'w gyd-genedl. Enillodd y gadair yn 1894 ar ‘Hunan-aberth’; bu'n gydolygydd y Caniedydd Cynulleidfaol a'i gyhoeddi yn 1895; yr un flwyddyn fe wahoddwyd yr Eist. Gen. i Lanelli; cyhoeddwyd hefyd Caniadau Elfed a thair bl. yn ddiweddarach caed Plannu coed. Y flwyddyn honno, 1898, derbyniodd alwad i Harecourt, eglwys nid anenwog yn Llundain ag iddi gysylltiad â Chromwell a David Livingstone. Wedi aml gais, ildiodd i daerineb eglwys y Tabernacl, King's Cross, yn 1904 i'w gwasanaethu, ac yno y bu hyd ei ymddeoliad yn 1940, pryd y symudodd i ‘Erw'r Delyn’, Penarth, ac ymaelodi yn Ebeneser, Caerdydd.

Gellir dosrannu ei weinidogaeth yn Y Tabernacl yn dri chyfnod: (a) Y Diwygiad (1904-14) pryd y rhoes Elfed o'i ddawn i hyrwyddo a chyfeirio'r brwdfrydedd crefyddol; (b) Y Dirywiad (1914-24). Trefnodd ‘gyfamod’ â'r aelodau a wasgarwyd oblegid y rhyfel fel y diogelwyd y berthynas rhyngddynt fel diadell; (c) Y Dirwasgiad (1924-40). Cafodd llu o Gymry ymgeledd a gwaith drwy Elfed yn y cyfnod anodd hwn a bu ei neges o obaith yn gysur nid bychan i'r lliaws o Gymry a ddaeth i'r brifddinas oherwydd diweithdra yn yr henwlad.

Mynnodd prifysgol ac eisteddfod, llywodraeth ac eglwys gydnabod ei gyfraniad. Ef oedd y cyntaf i Brifysgol Cymru ei anrhydeddu â gradd driphlyg, M.A. (1906), D.D. (1933) ac LL.D. (1949). Derbyniodd bob anrhydedd a ellid ei gyflwyno iddo gan yr eisteddfod fel cystadleuydd, ac yna fel beirniad ac Archdderwydd. Ni bu'r eglwys hithau yn ôl. Galwodd Bwrdd Cenhadol Llundain ef i'w gadair ar ddeutro, yn 1910 ac 1922, ac at hynny, fe'i dewiswyd yn un o dri i ymweld â Madagascar adeg dathlu canmlwydd y glanio cyntaf. Fe'i hetholwyd yn llywydd cenedlaethol yr eglwysi rhyddion yn 1926, ac yn gadeirydd Undeb Cynulleidfaol Lloegr a Chymru yn 1933. Nis anghofiwyd gan Gymru oblegid yn 1923 mynnodd yr Annibynwyr Cymraeg ei ddyrchafu i gadair yr Undeb, a thraddododd araith gofiadwy yn Llangefni ar ‘Yr Emyn Cymraeg’. At hyn, bu aml ddathliad ymhlith y Saeson a'r Cymry o'i weinidogaeth hir a ffrwythlon, ac yn arbennig ei gyfraniad i fywyd Y Tabernacl, King's Cross. Saif y flwyddyn 1948 yn glo godidog i'w anrhydeddau oblegid ym mis Ion. cyflwynwyd iddo dysteb genedlaethol hael a dystiai i'r parch mawr tuag ato gan ei gydgenedl, ac ym Meh. gwnaed ef yn C.H.

Bu bywyd yr aelwyd yn ddedwydd iawn i Elfed. Pr. Mary Taylor o Fwcle, yn 1887, a bu hi'n ymgeledd cymwys iawn iddo, ac yn fam i'w saith plentyn, tan ei marw annisgwyl yn 1918. Ymhen pum ml. pr. Elisabeth Lloyd ond bregus fu ei hiechyd a bu f. yn 1927. Erbyn 1930 tybiodd Elfed fod ei waith cyhoeddus yn dirwyn i ben gan fod ei olygon wedi pallu'n llwyr a theithio yn gwbl amhosibl. Fodd bynnag, daeth un o aelodau King's Cross, Mary Davies, i'w fywyd. Pr. hwy 1930 a rhoes hi estyniad dyddiau a chyfle pellach iddo i wasanaethu yn King's Cross a chylch lletach. Fe'i galluogodd i deithio a phregethu a darlithio hyd y diwedd ar 10 Rhag. 1953. Y Llun dilynol cludwyd ei lwch i ddaear ei henfro ym Mlaen-y-coed.