Urodził się 12 czerwca 1846 r., Był synem spolonizowanych niemieckich kolonistów i przez całe życie czuł się Polakiem. Po ukończeniu gimnazjum wstąpił do seminarium duchownego we Lwowie, gdzie przełożeni dostrzegli jego niezwykłe cechy charakteru i wysłali na studia do Rzymu. Tam, w nowozałożonym Kolegium Polskim, prowadzonym przez o. Semenenkę, jednego ze współzałożycieli Księży Zmartwychwstańców, odbywał studia teologiczne. Podczas nauki w Rzymie ks. Weber poważnie zachorował. Uczynił wtedy ślub, że jeżeli wyzdrowieje, to wstąpi do Zgromadzenia Księży Zmartwychwstania Pańskiego. Pan Bóg wysłuchał jego modlitw i przywrócił mu zdrowie. Jednak, gdy poprosił swojego biskupa o zwolnienie z diecezji, otrzymał polecenie, by wypełnienie tego ślubu odłożył na inny czas, gdyż jest bardzo potrzebny w diecezji. Młody kleryk dostosował się do decyzji swojego zwierzchnika i pozostał do jego dyspozycji.Po otrzymaniu święceń kapłańskich w bazylice Jana Laterańskiego wrócił do Lwowa. W tym czasie abp Morawski poszukiwał młodego i zdolnego kapłana, który mógłby objąć urząd kanclerza. Wybór padł na ks. Józefa Webera. Arcybiskup pragnął odnowić życie duchowe wśród ludu i duchowieństwa, które od stu lat pozostawało pod wpływem józefinizmu. Oceniając cnoty ks. Webera, uważał, że będzie on najodpowiedniejszym kapłanem do przeprowadzenia tej reformy i dlatego jemu powierzył przygotowanie dobrych kapłanów, mianując go ojcem duchownym kleryków w seminarium lwowskim. Ks. Józef Weber, pełen ducha Chrystusowego i gorliwości apostolskiej, wpajał w serca alumnów miłość do Jezusa i Kościoła, którą sam był przeniknięty. Wychowankowie ks. Webera widzieli w nim ascetę, był surowy dla siebie, a wyrozumiały dla innych. Na każdym, kto się z nim spotkał, wywierał niezapomniane wrażenie. Jego nadzwyczajny spokój, głęboki rozum, żywa wiara oparta na doskonałym zjednoczeniu z Bogiem, ułatwiały mu podejście do ludzi.

Pan Bóg skierował do niego Matkę Kolumbę, gdy ta, po konflikcie z ks. Leszczyńskim, przyjechała do Lwowa. Poproszony przez nią o kierownictwo duchowe, wyraził na to zgodę i został duchowym przewodnikiem Matki Założycielki. Gdy w 1880 r. ks. Leszczyński wyjechał z Wielowsi, Matka Założycielka zwróciła się do ks. biskupa z prośbą o mianowanie ks. Józefa Webera dyrektorem Zgromadzenia. Nie było żadnych przeszkód, aby to życzenie spełnić i od 7 września 1881 r. ks. Weber przez 25 lat sprawował opiekę nad Zgromadzeniem.

W 1895 r. ks. Weber został mianowany arcybiskupem pomocniczym we Lwowie. Kilka lat później papież Leon XIII wyniósł go do godności arcybiskupa miasta Derna. Za zgodą Ojca św. Piusa X zrezygnował z tych godności i w 1904 r., wypełniając wreszcie swój ślub, wstąpił do Zgromadzenia Księży Zmartwychwstańców.

Zmarł 24 marca 1918 r. w Chicago.