La actual parroquia de San José fue, en un principio, una ermita. Esa ermita fue construida por el gremio de carpinteros de Albacete en un solar donado por Francisco Ximénez Villanueva, por escritura de 21 de Marzo de 1608.
En un escrito del 8 de Septiembre de 1766, aparece como escritura del Patriarca del Señor, San José, situada en el centro de la localidad y considerada “con decente adorno para celebrar festividades y misa en el discurso del año”.
A principios del siglo pasado, el doctor D. Juan Salvador de la Bastida la dotó de un censo de 8.000 reales para que en la citada ermita se celebrara “la misa de diez”, y Magdalena Sánchez instituyó otra memoria de doce misas rezadas para que se dijera una el día primero de cada mes. Además, allí se celebraba todos los años la novena al Santo, costumbre restablecida al restaurarse el templo.
El beneficiado Bastida comenzó, por cuenta propia, la construcción de una nueva iglesia, sin embargo el Prelado le pidió cuentas y éste, enfadado con tal exigencia, dejó la obra con las paredes y postes a la altura que alcanzaban. Los carpinteros, por espacio de algún tiempo, continuaron atendiendo el culto, que después se vio abandonado, y tan poco interés demostraron por la ermita que el 5 de Noviembre de 1876 cedieron al Ayuntamiento las obras del beneficiado Bastida, y allí se construyó una escuela municipal.
El presbítero D. Emilio Ruiz, gran devoto del Santo Patriarca, volvió los ojos a aquel templo en el que empezó a celebrar cultos con constancia, dio a la ermita cuanta amplitud fue posible ya que, con la construcción de la escuela municipal, el espacio había quedado bastante limitado, elevó su techo, la pavimentó, colocó elegantes verjas de hierro en el presbiterio y en el coro y la decoró modestamente, bajo la dirección de D. Antonio Martínez Grau, reemplazando el antiguo y vetusto edificio con una bonita iglesia. En esta época San José era ya una rectoría, es decir, una iglesia dependiente de otra principal, en este caso dependiente de La Purísima.
Con la muerte de D. Emilio Ruiz, en 1895, todos sus proyectos se pararon, incluida la restauración del retablo construido en 1719 y que en 1902 yacía ya abandonado. Como homenaje a su obra, se consignó en una lápida de mármol que a él era debida la reedificación del templo.
En la guerra civil, la rectoría de San José fue incendiada y profanada, siendo signo de aquello la pérdida o falta de los libros 2 al 8 de bautismos, 1 y 3 de matrimonios además del 1 y 5 de defunciones. Al terminar la guerra, la rectoría fue restaurada por D. Alfonso Saiz del Olmo.
El 13 de Septiembre de 1950, con el nacimiento de la diócesis de Albacete, San José aparece ya como una parroquia de término dentro del arciprestazgo de Albacete. Su radio de acción era el siguiente: colindando con la parroquia de San Francisco, desde el confín hasta la calle Abelardo Sánchez (actual calle del Rosario). Calle Abelardo Sánchez (sólo en los números de la derecha) hasta calle del Tinte. Calle del Tinte (sólo en los números pares) hasta Tesifonte Gallego. Calle Tesifonte Gallego (en ambos lados) hasta calle Mayor, en la cual no tenía jurisdicción. Además incluía la calle Guzmán el Bueno, la calle de Marzo (sólo en los números de la derecha hasta la antigua carretera de Murcia) y los pasajes del General Villacampa y Capitán Grant.