Al fallecer su padre, se trasladó a la ciudad de México en compañía de su tía Refugio Sandoval (la famosa tía Cuca), a la que veía como su segunda madre. Se establecieron en la Colonia Santa María la Ribera y al poco tiempo lo alcanzó su madre en compañía de sus hermanos. Abrieron una tienda de abarrotes en las calles de Diaz Mirón y Fresno; las cosas no salieron bien y cerraron el negocio. Su hermano Nacho encontró trabajo en Petróleos Mexicanos, se fue a vivir a Coatzacoalcos, Veracruz, a donde más tarde marchó también la señora Carmen; su hermana Concepción se casó con un teniente y José Alfredo se vio en la necesidad de buscar trabajo. Lo encontró de mesero en "La Sirena", un restaurante de una familia de Yucatán apellidados Ponce, también en Santa María la Ribera. Hizo amistad con los dueños y con su hijo Jorge (a quien le decían el Panucho), que tocaba la guitarra. En la noche, cuando el trabajo había terminado, los dos jóvenes se sentaban a cantar y pensaban en el proyecto de formar un trío para darse a conocer. Trío que formaron más tarde con el nombre de Los Rebeldes (1945) y que tuvo su primera oportunidad en 1947 en la XEL, donde ejecutaron canciones de todo género.

Pasaron a la XEX, y José Alfredo tenía ya para entonces muchas canciones de su inspiración y se sentía desilusionado de ofrecerlas a editores y grabadoras sin resultados positivos.

Mientras tanto, era futbolista aficionado, jugaba de portero en el equipo Marte, perteneciente a la primera división, donde le ofrecieron doscientos pesos mensuales para jugar en la reserva. Como no era suficiente para sus gastos, decidió dejar el futbol al igual que la composición, pues no ganaba para vivir.

Estando en "La Sirena", llegaron a comer los integrantes del conjunto Los Costeños de Andrés Huesca y lo invitaron a una fiesta que ofrecía un millonario en San Angel. Le preguntó Huesca qué canciones tenía y le canto "Yo", le gustó y ensayó con su conjunto para estrenarla en un programa que tenía en la XEW. Al día siguiente, Huesca tuvo grabación en RCA Víctor y en los descansos, ensayaban Yo. Los escuchó Mariano Ribera Conde y preguntó si estaba grabada. Respondieron que no y Conde ordenó su grabación y pidió conocer al autor. José Alfredo se presentó con sus canciones Ella, Cuatro Caminos y La que se fue. El Sr Ribera Conde le pidió que se las tocara con la guitarra. José Alfredo le indicó que no sabia tocar la guitarra; entonces, en el piano; tampoco; ¿cómo es que compones? "así nomás". Ribera Conde lo envió a la XEW para que Miguel Aceves Mejía se las aprendiera y Rubén Fuentes hiciera los arreglos (se los hizo a todas sus canciones), las que fueron grabadas al día siguiente. El éxito no se hizo esperar y fue contratado como cantautor en la XEW, sin trío.

Felipe Valdez Leal lo contrató como cantautor para la Columbia que más tarde cambió a CBS. Empezó a vender sus obras al cine e hizo giras al interior del país. Para esas fechas sus canciones eran grabadas por Pedro Infante, Jorge Negrete, Miguel Aceves Mejía y todos los artistas de moda.

En 1959, cambió a RCA Víctor y lo promoción dada por esa casa como cantautor, le permitió vender miles de copias, e inclusive obtuvo el disco de oro con su grabación La enorme distancia. Grabó unas 300 canciones en más de 20 Lp's: unos 10 en Columbia y los demás en RCA.

Se inició en televisión en el programa Así es mi tierra, del canal 2, al lado de Rosa de Castilla, Tito Guizar y el Trío Tamaulipeco de los Hermanos Samperio. Trabajó en Noches tapatías y tuvo su programa estelar Brindís Señorial con 68 capítulos. En programas posteriores actuó junto a María Félix y fueron patrocinados por la Casa Domecq y la Compañía Nestlé.

José Alfredo fue un compositor innato, no estudió música y componía para "limpiarse el alma, decía, consolarse y transmitir a la gente sus sentimientos". Se inspiraba en personajes y hechos de la vida real, iba directo a los motivos del corazón. Ejemplo significativo es El caballo blanco. Es una historia de un viaje a bordo de un automóvil blanco en el que hizo un recorrido agotador al frente de una caravana de la que se hizo responsable cuando el empresario Miguel Aldrete los abandonó por cuestiones económicas en Los Mochis, Sinaloa. José Alfredo empeñó el coche en Los Mochis para pagar el hospedaje y la alimentación en el Hotel Santanita. Empezaron a trabajar y en el Valle del Yaqui, reunió dinero suficiente y envió a Benjamín Rábago Lozano (El noble jinete), inseparable amigo, por el automóvil blanco con el que llegaron a Ensenada, Baja California y regresaron felizmente a la ciudad de México.

Historias, cientos de historias de hombres comunes fueron las canciones de José Alfredo Jiménez y año con año, uno o varios de sus éxitos lo hicieron el compositor más popular de la música ranchera, sin faltar sus boleros Si nos dejan y Extráñame, entre otros.

Se casó con Paloma Gálvez, con la que procreó dos hijos: Paloma y José Alfredo.

En su calidad de cantautor no se dio abasto para cumplir contratos tanto en el interior del país como en la ciudad de México, al igual que en el vecino país del norte. Su popularidad fue grande y en el "Million Dollar" de Los Angeles, su presentación fue un éxito rotundo, arrollador, al grado de que lo volvieron a contratar en la misma temporada, lo que rara vez sucede, de manera que en enero y luego en abril se le abrieron las puertas de ese escenario. Sus giras se extendieron a Centro y Sudamérica, principalmente a Honduras, Colombia y Venezuela.

En el cine nacional trabajó en una cantidad importante de películas con papeles estelares, de una de ellas: Llegó borracho el borracho, filmada en San Miguel Allende, la canción del mismo nombre fue prohibida en el país, en un acto de intolerancia e ignorancia de las autoridades, pero cuando la orden llegó, la canción había conquistado popularidad, la cual aumentó al saberse la prohibición. Una de sus últimas películas fue Tu camino y el mío, con Vicente Fernández, Lucía Méndez y Sara García, bajo la dirección de René Cardona.

En lo que concierne a su carrera, decía: "Mi carrera ha significado muchísimo en mi vida. Creo que mi carrera ha sido mucho más de lo que yo soñé, ya que no pensaba llegar a tanto. Estoy muy contento y muy satisfecho por el cariño que todo el mundo me ha brindado y sobre todo, el público de México".

Fue motivo de numerosos homenajes y obtuvo más de 100 premios en reconocimiento de su labor como compositor y cantante, entre ellos, 16 discos de oro. Fuera de México recibió algunos, como en California y muchos como "el mejor artista del año" en Los Angeles, otro en Valencia, España. Recibió un homenaje en junio de 1973 realizado en el Memorial Sports Arena de Los Angeles, Cal., donde se le entregó el disco de oro de Hollywood ante 15, 000 espectadores. En Guanajuato le hicieron dos: enero de 1973 en la ciudad de León y en noviembre, en Dolores Hidalgo. Después de éste homenaje se empezó a sentir enfermo y fue internado en la Clínica Londres de la Ciudad de México, falleció el 23 de noviembre de 1973.

Fue el primer cantante que grabó con la influyente Orquesta Sinaloense, Banda El Recodo del músico y arreglista Cruz Lizárraga.

José Alfredo Jiménez falleció en la Ciudad de México, el 23 de noviembre de 1973 a la edad de 47 años. Sus restos descansan en el cementerio de su ciudad natal: Dolores Hidalgo, Guanajuato.