Kaufman se hizo conocido gracias a su personaje de "Hombre extranjero", que interpretó a comienzos de la década de 1970. Este "extranjero" decía ser de Caspiar, una isla ficticia del Mar Caspio, y realizaba malas imitaciones de personajes populares. El público, enfadado por la mala calidad del acto, descubría más tarde que habían sido engañados. Andy era capaz de interpretar imitaciones como la de Elvis Presley, que el propio Rey del Rock & Roll llegó a reconocer como su favorita. Este personaje tímido que le traería fama, tenía poco que ver con el verdadero Kaufman quien en la vida real gustaba de acompañarse de prostitutas. Kaufman comenzó a crearse un nombre como invitado en el programa Saturday Night Live de la NBC a partir de 1975. Allí realizaría su legendaria actuación Mighty Mouse, en la que simulaba cantar la canción de la serie Super Ratón.
El papel de "Hombre extranjero" fue transformado en Latka Gravas para la serie de 1978 Taxi. Kaufman detestaba las comedias televisivas. Para dar rienda suelta al talento del artista, los guionistas dieron a su personaje un desorden de personalidad múltiple. Latka adquirió tal relevancia social, que en más de una ocasión Andy Kaufman tuvo que interpretarlo, a petición del público, en sus actuaciones en vivo.
El otro gran personaje de Kaufman fue el cantante Tony Clifton, una creación para clubs de comedia que terminaría realizando giras por los Estados Unidos. En dichas actuaciones, el personaje de Clifton podía ser interpretado, adicionalmente, por su hermano Michael o su amigo Bob Zmuda.
Se llegó a dudar si Clifton existía realmente o no. En más de una ocasión, fue incluso entrevistado como telonero del propio Kaufman, contra el que decía sentir una profunda aversión, ya que lo estaba usando a él para enriquecerse.
Debido a la insistencia del propio Kaufman, Clifton tuvo un papel de estrella invitada en Taxi, pero tuvo que salir de allí escoltado por la policía tras una gran rabieta en el set de la ABC. Años después se supo que Andy escribió un libreto donde contaba la vida de Tony, e irónicamente el protagonista fallecía de cáncer de pulmón en el mismo hospital donde falleció Kaufman, lo que incrementó los rumores de su muerte.
Andy Kaufman era fan de la lucha libre. Durante un breve período, en sus actuaciones, introdujo simulacros de este deporte en los que se enfrentaba a mujeres. Como parte de la broma, se declaró "Campeón mundial de lucha libre mixta". Ofreció una recompensa de 1.000 dólares a cualquier mujer que pudiera ganarle. Más adelante, retado por el luchador Jerry Lawler, se introdujo en un ring de Memphis, Tennessee. Aunque luego se demostró que todo estaba preparado, Kaufman fingió haberse fracturado las cervicales como consecuencia de dicho enfrentamiento. En esta atrevida campaña de promoción, llegó a simularse una pelea durante latransmisión en vivo del programa Late Night with David Letterman. Hasta 1999, en las investigaciones de la película Man on the Moon, Lawler no reconoció que todo había sido un montaje idea del propio Kaufman.
En 1981, realizó un par de actuaciones estelares en el programa de variedades Fridays, de la ABC. En su primera aparición -la más memorable- se saltó el guion e hizo de sí mismo, en vez del personaje que debía interpretar. Ante esta situación, sus compañeros se enfadaron y, en respuesta, el cómico Michael Richards abandonó la escena para volver con una pila de tarjetas que contenían los diálogos y arrojarlas a la mesa. Kaufman, a cambio, le arrojó un vaso de agua a la cara. Justo antes de que la cadena cortase para publicidad, se vio a un director de escena entrar como un rayo en el escenario. El incidente era una broma preparada por el propio Andy, aunque nunca sellegó a saber cuántos de los actoresestaban involucrados. Ese era el talento de Andy Kaufman, tomar a todos por sorpresa.
A la semana siguiente, Kaufman apareció en una grabación pidiendo disculpas a los televidentes. Ese mismo año, volvería a Fridays. Durante su actuación invitó a escena a la cantante Kathie Sullivan, que cantó varias canciones espirituales antes de que el cómico anunciase que se iban a casar y que se había reencontrado con Jesucristo.
Pasó sus últimos días en el hospital; falleció en Los Ángeles, el 16 de mayo de 1984, a la edad de 35 años, víctima de un cáncer de pulmón. Se dice que el día de su muerte la enfermera que se encontraba en la habitación intentó cerrarle los ojos, pero los abrió nuevamente como si se tratara de una última broma. Fue enterrado en el cementerio Beth David de Elmont, Nueva York. Fue diagnosticado en 1983, pero se mantuvo en secreto casi hasta el día de su muerte debido en parte a que las personas más cercanas a él parecían no creerle, y tambien debido a que sus creencias dictaban que debia rodearse solo de vibraciones positivas, algo casi imposible por la imagen que él mismo se había creado.
Muchos han dudado de la veracidad del fallecimiento, preguntándose si no se trataría en realidad del último chiste de Andy Kaufman. Sus familiares y amigos aseguran que el cómico nunca bebió ni fumó, y que seguía una dieta vegetariana. Se culpa de la dolencia a sus años de trabajo en clubs, en los que mantenía contactos prolongados con fumadores. También corre el rumor de que Kaufman simuló su muerte para volver 20 años después, aunque en 2004 no hubo noticias de tal leyenda urbana.
Sólo tras la muerte del actor, se hizo público que había tenido una hija, María, fruto de una antigua relación, a cuya paternidad fue obligado a renunciar. Ni siquiera ella conocía la identidad de su padre hasta que se anunció a los medios. Dicha hija aparece en el final de un programa especial a Kaufman llamado "A comedy salute to Andy Kaufman".
Andy Kaufman ha sido colocado en la contracultura estadounidense por su extraña capacidad de ir contra toda regla establecida, usando y abusando de los medios de comunicación y haciéndose repudiar por amplios sectores de la sociedad. Esa sería irónicamente la manera en que su humor negro y caprichoso le haría trascender entre sus contemporáneos.
La banda R.E.M., escribió y grabó una canción sobre Kaufman, Man on the Moon, que apareció en su álbum de 1992 Automatic for the People. La composición dio título a la película homónima.
Una compañía de taxis del juego Grand Theft Auto: Vice City se llama "Kaufman cabs", en homenaje al papel del cómico en Taxi.
A lo largo de toda su carrera, Kaufman siguió trabajando sirviendo mesas en el restaurante Jerry's Famous Deli.
Kaufman realizó diez apariciones en los diferentes programas de David Letterman, incluyendo una en la que mendigó entre el público, y otra en la que aseguraba haber adoptado a tres adultos afroamericanos y otra vez en la que apareció con un turbante y algo que parecía ser solo un pañal, para despues deleitar al público con la canción "Rose Marie".
También fueron legendarias sus apariciones en el programa de la NBC Saturday Night Live, hasta que el público terminó harto de su "lucha libre mixta". El público votó para que echasen al cómico, aunque no quedó claro si eso era o no parte de una broma.
En 1979, actuó en el Carnegie Hall. Ya enfermo de cáncer, en un momento dado, invitó a todo el público a salir a tomar leche con galletas, para conseguir la vibra positiva que él creía le hacía falta. En efecto, había 35 autobuses aparcados fuera del auditorio. Al comienzo de dicha actuación, Kaufman invitó a su abuela a ver el espectáculo sentada en una silla en el mismo escenario. Al finalizar el acto, la supuesta anciana se retiró la máscara, descubriéndose que era Robin Williams.