Жан Рошфор родился  в Динане (Dinan, Cotes-D’Amor). Начав серьезно подумывать о карьере актера еще в юности, Рошфор сначала посещал частные драматические курсы на улице Бланш в Париже, а затем перешел в Парижскую консерваторию драматического искусства, где подружился с другими студентами — Жан-Полем Бельмондо и Жан-Пьером Мариелем. Учеба была прервана службой в армии, после которой Рошфор вступил в труппу Гренье-Юссено и играл в известном кабаре на Левом берегу Сены — «Фонтан четырех времен года». Тогда же его начали приглашать на телевидение.

Дебют Жана Рошфора в кино состоялся в конце 50-х, но два первых фильма («Встреча в Париже» и «Пуля в стволе») прошли незамеченными публикой и критикой. 
В 1958 Рошфор почти год провел в СССР, снимаясь у Марселя Палиеро в совместной советско-французской постановке «Леон Гаррос ищет друга» в роли шофера, сопровождающего главного героя в его путешествии по Советскому Союзу. В Париж Рошфор вернулся женатым на польке, с которой познакомился в Москве (сейчас у него две дочери от этого брака). В это время ему частенько приходилось в течение одного вечера выступать на разных площадках, как его герою-актеру из фильма Ива Робера «Привет, артист» (1974). 
Первая известность пришла к актеру на телевидении, где, в частности, он с подлинным артистизмом сыграл графа Альмавиву в «Свадьбе Фигаро».
Вместе с актрисой Дельфин Сейриг они добиваются от капризного английского драматурга Гарольда Пинтера права на постановку его пьес «Коллекция» и «Любовник». Изящная, сдержанная игра Жана Рошфора в английском репертуаре привлекает внимание. За Пинтером следуют и другие английские авторы, а также постановка чеховского «Платонова» и комедия Пиранделло «Такой, каким ты хочешь меня видеть».
Будучи уже известным театральным актером, Жан Рошфор не отказывается от небольших ролей в приключенческих фильмах «Картуш» (1961), «Железная маска» (1962), «Злоключения китайца в Китае» (1965), в серии об Анжелике (1962 — 1966). 
Лишь в 70-е Рошфор находит себя как комедийный киноактер благодаря лентам Ива Робера о Высоком блондине, «И слоны бывают неверны» и «Мы все отправимся в рай». Отказываясь от явного комикования, придерживаясь строгой, «британской» манеры игры, актер делал человечными своих героев — даже таких зловещих, как главный враг Высокого блондина полковник Тулуз. 
Эти роли сделали его популярным у самой широкой публики. Однако, первого своего «Сезара» Рошфор получил в 1976 все же за драматическую роль: в исторической драме Бертрана Тавернье «Да будет праздник!» он исполнил роль аббата Дюбуа, «серого кардинала» при регенте Филиппе Орлеанском, содержавшего два дома терпимости и не брезгавшего взятками. 
Через два года второго «Сезара», на этот раз — за главную роль, принес актеру фильм Пьера Шендерфера «Краб-барабан» (1977). Наконец в 1998 Рошфор получил почетную премию «Сезар» за творчество. В 90-е и в начале нового века актер работает столь же напряженно. Он продолжает свое сотрудничество с Ивом Робером («Бал зануд») и Патрисом Леконтом («Муж парикмахерши», «Танго», «Насмешка», «Большое турне / Великие князья», «Человек с поезда»), поддерживает своим участием фильмы молодых, не всегда, надо сказать, достойные по художественному уровню («Бланш», «RRRrrrr!!!»). 
В 2003 был членом жюри Фестиваля в Каннах. Ролью всей жизни для Рошфора мог стать Дон Кихот в ленте Тэрри Гиллиама «Человек, который убил Дон Кихота», но съемки этой ленты были прерваны, едва начавшись, из-за серьезной болезни актера. В результате, вместо полнометражной игровой ленты получился документальный фильм «Затерянные в Ла Манче» (2002), рассказывающий об этом несостоявшемся проекте.
Свою актерскую деятельность Жан Рошфор сочетает с режиссерской в жанре документального фильма. Так он снял картину о пловчихе Розине Бутэн-Кайе, фильм-портрет актера Марселя Далио «С почтительным неуважением», кинонаблюдение об одном из старых парижских бистро. Кроме того, он разводит лошадей, и это стало его второй профессией. Жить актер предпочитает в провинции, подальше от Парижа.