Рассказ ведётся от лица Элио Перлмана, вспоминающего события лета 1987 года, когда ему было семнадцать лет, и он жил в Италии с родителями, которые каждое лето в течение шести недель приглашали в гости докторанта, занимавшегося не только рукописью своей работы, но и помогавшего отцу Элио с научными материалами. Элио выступает против такого порядка вещей, так как ему приходится освобождать для гостя на время его пребывания свою спальню.
В то лето в гости к Перлманам приехал Оливер, беззаботный и отстранённый молодой человек, резко отличавшийся от интроверта Элио. Элио заинтересовался Оливером, надеясь на «незамедлительное родство» между ними, и выступает в качестве его гида по городу и его окрестностям, но Оливер относится к этому безразлично. Когда Оливер ухватил руку Элио после игры в теннис, тот испугался. Хотя Элио и осознаёт свою бисексуальность и влечение к Оливеру, он особенно взволнован тем открытием, что Оливер также является евреем, ощущая некоторую общность между ними. Он сомневается, что Оливер ответит на его чувства.
Однажды Элио пробирается к Оливеру и мастурбирует, когда тот носит плавки. Позже Элио признаётся в своём влечении к Оливеру, и они целуются на уступе, на котором Клод Моне якобы написал некоторые из своих картин. Когда Элио прикасается к пенису Оливера через одежду, тот его отталкивает.
В последующие дни главные герои лишь отдаляются друг от друга. У Элио начинается роман с местной уроженкой Марцией, его ровесницей. Ища примирения, Элио подсовывает под дверь спальни Оливера записку, в которой предлагает встретиться в полночь. В назначенное время он приходит к Оливеру, и они занимаются сексом. Элио чувствует себя виноватым в встрече, решая, что их отношения не могут более продолжаться.
На следующее утро Оливер надевает на завтрак купальный костюм Элио, отражая тем самым прежнее, фетишистское, поведение Элио, после чего Оливер делает ему минет. Элио понимает, что его по-прежнему влечёт к Оливеру, что он хочет быть с ним. После этого Элио приходит в гости к Марции и занимается с ней сексом. Во второй половине дня он мастурбирует с персиком, после чего эякулирует в него. Оливер позже приходит к нему, съедает персик и его содержимое, и вновь занимается сексом с Элио.
Перед возвращением в США Оливер решает провести три дня в Риме. Вместе с ним в поездку отправляется и Элио. Вернувшись из неё, Элио был опечален, обнаружив, что его вещи были возвращены в прежнюю комнату, а от присутствия Оливера в ней не осталось и следа. Пытаясь помочь сыну, с ним беседует отец. В ходе разговора он одобрительно высказывается о дружбе и отношениях Элио и Оливера.
На Рождество Оливер вновь посетил семейство Перлманов, объявив, что следующим летом у него состоится свадьба. После этого Оливер и Элио на долгие годы перестают общаться.
Пятнадцать лет спустя Элио приезжает к Оливеру в США, где Оливер занимает должность профессора. Элио не желает встречаться с женой и детьми Оливера, признавая, что он по-прежнему испытывает чувства относительно Оливера и ревность к его семье. Оливер признаётся, что он следил за академической карьерой Элио, показывая ему его фотографию в рамке, которую он хранил на протяжении многих лет. Во время их заключительной встречи в баре, Элио и Оливер приходят к идее, что люди могут вести две параллельные жизни — одну в реальности, а другую — в воображении, отрицающей влияние этой самой реальности.
Через двадцать лет после их первой встречи и за год до того, как Элио начал рассказывать данную историю, Оливер посещает дом Перлманов в Италии. Они вспоминают о времени, проведённом вместе; Элио сообщает Оливеру, что его отец умер, а он по всему земному шару развеял его прах. Роман завершается словами Элио, в которых тот говорит читателям, что, если Оливер действительно любит его и помнит всё, что между ними было, то он должен ещё раз «посмотреть мне в лицо, удерживая мой взор, и позвать меня своим именем».

В обзоре «Зови меня своим именем» для The New York Times Стейси Д’Эразмо назвала роман «исключительно красивой книгой».
В обзоре для The New Yorker Синтия Зарин сказала: «Дебютный роман Асимана показывает, насколько пронзительно можно написать о страсти».
В газете The Washington Post Чарльз Кайзер написал: «Если Вы когда-нибудь были одержимы любовью — силой намного большей, чем Вы сами, которая тянет Вас к объекту Вашего желания, — вы прочувствуете все тонкости великолепного нового романа Андре Асимана „Назови меня своим именем“».