Иван Иванович, проживающий в городе под названием Миргород дворянин, пользуется среди сограждан репутацией поистине прекрасного человека. Его дни посвящены исключительно бездеятельному наблюдению за происходящим вокруг дома, он также весьма любит дыни. Более того, после съедения лакомства мужчина нередко собирает оставшиеся семечки в бумажку, на которой записывает, какого именно числа была употреблена в пищу данная дыня. У него отличный дом и сад, наполненный разнообразными фруктами, за что его также искренне уважают знакомые и приятели.
Иван Иванович уже давно является вдовцом, прямых наследников у него не имеется, однако он не слишком огорчается по этому поводу. Всем в городе также известно о том, что он достаточно религиозен и каждое воскресенье усердно посещает храм. После службы он также беседует с нищими, однако обычно не подает им, ограничиваясь равнодушными расспросами. Иван Никифорович, сосед этого дворянина, не менее уважаем среди обитателей Миргорода.
Этих двоих справедливо считают неразлучными друзьями, причем Иван Никифорович никогда и не состоял в браке и даже не планировал жениться на ком-либо. Он обычно целыми днями лежит у себя на крыльце, изредка обходит дом, проверяя, как ведется хозяйство, но тут же снова возвращается к прежнему состоянию полного покоя. В жаркий период года Иван Никифорович предпочитает находиться в ванне, не переставая пить прохладный вкусный чай.
Невзирая на приятельство, внешне два дворянина не слишком напоминают друг друга. Иван Иванович высок и довольно худ, тогда как приятель несколько ниже его ростом, но значительно более упитан. Иван Иванович обходителен, умеет говорить красиво и приятно, а его товарищ молчалив, но способен порой выразиться достаточно резко. Иван Иванович охотно выбирается из дома к кому-либо в гости, а его сосед чаще всего не желает никуда ходить. Иван Никифорович отличается сдержанным и спокойным поведением, в то время как Иван Иванович не скрывает эмоций, и все всегда понимают, когда он сердится или, напротив, радуется определенному обстоятельству.
Однажды утром Иван Иванович внимательно изучает все свое имущество и размышляет о том, что ему еще следует приобрести для хозяйства. Глядя на соседний двор, он видит устаревшее ружье и решает попросить его себе в подарок или на что-либо обменять. Его друг, по своему обыкновению, отдыхает на разостланном на полу ковре. После нескольких вежливых слов Иван Иванович обращается к нему со своей просьбой, однако сосед наотрез отказывается, но и визитер не собирается отступать. Выйдя из терпения, Иван Иванович резко замечает товарищу, что тот носится с ружьем, как с настоящей писаной торбой. Иван Никифорович, также разозлившись, называет своего друга «истинным гусаком». Более того, хозяин дома приказывает слугам вывести Ивана Ивановича прочь, а тот в ярости обещает, что не оставит полученное оскорбление без последствий.
Два почтенных миргородских обитателя отныне находятся в конфликте, причем по самому ничтожному, не стоящему внимания поводу, и весь город усиленно обсуждает их ссору. Некая дама, иногда навещающая Ивана Никифоровича, настраивает мужчину против соседа, уговаривая никогда не заключать с ним перемирия. Желая еще больше досадить Ивану Ивановичу, его бывший приятель начинает строить хлев для гусей.
Иван Иванович не собирается терпеть подобного поведения, в ночное время он подпиливает столбы этого строения, которое тут же рушится с громким треском. После этого Иван Иванович боится мести, ему кажется, что Иван Никифорович вполне способен поджечь его жилище. Он торопится в местный суд с заявлением на прежнего товарища о нанесенном его чести оскорблением, однако то же самое спешит сделать и Иван Никифорович. Судья всячески пытается их примирить, напоминая о многолетней дружбе, но ни один из дворян не желает к нему прислушиваться.
В это время свинья, принадлежащая Ивану Ивановичу, вбегает в зал судебных заседаний, хватает заявление его оппонента и убегает вместе с ним. Городничий, придя к Ивану Ивановичу, утверждает, что тот нарочно устроил такой поступок своего животного, и снова упрашивает наладить отношения с соседом, но и его посещение оказывается совершенно безрезультатным.
Иван Никифорович снова пишет жалобу, в суде она хранится на протяжении нескольких лет. Он снова строит хлев, предназначенный для гусей, и его вражда с прежним товарищем лишь усиливается. Горожане прилагают все усилия для того чтобы прекратить эту бессмысленную конфронтацию, но Иван Иванович отказывается даже находиться там, где присутствует Иван Никифорович, точно так же ведет себя и второй дворянин.
Во время одного из общегородских мероприятий люди все же сводят их вместе и упрашивают наконец протянуть друг другу руки и забыть о ссоре. Иван Никифорович, уже порядком уставший от всех разбирательств и выяснения отношений, говорит соседу, что тот напрасно обиделся на слово «гусак». Но Иван Иванович, снова услышав это оскорбительное определение, опять впадает в ярость, и им так и не удается заключить перемирие.
Проходит около 12 лет. Два миргородских дворянина, весьма постаревших и изменившихся внешне в худшую сторону, пребывают в храме по случаю церковного праздника. Каждый думает лишь об их взаимной тяжбе, которая теперь проходит уже в полтавском суде, Иван Иванович не перестает там бывать даже в самую скверную погоду, добиваясь, как он считает, справедливости, не сдается и его соперник. Наблюдая за этими людьми, автор с глубокой грустью замечает, насколько скучно и печально живется на свете.