Главный герой произведения Алеша рассказывает о том, что его первым отчетливым воспоминанием стала смерть отца. В этот момент ребенок еще не понимает, что осиротел, но надолго запоминает отчаянный крик и рыдания Варвары, его матери. Трагедия провоцирует преждевременные роды у женщины, и вскоре сам Алеша, его новорожденный брат и мать едут вместе с бабушкой Акулиной в Нижний Новгород.
По дороге младенец умирает. Бабушка всячески старается развеселить и успокоить внука, отвлекая его различными сказками, а по прибытии к месту назначения Алешу и его мать встречают дед Василий Каширин, а также дядья, все эти люди сразу же вызывают у малыша антипатию и страх.
Большая семья дедушки проживает в доме, первый этаж которого занят мастерской, где выполняются красильные работы. Мальчик быстро понимает, что домочадцы абсолютно не дружат между собой, относятся друг к другу с неприязнью и между дядьями не утихает соперничество.
Его мать Варя в свое время вступила в брак без благословения со стороны отца, поэтому ее братья не устают требовать у старшего Каширина положенное сестре приданое. Прибытие в дом Варвары и ее сынишки лишь усиливает всеобщую враждебность и напряженность, царящие в этой семье.
Каждую субботу дед устраивал порку внукам, в чем-либо провинившимся на протяжении недели. Наступает момент, когда то же самое происходит и с Алешей, однако впоследствии, когда избитый мальчик вынужден отлеживаться в кровати, старик приходит к нему мириться. Ребенок понимает, что на самом деле дед не является столь уж страшным и жестоким человеком, но и не может простить ему истязаний. Подмастерье по кличке Цыганок, выросший в доме Кашириных, бросается на помощь Алеше, подставляя собственные руки под безжалостные розги.
Сын Варвары вскоре сближается с этим симпатичным, веселым и работящим пареньком, однако вскоре Цыганок погибает, один из дядьев Алеши заставляет его нести на могилу своей супруги тяжелейший крест, и юноша, надорвавшись, умирает от внутреннего кровотечения. Со временем жизнь в доме Каширина становится все более тяжелой, мучительной и печальной, единственной отрадой для мальчика остаются сказки его бабушки Акулины.
Алеша замечает и то, что соседи уважают и любят эту пожилую женщину и постоянно обращаются к ней за советами по самым различным вопросам, она знает множество кулинарных рецептов, прекрасно умеет плести кружева, а дед понемногу начинает обучать внука грамоте. Паренек оказывается способным учеником и вскоре без труда разбирает церковный устав.
Тем временем дядья мальчика все более настойчиво требуют у деда приданое Варвары, один из них даже угрожает ему расправой, в итоге Каширины приобретают другой дом. В это время у Алеши завязывается дружба с квартирантом, прозванным Хорошим Делом. Этот человек отличается незаурядным умом, склонностью к изобретательству, спокойным характером, и под его руководством парень учится излагать происшедшие события по порядку, не добавляя излишних подробностей. Однако бабушке и дедушке Алеши совсем не нравится его общение со странным, не похожим на других мужчиной, и Хорошее Дело вынужден уехать.
Дед настаивает на том, чтобы мать Алексея повторно вышла замуж, однако молодая женщина отказывается от любых предложений. Когда бабушка заступается за дочь, Каширин безжалостно ее избивает, и возмущенный до глубины души внук мстит обидчику, испортив его святцы.
Алеша переносит оспу, болезнь протекает долго и тяжело, в течение всего этого времени о мальчике усердно заботится бабушка. Вместо сказок она теперь рассказывает ему об отце, Максиме Пешкове, о котором сын фактически ничего не знает. Покойный Максим был отличным мастером-краснодеревщиком, но Варвара вышла за него вопреки воле отца, Каширин полагал, что его красивая дочь достойна получить в супруги настоящего дворянина.
Через некоторое время мать Алеши все же выбирает для себя второго мужа, некоего Евгения Максимова. Мальчик сразу же проникается к отчиму неприязнью, а дела деда идут все хуже, он продает дом и снимает две небольшие комнатки в подвальном помещении. Алексей вынужден жить с матерью и ее супругом, он видит, что отчим обманывает Варвару с другой женщиной и регулярно поднимает на нее руку, невзирая на ее беременность. Однажды парень даже замахивается на Евгения ножом, но мать успевает перехватить его руку.
Алеше снова приходится поселиться у бабушки и дедушки, старик проявляет крайнюю скупость, Акулина вышивает и плетет кружева, чтобы заработать хотя бы несколько копеек на хлеб. Ее внук собирает различную ветошь, кости, не стесняется обкрадывать пьяных, ворует дрова, а школьные товарищи, видя все происходящее, не перестают издеваться над Алешей и нищетой его семьи. Вскоре к Кашириным приезжает Варвара с малышом, ее супруг сбежал, и женщина не знает, где он находится.
Мать Алексея серьезно больна, а бабушка перебирается в дом одного состоятельного купца, нанявшего ее для вышивки покрова. Старый Каширин вынужден ухаживать за маленьким внуком, из-за своей жадности он то и дело недокармливает малыша.
Сам Алеша также охотно играет с братом, но Варвара по прошествии нескольких месяцев уходит из жизни на руках у сына, не встретившись более с мужем. Сразу же после похорон дед объявляет парнишке о том, что не намеревается его содержать, и отныне для мальчика начинается совершенно самостоятельная жизнь, он приступает к настоящей, взрослой работе на чужих людей.