Жилось Ворошиловым нелегко. Сверстник Клима вспоминал: «Я с Ворошиловым рос вместе и хорошо его помню. Клим одевался в детстве по-крестьянски. Носил фуражку с широкими полями; черные или голубые сатиновые рубахи были у него. Ходил летом всегда босиком. Жили Ворошиловы очень бедно. Питание было слабое. Борщ постный ели, ржаные галушки, замешенные на воде… В землянке Ворошиловых было очень темно, пол глиняный, обстановка самая бедная: вместо кроватей — нары, вместо стульев — сбитая из досок скамья». Не слишком-то разнообразные впечатления остались у Клима от той поры и сохранились скорее горестные, чем светлые. Помнил он, как играл с сестренками в хате в пятнашки, ударился лбом об угол плиты, лицо залила кровь, и навсегда остался заметный шрам (впоследствии — особая примета в полицейских документах). В другой раз он качался с ребятами на доске, положенной поперек большой колоды.