Як з'ясувалося, факт антирадянських висловлювань Кагановича був далеко не єдиним. Допитаний 13 березня 1953 року командир першого відділення молодший сержант Михайло Морін повідомляв, що, коли він проживав наприкінці лютого в одному наметі з Кагановичем, чув від того новини про поділ влади у СРСР. Рядовий Каганович, який регулярно слухав приймач у своїй лабораторії, розповів Моріну, що за «Голосом Америки» передавали розповідь про спалах конфлікту Берії і Маленкова, які готувались перехопити владу у старезного Сталіна. Від себе Каганович додав, що Сталін теж колись прибрав конкурентів руками народного комісара внутрішніх справ СРСР Єжова, а потім усунув свого непомірно обізнаного спільника.

Зігмунда Кагановича заарештували та ув’язнили у МВС міста Петрозаводська. За кілька тижнів, 13 квітня 1953 року, його справу передали заступнику начальника слідчого відділення Відділу контррозвідки МВС Північного військового округу, старшому лейтенанту Ястребову.

Чекіст особливо не приховував, що Каганович опинився за ґратами після своєї відмови таврувати одноплемінників на політзанятті у «справі лікарів». Але пришити йому вирішили інші злочини, начебто не бажаючи торкатися лоскітної теми. Добре обізнаний про минуле солдата, слідчий намагався спочатку приписати тому шпигунство на користь США.

Підлітком він жив у родичів у Києві, на Пушкінській вулиці, поряд з місією Американської гуманітарної допомоги, і потоваришував з водієм місії, який мав єдиний у Києві легковий «Студебеккер». Потрібно сказати, що тоді була у київських пацанів “мулька” – покататися на всіх трофейних та союзницьких машинах у Києві. Вони і списки поїздок вели, чим дуже вихвалялися. Тому чекісти й ухопилися за це знайомство хлопця з американцем. Так би мовити, вони знають і доведуть, що водій із Юти поширював через Кагановича листівки, які укривають ганьбою радянську владу. Незабаром ця версія відпала, певне з політичних причин, а рядовому Кагановичу вирішили впаяти скромнішу статтю за «антирадянську агітацію».

Опитані лейтенантом Ястребовим другого разу військовослужбовці підтвердили свої початкові показання. Деякі опинилися в ролі свідків уперше, але також наговорили Кагановичу на статтю. Таким чином, нормувальник в/ч № 61345 єфрейтор Мойсей Рубінштейн, який спільно з Кагановичем слухав «Голос Америки», на допиті від 14 травня 1953 року зізнався, що Каганович не лише приводив за приклад американський рівень життя, а й критикував національну політику Радянського Союзу. За словами Кагановича, у СРСР було знищено єврейську пресу та культуру, а євреї зазнавали постійних принижень. Особливо це посилилося, на його думку, вслід звернення до радянського уряду посла Ізраїлю Голди Меєрсон, порушившої питання про дозвіл євреям СРСР репатріюватися до Ізраїлю. Виходом, казавши товаришеві Каганович, може бути компактне проживання євреїв на окремій території. Якщо не в Ізраїлі, куди нікого не впускали, то хоча б у своїй республіці у складі СРСР.

Спільне прослуховування «ворожих голосів» із Кагановичем підтвердив і інший солдат – Рудольф Кукарських. На очній ставці із Зігмундом Кагановичем, що відбулася 21 травня 1953 року, Кукарських поповнив скарбничку антирадянських висловлювань колеги новими фактами: заарештований стверджував, що американські рибалки володіли власними човнами і моторками, і заробляли цим промислом великі гроші. Про величезну різницю в рівні життя, з погляду рядового Кагановича, свідчило й те, що у Мурманську американські моряки пристойно наживалися на радянських громадянах, продаючи їм «будь-які ганчірки». Заарештований цей факт підтвердив, розповівши слідчому Ястребову, що один американський матрос отримав за звичайну сорочку 25 рублів, здивовано розповівши це в ефірі «Голосу Америки». За американськими поняттями, ця ціна була неймовірно високою, а в Радянському Союзі, де легка промисловість суттєво відставала від важкої, вважалася цілком нормальною.

Крім свідчень свідків, Відділ контррозвідки МВС Північного військового округу мав ще один важливий компромат – особистий щоденник, який Зігмунд Каганович заповнював з листопада 1946 року по день арешту. Щоденник, який представляв собою три зошити, ряснів крамолою.

У першому зошиті на 89 сторінок, записи якого обривалися 30 березня 1948 року, Зігмунд не лише повідомляв свої юнацькі переживання, а й дотепно проходив комуністами та радянською владою. На дев'ятій сторінці молодик звертався до світоустрою: «...Дорогий Бог, якщо ти наступного разу посилатимеш 100 рублів, не посилай через НКВС: вони, сволоти, вкрали 25 рублів». У тому ж зошиті рукою Зігмунда було написано його ставлення до «Матінки-Русі»: «...Ти й голодна, ти і рясна, ти й могутня, ти й безсила, Матінко-Русь. Яка ти хороша, і яка ти сволочна, як багато в тобі розумного, гарного, культурного, і як багато поганого, цинічного, вульгарного. Як багато ти мені принесла щастя, удачі та життя, і, нарівні з цим, горя, нещастя та страждання. Нехай живеш ти вічно, і будь Ти проклята».

В іншому зошиті, який Каганович заповнював під час судового процесу над батьком, він сміявся з працівників ОБХСС, які працювали «через чорний хід, через кухню». Висловлював свої думки він і про наївну радянську віру в комуністичне майбутнє: «Чи може бути комунізм в одній державі? Ні не може. Для того, щоб у нашій країні побудувати комунізм, потрібно в корені перевиховати наш народ… Хіба ми, за нашої паперової тяганини, бюрократизму, національної дискримінації, «свободи слова» і тощо можемо дійти комунізму?»

Третю частину свого щоденника Зігмунд Каганович заповнював уже в армії. Цей зошит був наповнений міркуваннями солдата про своє місце в невільному суспільстві: «...Адже, до речі, я не маю жодних прав, я не можу будувати життя самостійно, не можу робити висновки, не можу оцінювати, а головне – не можу мислити. Чи є я людина? Ні. Я солдат! А простіше, я автомат, сліпий виконавець чужої волі. І всі ці політзаняття та інше є змащувальний матеріал до автомата, для більш чіткого, найсліпішого виконання волі тих вищих істот, які стоять десь там, нагорі. А простіше, ми стадо баранів, яке йде під керівництвом пастуха – командира».

У щоденниках чекісти знайшли й визнання Кагановича у намірі залишити комсомол. Так він і зробив, поїхавши працювати в Ростовську область і навмисне припинивши сплачувати членські внески. З лав ВЛКСМ у березні 1951 року Каганович був виключений, при цьому демонстративно відмовившись виплатити комсомольському осередку близько 350 рублів боргу.

Військовий Трибунал Північного військового округу засідав у справі Зігмунда Кагановича 6-22 червня 1953 року у місті Петрозаводську без участі представників сторін звинувачення та захисту. У своєму останньому слові підсудний просив суд підійти до його справи «об'єктивно та логічно». На поблажливість розраховувати йому не доводилося.

На підставі статті 58-10 ч.1 КК РРФСР його засудили до семи років виправно-трудових таборів із обмеженням прав строком до трьох років. Касаційної скарги засуджений Каганович не подавав.

Через рік, 28 червня 1954 року Карело-Фінська Республіканська Комісія з перегляду справ осіб, засуджених за контрреволюційні злочини, ухвалила направити протест у справі Кагановича до Верховного суду СРСР. Але Військова колегія Верховного Суду СРСР, вивчивши матеріали справи та ознайомившись із доводами протесту, вирок Кагановичу пом'якшувати відмовилася.

Сидіти засудженому Кагановичу довелося у виправно-трудовому таборі у селищі Надвоїці у Карелії, потім – у Кунєєвському виправно-трудовому таборі у місті Ставрополі (нині Тольятті), де він працював на будівництві об'єктів Куйбишевгідробуду.