Юнакові у засланні було дуже тяжко. Під час одного із важких етапів він, у закривавлених онучах замість чобіт, потрапив на очі керівничці «Політичного Червоного Хреста» Катерині Пешковій, дружині Максима Горького. В грудні 1929 року, чи то завдяки сприянню «Політдопомоги» з боку Пешкової, чи то з якихось інших причин Амусіна відпустили з Каргаску. У 1932 році йому дозволили оселитись у Казан, де колишній засуджений ледве влаштувався рахівником у одну з організацій міста. Але і там він примудрився потрапити під каток репресій – завдяки своїй незламній принциповості. Коли була оголошена підписка на займ колективізації, Амусін демонстративно відмовився здавати гроші та відкрито висловив своє ставлення до експериментів на селі. Миттєво його звільнили.

Йосифу Давидовичу довелось знову звертатись до Червоного Хреста, тепер вже за сприянням у пошуках роботи. Дивом він зміг закріпитись у Ленінграді, куди на той час переїхали його батьки. Прописка у північній столиці для колишнього засланого була під забороною, але Амусін зміг стати тут на облік у військкоматі та міліції, котра, хоч і псувала йому багато років нерви, але змушена була поступитись.

З 1933 до 1935 року Йосиф Давидович працював на Ленінградському вагово-касовому заводі бухгалтером. Його друзі вже встигли закінчити інститути, а він був змушений займатись справою, яку не любив. Але всі ці роки Амусін багато читав і займався самоосвітою, твердо пообіцявши собі, що обов’язково вступить до Ленінградського держуніверситету. У 1935 році йому це вдалось, але довелось застосувати хитрість: абітурієнт приховав у анкеті свою судимість. В іншому випадку документи можна було навіть не подавати. Вже, коли він став студентом, Йосиф записався на прийом до ректора ЛДУ Лазуркіна і розповів тому про свої «університети» у тюрмі та на засланні. Лазуркін порадив йому відрахуватись, здавши зимову сесію. Згори як раз вирішувалось питання лібералізації вступу до вузів дітей лишенців і засуджених за політичними статтями, ректору про це було відомо. Зрештою, правила дійсно змінились і Амусін зміг поновити навчання.

Колишній засуджений навчався на історичному факультеті ЛДУ з неймовірним завзяттям, займаючись там улюбленим періодом античності. Він перегукувався із давньою історією єврейського народу, котру Амусін чудово знав з юності. І не просто знав, а пам`ятав тексти давніх книг, серед яких П’ятикнижжя Мойсеєве і Талмуд, які він вивчав ще у хедері. Для «античників» першокурсник був справжньою знахідкою. В гуртку античної історії він зробив свою першу доповідь – «Пушкін і Тацит», почав працювати над темою «Гоголь і античність». Але знову спокійне життя завершилось.

У січні 1938 року студент кафедри історії Давньої Греції та Риму Ленінградського Держуніверситету Йосиф Амусін був заарештований співробітниками НКВС. Амусіна і ще кількох інших учасників факультетського античного гуртка взяли через інформацію їх однокашника, на прізвище Гіллельсон. Його арештували за кілька тижнів до цього за звинуваченням у організації ворожого меншовистського осередку в Ленінграді. Чекісти вибивати показання вміли, тому після Амусіна і його товаришів, в тюрмі зрештою опинився і їх керівник, видатний радянський вчений-античник Сергій Іванович Ковальов.

Під час допиту Ковальов свідчив, що в жовтні 1935 року він створив при кабінеті історії античного світу студентський гурток, який буцім-то повинен був стати лише прикриттям для пропаганди антимарксистських поглядів і впливу на студентів. Цілі гуртка звучали зловісно: об’єднання всіх антирадянських сил – меншовиків, правих, троцькістів, – а також шкідницька робота й активні методи боротьби шляхом терору.

Студенти ніби-то лише вдавали, що їм цікаво повстання Бар-Кохби в Іудеї та система давньоримського боргового рабства. Насправді вони готували повстання проти радянської влади!

Своєрідною «вишенькою на торті» було пояснення з боку чекістів, яким чином відбувався підкоп під більшовиків. Мовляв, викладач Георгій Стратановський привів у гурток (у протоколі – «завербував у організацію») групу студентів-античників 2 та 3 курсів істфаку – Амусіна, Гіллельсона, Ботвінніка та інших. Студенти почали практикувати метод академізму, котрий застосовувався «у відриві від актуальних завдань і зосередженні на дослідницьких роботах». У документах слідства чекісти називають це «чисто буржуазним дослідженням», що в перекладі на нормальну мову означає звичайну якісну дослідницьку роботу. Це вважалось злочином.

У звинуваченні, датованому 26 березня 1938 року, говориться, що студент Йосиф Амусін визнав себе винним. Це нібито було підтверджене на очній ставці з його другом – Гіллельсоном.

А ось, як насправді виглядало слідство, зі слів науковця. Оперуповно-важений 9 відділу УДБ УНКВС у Ленінградській області Колодяжний пред'явив Амусіну звинувачення, що він, розмовляючи в коридорі в ЛДУ зі студентом Гіллельсоном, був у липні 1937 року завербований у контрреволюційну меншовистську організацію. Амусін на це відповів, що в липні 1937-го він був на зборах у воєнних таборах. Тоді Колодяжний заявив, що в такому разі, це було у серпні 1937 року. І на це у Йосифа Давидовича було алібі: збори тривали й у серпні. «Тоді в вересні, – незадоволено крикнув Колодяжний. – Та ж у вересні 1937 року я як раз був у Кисловодську». Ні слова не говорячи, Колодяжний почав бити підслідного. В результаті Йосиф Амусін змушений був себе оббрехати і підписати сфальшований протокол.

Йосифу Давидовичу, як раніше засудженому, «трійка» дала найбільший термін – вісім років таборів. Сидіти молодому досліднику довелось в Уссольлазі, де він працював на лісоповалі в компанії затятих кримінальних засуджених. Вони відбирали продуктові передачі і могли зарізати будь-кого. Все життя Йосиф Давидович згадував ті страшні дні, дивуючи знайомих здатністю пити, і не кривитись, чистий спирт, а також глибоким знанням тюремного арго та кримінальних понять. Як згадував пізніше сам Амусін: «Мені самому незрозуміло, як я тільки вцілів».

Після арешту голови НКВС Єжова, ув’язнені почали писати скарги в прокуратуру, викриваючи злочинну діяльність слідчих та відмовляючись від свідчень, де вони визнавали свою провину. Своєю скаргою на ім’я прокурора професор Ковальов визнав, що під постійними погрозами слідчого Колодяжного і в атмосфері терору, що панував тоді в НКВС, він обмовив багато невинних людей. Професор наполягав, що студент Амусін ніякою контрреволюційною діяльністю не займався, а був цілком занурений в науку. Характеристика на Амусіна була якнайкращою: «Амусін – дуже сильний і академічний, і політично, студент, незмінний секретар студентського наукового гуртка. Дуже різнобічний. Його доповіді “Пушкін і Тацит”, “Переклад «Іліади» Гнєдіча” були надруковані в студентському науковому журналі».

Допомогла Амусіну і мати його «спільника», Марка Ботвінніка, адвокат за фахом, котра добилась у генерального прокурора перегляду справи. Безумовно, Йосиф Давидович ні до якого підпілля не належав. Першої зустрічі обличчям до обличчя з радянською владою, виявилось достатньо, щоб усвідомити всю марність боротьби одинаків із системою. Правда, однак, була і в тому, що негативне ставлення до радянської влади у нього ніколи не змінювалось. Органи розуміли, що захопили свого затятого ворога. Сестрі Амусіна чекіст так і сказав, коли повідомляв про звільнення брата: «Ваш брат старий вовк і вийшов він лише тому, що потрапив до цієї молодої компанії». Йосифа Амусіна звільнили з-під варти 29 листопада 1939 року. Він був цілком реабілітований і повернувся до навчання.

Після того, як склав іспити екстерном, Йосиф Давидович у 1940 році перевівся на 4-й курс. В цей час, паралельно з навчанням, Амусін працював секретарем у видатного дослідника суспільних відносин античності та давньогрецької науки Соломона Яковича Лур’є. На факультеті утворилось своєрідне земляцтво білоруських євреїв: окрім професора Лур’є, вихідця з Могильова, там навчалась донька головного мінського рабина Лія Менделівна Глускіна. Її предок, Мінський Гаон – реб Єрухім-Лейб Перельман – був дуже відомим вченим-талмудистом, що славився своїми знаннями серед східно-європейського єврейства. У 1934 році батька Лії Менделівни запросили до Ленінграду на посаду головного рабина міста. У 1939 році Йосиф Давидович повернвся в університет і опинився з Лією Глускіною на одному факультеті. Напередодні війни, у березні 1941 року, Йосиф і Лія одружились.

Після випускного вечора молода сім’я вирушила у селище Антропшино Ленінградської області – там Йосиф Давидович отримав місце у школі. Однак попрацювати педагогом вченому не довелось. З початком Великої Вітчизняної війни колишній політичний в’язень і молодий вчитель пішов на призовний пункт. У Василіострівському районному військовому комісаріаті патріотичний прояв добровольця оцінили, але призвали не у стройову частину: далось взнаки сильно підірване в таборі здоров’я. Зрештою, дуже швидко Амусін потрапив як санінструктор під Гатчину. Там його частина брала участь у кровопролитних боях. Потім був блокадний Ленінград. За роки військової служби історик закінчив два курси медінституту, паралельно зі службою військовим фельдшером у медчастині евакогоспіталю № 1012 по Мєндєлєєвській лінії у Ленінграді. Під час блокади в сім’ї Амусіних сталась трагедія: батько Йосифа, Давид Львович, у ці страшні дні помер у своїй квартирі від голоду.

За ударну працю та службу в блокадному Ленінграді 18 липня 1943 року Йосиф Амусін нагороджений медаллю «За оборону Ленінграду». У 1944 році, в складі військ 3-го Білоруського фронту, Йосиф Давидович вирушив звільняти Європу від коричневої чуми. Війну Йосиф Амусін завершив у званні лейтенанта медичної служби 276-го окремого кулеметно-артилерійського батальйону, що брав участь у звільненні Східної Прусії.

Демобілізувавшись в кінці липня 1945 року, Амусін повернувся у Ленінград і почав працювати в Педагогічному інституті, де читав курс давньої історії. Можливо, на повернення до академічних кіл вплинули його заслуги на фронті. Його зарахували до аспірантури в Інститут сходознавства АН СРСР. Науковим керівником Амусіна став академік Василь Струве. Йосиф Давидович почав роботу над дисертацією, котра спочатку мала назву «Антисемітизм у Давньому Римі», а згодом, на вимогу партійного керівництва, тема була скоригована і стала тепер цілком нейтральною: «Послання імператора Клавдія александрійцям».

У 1949 році в країні Рад почала роздуватись жахлива антисемітська кампанія. Йосиф Давидович вийшов на захист дисертації як раз той момент, коли по всій країні євреїв звільняли з роботи. Як людина високих моральних якостей, Йосиф Амусін виявився одним з небагатьох, хто ризикнув виступити на захист звинуваченого у «безродному космополітизмі» Лур’є. Нічого хорошого від такого кроку в розпал репресій колишньому політзекові чекати не доводилось. Колеги, які спостерігали за цькуванням професора Соломона Лур’є, з тривогою думали про майбутній захист Амусіна. Але Йосифа Давидовича підтримав Дмитро Сергійович Ліхачов, з котрим Амусін познайомився ще в часи свого першого позбавлення волі у 1920-ті роки. Дисертацію Амусін успішно захистив, давши відповідь на всі підступні питання опонента, праправнука Кутузова, спеціаліста по давньогрецькій літературі Івана Толстого. Але, попри успішний захист, Амусін відразу ж вилетів з Ленінградського держуніверситету і Ленінградського державного педагогічного інституту імені А. І. Герцена.