Родился 21 сентября 1916 года в бедной еврейской семье в городе Себеже, Витебская губерния.

Заслуженный артист РСФСР (9.05.1959).
Народный артист РСФСР (1969).
Народный артист СССР (09.07.1990).

В 15 лет окончил ФЗУ Московскую электрозавода имени Куйбышева и работал слесарем-электриком на строительстве московского метро. При заводе был Театр рабочей молодёжи (ТРАМ), в котором актёр играл свои первые роли.
Окончил театральную студию А. Н. Арбузова.
С 1937 года — актёр Театра кукол при Московском Доме пионеров.

Ушёл добровольцем на фронт. 12 февраля 1943 года начальник инженерной службы 81 гвардейского стрелкового полка 25 гвардейской стрелковой дивизии Воронежского фронта гвардии старший лейтенант Храпинович Залман Афроимович лично принимал участие в разминировании минных полей для обеспечения прорыва танков к г. Харькову и получил тяжелое ранение в ногу. Четыре года он мог передвигаться только на костылях, перенес 11 сложнейших операций, но одна нога все равно навсегда осталась короче другой на целых восемь сантиметров.

В 1945-1982 годах — актер в труппе Центрального Театра кукол под руководством С. В. Образцова;
С 1983 года — актёр театра имени М. Н. Ермоловой.

Мастер эпизодических, преимущественно комедийных ролей. Обладал красивым запоминающимся тембром голоса, много работал на дубляже и озвучании фильмов от автора. Зиновию Ефимовичу было за 50, когда Пётр Тодоровский дал ему главную роль в своей картине "Фокусник".
Первый ведущий "Кинопанорамы". Уже будучи смертельно больным вёл передачу "Чай-клуб".

Ушёл из жизни в Москве 18 ноября 1996 года. Похоронен 21 ноября на Кунцевском кладбище Москвы (участок № 10).

В 1998 году в Киеве в сквере на улице Прорезной открыт памятник персонажу - Паниковскому в исполнении Гердта (герой знаменитой книги Ильфа и Петрова подрабатывал слепым на углу Крещатика и Прорезной).

Вторая жена — переводчик-арабист Татьяна Александровна Правдина, приёмная дочь Екатерина Гердт.

Орден Красной Звезды (1947).
Орден Отечественной войны I степени (06.11.1985).
Премия "Кинотавр" в номинации "Премия президентского совета за творческую карьеру" (1996 ).
Орден «За заслуги перед Отечеством» III степени (1996).
Почётный гражданин города Себежа.