Schiffer urodził się w Berlinie. Jego ojciec, Siegfried Schiffer (1849–1897), był żydowskim handlarzem drewnem, który zmarł, gdy chłopiec miał pięć lat. Zdał egzaminy maturalne (Abitur) i rozpoczął naukę u Emila Orlíka jako artysta, w tym ilustrator. Bardzo szybko musiał jednak przyznać, że jego prawdziwym powołaniem jest pisanie tekstów satyrycznych. W tym okresie swojej kariery pracował jako pisarz i ilustrator, tworząc również poezję.
Na początku lat 20. XX wieku Schiffer poznał Marguerite „Margo” Lion, urodzoną w Konstantynopolu francuską piosenkarkę kabaretową, która przybyła do Berlina, aby studiować w miejskiej szkole baletu rosyjskiego. Niektórzy sugerują, że motywowany chorobliwą zazdrością Schiffer skierował swój talent w stronę świata kabaretu. W Berlinie stworzył własny gatunek łączący rewię literacką z kabaretem, pracując w latach 1922–1925 nad spektaklami Wilde Bühne, Rampe Tütü, Größenwahn i Katakombe. W listopadzie 1923 roku Lion zadebiutowała piosenką stworzoną przez Schiffera „Die Linie der Mode” („Linia mody”). Kilka lat później, w 1928 roku, para wzięła ślub.
Kolejna ważna współpraca dotyczyła urodzonego w Rosji kompozytora Mischy Spoliansky'ego, który w tym czasie mieszkał w Berlinie i którego Schiffer poznał w 1925 roku. Razem stworzyli nową formę musicalu o ostrym humorze, łączącą elementy kabaretu i rewi. Ich pierwsza duża produkcja, Es liegt in der Luft (To jest w powietrzu), odniosła natychmiastowy sukces wśród niemieckiej publiczności. Można ją uznać za pierwszy niemiecki musical. Jednak termin ten nie był wówczas używany w Niemczech, a dzieło było ogólnie postrzegane jako rewia.
Był to przełom sceniczny również pod innymi względami. Lion wystąpiła u boku swojej młodszej przyjaciółki, jeszcze nieznanej Marlene Dietrich. Jednym z najważniejszych punktów programu był duet, który obie śpiewały razem „Wenn die beste Freundin mit der besten Freundin”. Od tego momentu Schiffer był bardzo poszukiwanym autorem musicalowych cuplés w Weimarze.
Równie owocna była jego współpraca z kompozytorem Paulem Hindemithem. W 1929 roku zaowocowała ona operą „Neues vom Tage” („Wiadomości dnia”). Libretto tej krótkiej opery napisał dla Hindemitha kilka lat wcześniej.
Oprócz wspomnianych powyżej współprac, Schiffer napisał również libretta dla Friedricha Hollaendera, Rudolfa Nelsona, Wernera Richarda Heymanna i Allana Graya.