There are a number of different ways to say "upside down" in German. As an adverb, you might have seen kopfüber. 

banner5 PLACEHOLDER

Das weiß ich. Und sie hängen kopfüber, wenn sie schlafen.

I know that. And they hang upside down when they sleep.

Caption 41, Meine Freundin Conni: Conni schläft im Kindergarten

 Play Caption

Der arme Soldat lag kopfüber im Rinnstein, als es anfing zu regnen.

The poor soldier lay upside down in the gutter as it started to rain.

Caption 32, Märchen - Sagenhaft: Der standhafte Zinnsoldat

 Play Caption

The verbal idiom to know is (etwas) auf den Kopf stellen. 

Ich hab alles verändert und auf den Kopf gestellt.

I've changed everything and turned it upside down.

Caption 16, Christina Stürmer: Ein halbes Leben

 Play Caption

Und steh ich kopf, drehst du mich wieder um

And when I'm upside down, you turn me right side up

Caption 19, Wincent Weiss: Wer wenn nicht wir

 Play Caption

For the phrase "inside out," the context matters. A shirt being worn inside out by accident is verkehrt herum or auf links. But the English idiom of "turning inside out" when looking for something and thereby causing a big mess is better translated as umkrempeln.

Ich glaube, der würde sich in seiner eigenen Halle nicht mehr auskennen, weil die Halle ist einmal komplett umgekrempelt.

I believe, he wouldn't know his way around his own halls, because the hall has been completely turned inside out.

Captions 48-49, Rhein-Main-Ferien: Technische Sammlung Hochhut

 Play Caption

The word "backwards" is, however, quite simple, as rückwärts is the most common translation by far. 

Warum die Zeit vergeht, sich niemals rückwärts dreht.

Why time goes by, never turns backwards.

Caption 5, Es war einmal … Entdecker und Erfinder: Archimedes

 Play Caption

Der Athlet springt rücklings ab und dreht sich danach ebenfalls rückwärts.

The athlete jumps off backwards and afterwards likewise rotates backwards.

Caption 16, Olympische Spiele: Wasserspringen

 Play Caption

Further Learning
You can find more examples on Yabla German.