Drugi studyjny album zespołu Off! Został wydany 8 maja 2012 roku przez Vice Records na CD i LP oraz przez Burger Records na kasecie. Został nagrany w ciągu trzech dni, od 16 do 18 lutego 2012 roku, w Kingsize Soundlabs.
OFF! określani są często mianem punkowej supergrupy. Na ile to prawda ocenią chyba najlepiej fani takich kapel jak Black Flag, Circle Jerks, Burnig Brides, Rocket From The Crypt czy Redd Kross, bo w nich właśnie udzielali się muzycy składu założycielskiego zespołu.
Grupa zadebiutowała na żywo podczas South By Southwest Music Festival 2010 w Austin, w Teksasie, a pierwszym wydawnictwem Off! była 7", winylowa EP-ka zatytułowana "1st EP", która ukazała się 13 października 2010 r. Płytka, wraz z trzema innymi EP-kami, została później wydana kilka miesięcy później jako zestaw czterech 7-calowych płyt winylowych zatytułowanych "First Four EP's" i jest uważana za debiutancki album zespołu.
W 2012 r. Off! wydał pełnometrażowy album pt.... "Off!" a w kwietniu 2014 pojawił się trzeci album pt. "Wasted Years".
W lipcu 2021 roku z zespołu odeszło dwóch muzyków z oryginalnego składu, ale ta zmiana nie wpłynęła na aktywność grupy i w 2022 roku fani dostali nowy album o tytule "Free LSD", który jest efektem współpracy, jaka zespół podjął z wytwórnią Fat Possum Records.