Zespół został założony w sierpniu 1999 roku w Ostrówku pod Warszawą przez gitarzystę Radka Łukasiewicza i śpiewającego basistę Janka Piętkę. Pierwszego składu dopełniali klawiszowiec Łukasz Nowak, perkusista Grzegorz Śluz oraz Milena Łukasiewicz, grająca na instrumentach perkusyjnych. Jako, że próby formacji odbywały się w komórce zwanej kolokwialnie "pustkami", muzycy postanowili nazwać swój zespół - Pustki.

Zaczynali od prostego alternatywnego rocka, który zaprezentowali na debiutanckiej płycie Studio Pustki w 2001 roku. Na albumie zaprezentował się już nieco inny skład, ponieważ na instrumentach klawiszowych Łukasza Nowaka zastąpił Daniel Pigoński. Album zebrał wiele pozytywnych recenzji w muzycznej prasie, a promująca go piosenka Patyczak zyskała status alternatywnego przeboju.

Niedługo po wydaniu debiutanckiej płyty, w 2002 roku, doszło do kolejnych zmian w składzie. Zespół opuścili Milena Łukasiewicz oraz Daniel Pigoński (który założył później takie formacje jak Elektrolot czy Polpo Motel), a nowym nabytkiem grupy został basista Filip Zawada. Janek Piętka, dotychczasowy basista, przejął natomiast funkcję klawiszowca. W tym zestawieniu personalnym nastąpił okres grania rozbudowanych, improwizowanych i w dużej mierze instrumentalnych kompozycji (występy m.in. na Festiwalu Wujek).

W 2004 powstał wielowątkowy, eklektyczny album 8 Ohm, na którym oprócz standardowego rockowego instrumentarium można było usłyszeć dźwięki saksofonu, skrzypiec, fisharmonii i wibrafonu. Śladowo nawiązywał on do estetyki post-rocka i rocka progresywnego, choć zawierał też typowe dla zespołu, melodyjne piosenki. Według samych muzyków był on wyrazem tzw. Muzyki Ściany Wschodniej. Na płycie 8 Ohm po raz pierwszy pojawiła się w składzie grupy grająca na skrzypcach i instrumentach klawiszowych wokalistka Barbara Wrońska.

W 2006 ukazała się trzecia płyta Pustek Do mi no, prostsza konstrukcyjnie od poprzedniej. Przyczyniła się ona do popularności grupy dzięki przebojowym piosenkom, takim jak Telefon do przyjaciela, Tchu mi brak czy Słabość chwilowa. Ukoronowaniem tej fali popularności był świetnie przyjęty koncert w ramach imprezy Open'er Festival w Gdyni 2006.

Na początku 2007 doszło do kolejnych znaczących zmian personalnych w grupie – najpierw zespół opuścił basista Filip Zawada (który po odejściu zakłada zespół Indigo tree), a kilka miesięcy później wokalista i współzałożyciel zespołu Janek Piętka. Zespół postanowił jednak kontynuować działalność, funkcję głównego wokalu przejęła Barbara Wrońska, a w kwietniu 2007 basistą został Szymon Tarkowski, znany z takich formacji jak Wiosna, Batyskaf czy Płyny. Grupa postanowiła wówczas przenieść na stałe swoją działalność z Ostrówka do Warszawy.

W maju 2007 roku ukazał się album Warszawa. Tribute to Joy Division, zawierający covery utworów zespołu Joy Division, na którym znalazła się piosenka Pustek Koniec kryzysu (inspirowana utworem Passover). "Ta piosenka stała się poniekąd kompozycyjnym i brzmieniowym wyznacznikiem naszej drogi do nowego albumu. Od niej zaczęły się nowe Pustki i stąd tytuł albumu" – mówi Radek Łukasiewicz, współzałożyciel i gitarzysta zespołu.

Pod koniec 2007 zespół nagrał dwie piosenki na album Wyspiański wyzwala, słowa do utworów są wierszami Stanisława Wyspiańskiego. Album promuje utwór Wesoły jestem. Drugi utwór Pustek na tym wydawnictwie to Jakżeż ja się uspokoję, do którego nagrano również teledysk.

17 października 2008 ukazała się czwarta płyta grupy zatytułowana Koniec kryzysu, promowana singlem Parzydełko. Okazała się kolejnym przełomem w karierze zespołu, zdobywając jeszcze większą popularność niż jej poprzedniczka Do Mi No. Zespół zebrał znakomite recenzje, został nominowany do wielu prestiżowych nagród, takich jak Paszport Polityki czy Fryderyki. Radiowa Trójka oraz popkulturowe pismo Pulp uznały Pustki za zespół roku, a Koniec Kryzysu za album roku 2008.

26 października 2009 ukazała się piąta płyta zespołu, zatytułowana Kalambury. Na płycie tej Pustki jako tekstów użyły wierszy polskich poetów, takich jak Stanisław Wyspiański, Władysław Broniewski, Bolesław Leśmian czy Julian Tuwim. Zespół ponownie nominowany został do nagrody Paszportu Polityki, a także w grudniu 2009 otrzymał specjalne wyróżnienie od miasta Toruń - nagrodę im. Grzegorza Ciechowskiego.

W lutym 2010 zespół zarejestrował materiał na pierwszy koncertowy album DVD - występ odbył się w ramach "Najmniejszego Koncertu Świata" w studiu nagraniowym Alvernia Studios w Alwernii koło Krakowa. DVD ukazało się 29 października 2010, a promuje je nowa piosenka Lugola, do której powstał teledysk wyreżyserowany przez Przemysława Wojcieszka. .