K-On! bercerita tentang bercerita mengenai empat siswi Sekolah Menengah Atas Sakuragaoka di Jepang. Sebagai kegiatan ekstrakurikuler, mereka bergabung dalam sebuah klub musik pop atau klub musik ringan (軽音部 Keion-bu?) yang sudah hampir ditutup. Anggota klub tersebut hanya mereka berempat.

Pada awalnya, Yui Hirasawa tidak memiliki pengalaman bermain alat musik atau membaca partitur. Dia hanya pernah bermain kastenyet, tetapi akhirnya dia mahir bermain gitar. Sejak itu pula, Yui bersama pemain bass Mio Akiyama, pemain drum Ritsu Tainaka, dan pemain keyboard Tsumugi Kotobuki menghabiskan waktu seusai pelajaran sekolah dengan berlatih, ikut serta dalam pertunjukan, atau sekadar jalan-jalan bersama.