Summer Pockets se află pe o insulă izolată, rurală și pașnică de pe Marea Interioară Seto, numită Torishirojima, care are o populație de aproximativ 2.000 de oameni. Protagonistul, Hairi Takahara, a crescut într-un cadru urban, dar după un incident neplăcut, el folosește moartea recentă a bunicii sale drept scuză pentru a veni pe insulă să se ocupe de vânzarea proprietății ei. Ajuns acolo, ajunge să cunoască patru fete, care sunt în centrul poveștii: Shiroha Naruse, care și-a uitat vacanța de vară; Ao Sorakado, care urmărește legendele insulei; Kamome Kushima, o fată de înaltă clasă care caută o corabie de pirați; și Tsumugi Wenders, o fată mai tânără care încearcă să se regăsească.