Modern Baseball se formó en 2011 por los amigos y guitarristas Jacob Ewald y Brendan Lukens, a quienes pronto se unieron Ian Farmer al bajo y Sean Huber a la batería. La banda lanzó su primer EP The Nameless Ranger en 2011, cuando aún estaba en la escuela secundaria. Poco después, los miembros se mudaron a Filadelfia para asistir a la universidad y rápidamente ganaron un gran número de seguidores en la comunidad musical de Filadelfia, formando equipo con los locales Marietta para lanzar el split de Couples Therapy en la primavera de 2012. Modern Baseball lanzó su debut completo, Sports, más tarde ese año en Lame-O Records, que ellos mismos grabaron y produjeron. Después de pasar el verano de 2013 realizando intensas giras por Estados Unidos, la banda se dirigió al estudio para autograbar You're Going to Miss It All.