De film volgde de uitgebreide familie van "The General", gespeeld door Barker, tijdens een veelbewogen vakantie aan zee. De film speelde zich af aan de kust van Dorset in "Tiddly Cove", eigenlijk de kust tussen Bournemouth en Swanage. Ronnie Barker was een fervent verzamelaar van pittige ansichtkaarten van zeekusten en publiceerde er verschillende boeken over. De humor van By the Sea was sterk gebaseerd op de kleurrijke stijl van deze kaarten. Opvallend aan de film is dat er helemaal geen spraak aan te pas komt, met de score van Ronnie Hazlehurst en verschillende geluidseffecten in de plaats. De humor is in plaats daarvan volledig visueel en is gebaseerd op komische stereotypen (de oude geile generaal, het rondborstige meisje, de brutale schooljongen, enz.) Het was het vervolg op een andere Two Ronnies-film, The Picnic, met dezelfde personages.