ชีวิตในวัยหนุ่มของสุนทรภู่เริ่มมีชื่อเสียง เพราะเป็นคนเจ้าบทเจ้ากลอน บอกบทกลอนดอกสร้อยสักวาได้เก่ง แต่มีความเจ้าชู้ ความเป็นหนุ่มคะนองได้ชักพาให้สุนทรภู่ไปชอบกับหญิงคนหนึ่งชื่อจัน แล้วได้เขียนเพลงยาวถึงนางจัน จนกระทั่งบิดาของนางจันทราบ จึงให้คนจับต้องเวรจำแต่ก็ถูกขังอยู่ไม่นานเท่าไร สุนทรภู่ก็ได้รับการปล่อยตัวแล้วก็คิดถึงบิดาขึ้นมา และก็มีอายุที่สามารถที่จะบวชได้แล้ว จึงเดินไปที่เมืองแกลง และได้แต่งนิราศเมืองแกลงขึ้น ซึ่งเป็นนิราศเรื่องแรกของสุนทรภู่ ต่อมาได้แต่งงานกับแม่จัน เพราะอัครชายาของกรมพระราชวังหลังทรงเมตตาจัดการให้ แต่ต่อมาเกิดทะเลาะขัดใจแม่จัน
ระหว่างที่โกรธกันสุนทรภู่ได้ถวายตัวเป็นมหาดเล็กของพระองค์เจ้าปฐมวงศ์ ซึ่งทรงผนวชอยู่ที่วัดระฆังโฆษิตาราม และตามเสด็จพระองค์เจ้าปฐมวงศ์ไปพระพุทธบาทและแต่งนิราศพระบาทปรากฏเป็นคำประพันธ์ที่นิยมในปัจจุบันดังนี้

เมื่อสุนทรภู่กลับจากพระพุทธบาทแล้ว แม่จันก็ยังไม่ยอมคืนดีด้วย สุนทรภู่กลุ้มใจก็ดื่มเหล้าทุกวัน ในที่สุดพระองค์เจ้าปฐมวงศ์ที่ทรงรับสุนทรภู่มาอุปการะไว้ก็เกิดความระอา สุนทรภู่น้อยใจ จึงเดินทางไปเมืองเพชรบุรี

สิ่งที่น่าสนใจภายในวัด
หอพระไตรปิฎก สร้างขึ้นในสมัยรัชกาลที่ ๑ โดยทรงพระกรุณาโปรดเกล้าฯ ให้ขุดสระแล้วรื้อพระตำหนักและหอนั่งของพระองค์เมื่อครั้งดำรงตำแหน่งพระราชวรินทร์ ที่ทรงปลูกไว้ทางด้านตะวันตกของพระอุโบสถเก่า (ปัจจุบันเป็นที่ตั้งพระวิหาร) มาปลูกลงในสระทำหอพระไตรปิฎกเป็นรูปเรือนสามหลังแฝดชายคาเป็นรูปเทพพนมเรียงรายเป็นระยะ กั้นกระแชงเป็นฝาไม้สักลูกปะกน ตัวเรือนติดคันทวยที่สวยงามมาก หอพระไตรปิฎกแห่งนี้เป็นที่ชุมนุมงานฝีมือของช่างชั้นครูสมัยรัตนโกสินทร์ เช่นลายจำหลักไม้ที่ซุ้มและบานประตูกลาง ฝีพระหัตถ์รัชกาลที่ ๒ ภาพจิตรกรรมฝาผนังเขียนเป็นรูปมาฆมาณพสร้างศาลา ฝีมืออาจารย์นาค เป็นต้น นอกจากนั้นยังมีพระไตรปิฎกขนาดใหญ่ซึ่งเป็นตู้ลายรดน้ำสมัยกรุงศรีอยุธยาประดิษฐานไว้ในห้องด้านเหนือและห้องด้านใต้ บานประตูชานด้านนอกสลักเป็นลายมังกรมีซุ้มแลกรุงเก่าสวยงามมาก หอพระไตรปิฎกแห่งนี้บางคนเรียกว่า ตำหนักต้นจันทน์ เพราะเมื่อบูรณะเสร็จ รัชกาลที่ ๑ ทรงปลูกต้นจันทร์ไว้โดยรอบทั้งแปดทิศ ปี พ.ศ.๒๕๑๑ ทางวัดร่วมกับสมาคมสถาปนิกสยามได้บูรณะและปฏิสังขรณ์ใหญ่ภายใต้การควบคุมดูแลของอาจารย์เฟื้อ หริพิทักษ์ ศิลปินแห่งชาติ ผู้ทุ่มเทซ่อมแซมภาพเขียนในหอพระไตรปิฎกแห่งนี้มาก่อนแล้ว


พระปรางค์องค์ใหญ่ เป็นพระปรางค์เดียวในกรุงเทพฯ ที่เป็นศิลปะแบบอยุธยา ซึ่งสมเด็จกรมพระยานริศรานุวัติวงศ์ทรงยกย่องว่าเป็นพระปรางค์ที่มีลักษณะและทรวดทรงงดงามถูกแบบแผนที่สุด


หอระฆัง สร้างเป็นแบบจัตุรมุข ซึ่งเป็นศิลปะสมัยกรุงศรีอยุธยาตอนปลาย มีระฆังที่ได้รับพระราชทานจากรัชกาลที่ ๑ แขวนไว้จำนวน ๕ รูป



ตำหนักแดง เดิมอยู่ในพระราชวังเดิม ต่อมาสมเด็จพระราชวังบวรสถานพิมุขกรมพระราชวังหลัง (เจ้าฟ้ากรมหลวงอนุรักษ์เทเวศร์) ทรงโปรดฯ ให้ย้ายมาสร้างทางด้านทิศเหนือของพระอุโบสถหลังใหม่ ภายในมีภาพจิตรกรรม สันนิษฐานว่าเดิมเป็นพระตำหนักของสมเด็จพระเจ้าตากสินมหาราช ทรงใช้เป็นที่เจริญพระกรรมฐาน



พระอุโบสถ สร้างขึ้นในสมัยรัชกาลที่ ๒ แทนพระอุโบสถหลังเดิมที่เปลี่ยนเป็นพระวิหาร หลังคาทำลดสามชั้น มีช่อฟ้า ใบระกา หางหงส์ และคันทวย สลักเสลาอย่างสวยงาม หน้าบันทำเป็นรูปนารายณ์ทรงครุฑประดับลายกนกปิดทอง ใต้หน้าบันเจาะเป็นช่องหน้าต่างสองช่องตามแบบที่นิยมในสมัยธนบุรี บานประตูหน้าต่างนอกเขียนลายรดน้ำปิดทองเป็นรูประฆังภายในพระอุโบสถมีพระประธานซึ่งหล่อขึ้นในสมัยรัชกาลที่ ๒ เหนือพระเศียรมีเศวตฉัตรเก้าชั้นซึ่งเคยใช้กั้นในงานพระเมรุมศรัชกาลที่ ๑ ที่ผนังมีภาพเขียนทศชาติชาดกฝีมือประณีตของพระวรรณวาดวิจิตร (ทอง จารุวิจิตร) จิตรกรเอกสมัยรัชกาลที่ ๖


พระสำคัญรูปหนึ่งที่เคยพำนัก ณ วัดแห่งนี้คือ สมเด็จพระพุฒาจารย์ (โต พรหมรังสี) ซึ่งเป็นพระที่มีความรู้แตกฉานในพระไตรปิฎกและทรงคุณในด้านวิปัสสนาธุระ ปัจจุบัน พระเครื่อง “สมเด็จ” จึงยังเป็นที่นิยมในหมู่นักเลงพระเครื่อง


วัดระฆังโฆษิตารามได้รับการขึ้นทะเบียนเป็นโบราณสถานสำคัญของชาติเมื่อ พ.ศ.๒๔๙๒