เนื่องจากประเทศไทยถูกรุกรานทางทะเลจาก ประเทศฝรั่งเศส เมื่อเกิดกรณีเหตุการณ์การรบ ที่ปากแม่น้ำเจ้าพระยา ร.ศ.112 ทำให้ประเทศไทย ต้องสูญเสียดินแดนไปบางส่วน พร้อมกับเสียเงินค่าทำขวัญ พร้อมทั้งจังหวัดจันทบุรี และจังหวัดตราด ถูกยึดเป็นประกัน เสด็จในกรมฯ ทรงเจ็บแค้นพระทัย เป็นอย่างมาก จึงทรงให้นักเรียนนายเรือสักคำว่า "ร.ศ.112 ตราด" ไว้ที่หน้าอกทุกคนรวมทั้งพระองค์ท่านด้วย เพื่อเป็นเครื่องจดจำ และหาหนทางที่จะแก้แค้นต่อไป
นอกจากการสักแล้ว เสด็จในกรมฯ ทรงแต่งเพลง ฮะเบสสมอ
และอื่น ๆ ซึ่งมีอยู่หลายบทด้วยกัน และให้นักเรียนนายเรือร้องเพื่อปลุกใจให้กล้าหาญ
และรักชาติ ให้สมกับเป็นทหารเรือไทย
และอื่น ๆ ซึ่งมีอยู่หลายบทด้วยกัน และให้นักเรียนนายเรือร้องเพื่อปลุกใจให้กล้าหาญ
และรักชาติ ให้สมกับเป็นทหารเรือไทย
นอกจากนั้นเสด็จในกรมฯ โปรดให้สร้างเรือน้ำตาลขึ้น เมื่อปี พ.ศ.2449 ซึ่งเป็นเรือจำลองมีคำว่า "ร.ศ.112" ที่หัวเรือ ตั้งไว้บนบกเพื่อให้นักเรียนนายเรือชั้น 4 ชั้น 5 ฝึกแก้อัตราผิดของเข็มทิศ เพื่อเวลานำเรือ ออกท้องทะเลลึกโดยเข็มไม่ผิด และให้ได้เห็นทุกวัน เป็นการเตือนใจให้หาทางแก้เผ็ด และป้องกันไม่ให้เหตุการณ์ เช่น ร.ศ.112 เกิดขึ้นอีก และที่ทรงใช้ชื่อว่า"น้ำตาล" เพราะน้ำตาลแก้รสเผ็ดได้ หรืออีกนัยหนึ่ง เป็นเรือที่ลอยน้ำไม่ได้ (เช่นเดียวกับน้ำตาล)
นอกจากทรงใฝ่พระทัยในด้านการศึกษาของ นักเรียนนายเรือแล้ว เสด็จในกรมฯ ทรงดำริว่า สำหรับการช่วยเหลือราษฎรในด้านการดับเพลิงนั้น ควรจะได้ให้นักเรียนนายเรือได้มีการฝึกทำการช่วยเหลือ ราษฎรทำการดับเพลิง เพราะมีเรือสูบน้ำ และเรือกลไฟเล็ก ซึ่งขึ้นอยู่กับกรมเรือกลอยู่แล้ว และมีหน้าที่ดับเพลิง ฉะนั้นเมื่อเกิดเพลิงไหม้ที่ใด เรือกลไฟจะทำหน้าที่ลากจูงเรือ สูบน้ำไปทำการดับเพลิงเป็นประจำ ดังนั้นเสด็จในกรมฯ ทรงจัดตั้งกองดับเพลิงของทหารเรือขึ้น โดยมีกองต่าง ๆ ดังนี้ คือ
- 1. กองถัง
- 2. กองขวาน
- 3. กองผ้าใบกันแสงเพลิง
- 4. กองรื้อและตัดเชื้อเพลิง
- 5. กองช่วย
- 6. กองพยาบาล
ต่อมาจึงได้เพิ่มกองสายสูบขึ้นกองหนึ่ง ในการนี้ได้ทรงจัดให้นักเรียนนายช่างกล ทำหน้าที่ร่วมกับ นักเรียนอื่น ๆ และเพื่อความชำนาญ ให้มีการเปลี่ยนกันไปบ้าง ตามความสามารถของนักเรียน นอกจากนั้นเสด็จในกรมฯ ทรงฝึกหัดการดับเพลิงให้กับทหาร และนักเรียนนายเรือ ด้วยพระองค์เอง ในสมัยนั้นมักจะเกิดเพลิงไหม้บ่อย ๆ เสด็จในกรมฯ จะเสด็จไปบัญชาการดับเพลิง ด้วยพระองค์เองเสมอ ๆ โดยไม่ทรงถือพระองค์ และจะลงมือปฏิบัติด้วยพระองค์เอง เพื่อเป็นแบบอย่าง แก่ผู้ใต้บังคับบัญชาด้วยความกล้าหาญ ดังเช่น ในต้นเดือนธันวาคม ร.ศ.119 (พ.ศ.2443) เกิดเพลิงไหม้ที่ตำบลบ่อนหัวเม็ดทางด้านวัดบพิตรพิมุข เสด็จในกรมฯ ทรงปีนหลังคาแล้วทำการรื้อ เพื่อจะตัดต้นไฟด้วยพระองค์เอง จนถึงกับประชวร พระวาโย 2 ครั้ง พระเจ้าบรมวงศ์เธอ กรมหลวง ประจักษ์ศิลปาคม เสนาบดีกระทรวงกลาโหม และรั้งตำแหน่งผู้บังคับบัญชาการกรมทหารเรือ ได้ถวายรายงานขอพระราชทานบำเหน็จ เพื่อเป็นเยี่ยงอย่างแก่นายทหารและพลทหารในครั้งนั้น พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ทรงชมเชยในความอุตสาหะและความกล้าหาญ แต่ยังไม่ทรงเห็นด้วยที่จะพระราชทานรางวัล เพราะในครั้งนั้นยังไม่เคยมีรางวัล และอีกประการหนึ่ง การที่จะพระราชทานเครื่องราชอิสริยาภรณ์ขั้นต่ำ ๆ ก็ไม่เหมาะสมกับเสด็จในกรมฯ ดังนั้นพระองค์ ทรงให้นับไว้บวกกับความดี ซึ่งจะมีในภายหน้าที่จะได้รับ เครื่องราชอิสริยาภรณ์ชั้นสูงต่อไป
การปฏิบัติงานของกองดับเพลิงนั้น ได้รับคำชมเชยอยู่เสมอ ดังเช่น ในวันที่ 4 และ 5 เมษายน พ.ศ.2449 ได้เกิดเพลิงไหม้ขนานใหญ่ที่ตำบลราชวงศ์
กองดับเพลิงได้ทำการดับเพลิงอย่างเข้มแข็ง จนได้รับคำชมเชยดังนี้
"วันที่ 6 เมษายน พ.ศ.2449 กรมทหารเรือได้ลงคำสั่งที่ 8/136 ให้ทราบทั่วกันว่า พระบาทสมเด็จพระเจ้าอยู่หัวทรงสรรเสริญ ความอุตสาหะของกรมทหารเรือในการดับเพลิง ที่ตำบลถนนราชวงศ์ เมื่อวันที่ 4 และ 5 เมษายน ร.ศ.125 จึงให้กรมกองประกาศให้นายทหาร พลทหาร และพลนักเรียนทราบทั่วกัน"
ต่อมาในสมัยพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว รัชกาลที่ 6 ในวันที่ 23 ธันวาคม พ.ศ.2453 ทรงพระกรุณาโปรดเกล้าฯ ให้เสด็จในกรมฯ ซึ่งขณะนั้นกำลังทรงดำรงตำแหน่ง เจ้ากรมยุทธศึกษาทหารเรือ ทรงดำรงตำแหน่งผู้ช่วยเสนาบดี กระทรวงทหารเรืออีกตำแหน่งหนึ่ง
ครั้นถึงวันที่ 14 เมษายน พ.ศ.2454 พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ได้โปรดให้พระองค์ทรงออกจากราชการอยู่ชั่วระยะหนึ่ง รวมเวลาที่เสด็จในกรมฯ ทรงรับราชการครั้งแรก 11 ปี