หลวงปู่สรวง ท่านจะดำรงตนอยู่อย่างลึกลับ ไม่มีใครทราบแน่ชัดถึงประวัติความเป็นที่แท้จริงของ หลวงปู่ท่าน เพียงแต่เล่าขาน บอกต่อกันมาว่า ท่านเป็นชาวเขมรที่มีอายุยืนนาน และอยู่ในกระท่อมของชาวบ้าน หลวงปู่สรวงท่านจะนุ่งห่มขาว และถือศีลปฏิบัติธรรมนั่งบำเพ็ญเพียรจิตภาวนาอยู่เพียงลำพัง ซึ่งในสมัยนั้นผู้ที่นุ่งห่มขาวและบำเพ็ญเพียรภาวนาอยู่ในป่าเขา ชาวบ้านทั่วไปจะเรียกว่า พระฤาษีหรือพระดาบส หรือ เรียกกันตามภาษาท้องถิ่นว่า "ลูกตาเบ๊าะ" หรือ "ตาเบ๊าะ" ซึ่งถือว่าเป็นผู้วิเศษเหนือกว่าคนธรรมดา มีฤทธิ์อำนาจคาถาอาคม