เรื่องนี้เป็นเรื่องที่ได้สดับรับฟังจากลูกศิษย์ที่อยู่ใกล้ชิดท่าน (หลวงปู่สรวง ท่านจะพูดแต่ภาษาเขมรเท่านั้น) หลวงปู่สรวงเคยเล่าให้ ลูกศิษย์ลูกหาฟังว่า เหตุที่ท่านนุ่งผ้าขาวเป็นหลักในปัจจุบัน เพราะมีที่มาที่ไป เนื่องมาจากเมื่อก่อนนั้นประมาณ 40 กว่าปีที่ผ่านมา ซึ่งเป็นช่วงแรกที่หลวงปู่สรวง ท่านปรากฏตัวแถว กิ่ง อ.ภูสิงห์ สังขะขุขันธ์ ช่วงนั้นท่านออกจากป่ามาใหม่ ๆ ผมเผ้าไมได้ตัดยาวรุงรัง โดยท่านไม่ใส่ใจสังขาร ท่านยังนุ่งห่มผ้าเหลือง เดินไปเดินมาตาม ชาวบ้านที่พบเห็น ส่วนใหญ่ก็คิดว่าท่านเป็นบ้า จนวันหนึ่งก็มีเรื่อง เกิดขึ้น เมื่อตำรวจสองนายออกตรวจตรามาพบท่าน เห็นหลวงปู่สรวงท่านผมยาวกระเซอะกระเซิง เนื้อตัวสกปรกมอมแมม นุ่งห่มผ้า สีเหลือง เก่า ๆ ขาด ๆ ก็นึกว่าท่านเป็นคนบ้า จึงจับท่านไปขังที่สถานี ในช่วงที่ตำรวจทั้งสองนายจับกุมท่าน ท่านดิ้นขัดขืน พยายาม หนี จึงโดนตำรวจนายหนึ่งทำร้าย แล้วจับมัดไปคุมขัง
เมื่อส่งท่านเข้าห้องขังแล้ว ตำรวจทั้งสอง ได้ออกเวรและไปกินเหล้าที่ร้านประจำจนเมามาย แล้วจึงขับรถเพื่อกลับบ้าน แต่ด้วยกรรมที่กระทำกับท่านด้วยความรู้เท่าไม่ถึงการณ์ ตำรวจทั้งสองนายต่างกลับไม่ถึงบ้าน เพราะเกิดอุบัติเหตุ เสียชีวิต เหตุการณ์ที่เกิดขึ้น ทำให้หลวงปู่สรวง ท่านสลดใจในความรู้เท่าไม่ถึงการณ์และเกรงจะเกิดเหตุการณ์เช่นนี้อีก ท่านจีงปลงผม และเปลี่ยนจากนุ่งห่มสีเหลือง มาเป็นนุ่งห่มขาวในเวลาต่อมา แต่สิ่งหนึ่งที่ท่านยังคงสวมอยู่คือรัดประคต ซึ่งท่านไม่เคยถอดออกเลย แต่หากมีใครถวายผ้าไตรแก่ท่าน ท่านก็จะฉลองศรัทธา โดยการนำมาห่มให้ผู้ถวายได้อานิสงส์ เสร็จแล้วท่านก็จะถอดออก แล้วถวายพระตามวัดต่างๆ ต่อไป