轻微剐蹭肇事逃逸是指车辆在行驶过程中，因为驾驶员的疏忽或者其他原因，与其他车辆或者路边物体发生轻微的碰撞，但是驾驶员未及时停车并留下联系方式，而是离开现场的行为。在这种情况下，如何认定肇事者的责任，需要考虑以下几个方面。

首先，肇事者的故意程度需要考虑。如果肇事者故意驾车逃逸，那么就应该按照交通肇事罪来处理。但如果是因为不知道自己肇事了，或者因为自己的车辆损坏轻微不觉得有必要停车留下联系方式，那么就不算故意肇事逃逸。

其次，肇事者的车辆是否有记录也需要考虑。如果肇事者的车辆被其他人拍到了，或者在现场留下了车辆痕迹，那么就可以通过这些证据来确定肇事者的身份。如果没有这些证据，则需要通过其他渠道来查找肇事者。

最后，肇事者是否主动赔偿也是认定责任的重要因素。如果肇事者在事故发生后主动联系受害人并赔偿损失，那么可以认为其具有一定的认错态度，责任程度相对较轻。但如果肇事者完全不理睬受害人的损失，那么就应该依据交通违法行为来处罚其相应的法律责任。

总之，在认定轻微剐蹭肇事逃逸的责任时，需要考虑多方面的因素，综合评估后才能做出合理的判断。同时，肇事者应该时刻保持安全驾驶的意识，避免发生交通事故。