抓别人衣服不放手引起殴打双方都有责任。先动手在法律上已经是不对的呢，因为拉别人衣服是侵犯他人权利的行为，可能会引起暴力行为。
殴打他人的认定条件：
1、本行为侵犯的客体是他人的身体权和健康权；
2、本行为在客观方面表现为以殴打他人的方式故意伤害他人身体。尚不够刑事处罚的行为。只要有证据证明行为人实施了殴打他人的行为。不论其是否造成被侵害人受伤。均可以依法予以治安管理处罚。殴打他人的行为方式、行为地点和伤情轻重等。应当作为从轻或者从重处罚的情节予以考虑；
3、本行为在主观方面表现为故意。
【法律依据】：
《中华人民共和国治安管理处罚法》第四十三条
殴打他人的，或者故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。
有下列情形之一的，处十日以上十五日以下拘留，并处五百元以上一千元以下罚款：
（一）结伙殴打、伤害他人的；
（二）殴打、伤害残疾人、孕妇、不满十四周岁的人或者六十周岁以上的人的；
（三）多次殴打、伤害他人或者一次殴打、伤害多人的。
因篇幅问题不能全部显示，请点此查看更多更全内容