取消律师的特别授权可以通过以下步骤进行：首先，向律师所在地的律师协会提出书面申请，申请取消特别授权。其次，律师协会会要求你提供特别授权的相关证明文件，需要准备好并提交。最后，律师协会会对你的申请进行审核，审核通过后，律师的特别授权会被取消。需要注意的是，特别授权的取消必须经过律师本人同意或律师已经被撤销执业资格等特殊情况方可生效。

律师超出当事人授权其代理的范围、违规双方代理、违背当事人的意愿、背离当事人的意志，当事人认为侵犯了其合法权益，提起申请，取消其律师特别授权。