Given that 

      cosA, sinA, cotA are in G.P

=> sin² A = cosA*cotA

              = (cosA*cosA)/sinA

=> sin² A = cos² A/sinA

=> sin² A/cos² A = 1/sinA

=> tan² A = 1/sinA

Now  tan⁶ A - tan² A

                             = (tan² A)³ - tan² A

                             = (1/sinA)³ - 1/sinA

                             = 1/sin³ A - 1/sinA

                             = (1-sin² A)/sin³ A

                             = cos² A/sin³ A

                             = cot² A*cosecA 

                             = (cosA/sinA)² * (1/sinA)

                             =  cot² A*cosecA

So tan⁶ A - tan² A = cot² A*cosecA