Temporal shift module

参照Spatial Shift直接移动增加有两个问题： 1. 大规模移动会耗时，有时间成本没有计算成本 2. 会破坏空间结构

因此，提出了对应的解决方法：

少量移动
残差网络保持空间结构（想的很不错）

一些想法

能否推广到关键点追踪领域，采用Spatial shift 和 Temporal shift 来融合时空信息？
与Attention 中的 Affinity Weights 结合，增加融合的权重？

Refence

@article{BichenWu2018ShiftAZ, title={Shift: A Zero FLOP, Zero Parameter Alternative to Spatial Convolutions}, author={Bichen Wu and Alvin Wan and Xiangyu Yue and Peter H. Jin and Sicheng Zhao and Noah Golmant and Amir Gholaminejad and Joseph E. Gonzalez and Kurt Keutzer}, journal={computer vision and pattern recognition}, year={2018}}