场景草图由多个前、背景物体组成,能够直观、概括地表达复杂的语义信息,在现实生活中有着广泛的实际应用,逐渐成为计算机视觉和人机交互领域的研究热点之一.作为场景草图语义理解的基础任务,场景草图语义分割的相关研究相对较少,现有的方法多是对自然图像语义分割的方法进行改进,不能克服草图自身的稀疏性和抽象性等特点.针对以上问题,直接从草图笔画入手,提出一种图Transformer模型结合草图笔画的时空信息来解决自由手绘场景草图语义分割任务.首先将矢量场景草图构建成图结构,笔画表示为图的节点,笔画在时序和空间上的关联表示为图的边.然后通过边增强的Transformer模块捕获笔画的时空全局上下文信息.最后将编码后的时空特征进行多分类优化学习.在SFSD场景草图数据集上的实验结果表明,所提方法可以利用笔画时空信息对场景草图进行有效的语义分割,实现优秀的性能.
