Deformable DETR的每一层Decoder都要把query_embed送入multi-scale deformable attention的q中吗？query_embed也要送入self-attention的kq中吗

？

是的，Deformable DETR中每个Decoder层都需要将query_embed送入multi-scale deformable attention的q中，同时也需要将query_embed送入self-attention的k和q中。这是因为query_embed扮演着查询向量的角色，用于计算注意力权重，从而生成Decoder输出。在multi-scale deformable attention中，query_embed用于计算跨尺度的注意力，而在self-attention中，query_embed用于计算自注意力。因此，query_embed在Deformable DETR的每个Decoder层中都需要用到。