effective_transformer:无需填充即可运行BERT 源码

有效变压器 Effective Transformer建立在NVIDIA开源项目具有许多高级优化功能。我们的实验表明,有效的Transformer可以显着减少执行时间和内存消耗,尤其是对于大批量的情况。 无需填充即可运行BERT 当使用BERT编码一批输入序列时,我们通常将输入批处理视为一个矩阵,其列号等于所有序列的最大长度。 NVIDIA 可以非常有效地处理所有序列具有大致相同长度的情况。但是,如果同一批中的序列长度相差很大,则将它们填充到相同的长度中会浪费大量的内存和计算资源。 考虑以下情况 bert_input = [[ "Hi" ], [ "Picking" ], [ "The" , "seed" , "of" , "Job's" , "tears" ]] bert_tokens = [[ 1 ], [ 2 ], [ 3 , 4 , 5 , 6 , 7 ]] bert_tokens