没有店铺租金的担忧、团长成本低、获客容易，怎么看这都是一门不错的生意，更重要的是，社区团购背后的用户的价值巨大。

　　GPUAcceleratedFeatureEngineeringandTrainingforRecommenderSystems.

　　Nvidia的论文【3】描述了训练xgboost模型来预测每个交互事件。总体的关注点在于为该模型生成有用的特征。文章强调快速提取特征和模型训练是该方法成功的关键。本文在附录中提供了4种模型中每种模型的15个最有用的特征列表。

　　从数据集中快速提取特征并进行再训练是冠军和亚军的关键区别。特征工程流程和训练流程的运行时间都不到一分钟。除此之外，对不同的分类特征和特征组合采用目标编码（均值编码+加法平滑，包括这些组合的目标均值。作者还从推文的内容中创建了分类特征（如最受欢迎的两个词和最不受欢迎的两个词。用于特征重要性评估和选择的对抗性验证 通过选择更通用的特征来防止过拟合。采用基于树模型的集成方法用于生成最终模型。

　　第二名：Learner

　　PredictingTwitterEngagementWithDeepLanguageModels.

　　Learner【4】融合了深度学习与梯度提升决策树（GBDT，并专注于不同特征的创建。作者使用启发式方法设计了467个特征，并使用BERT和XLM-R生成了推文的文本表示（同时使用了目标Twitter文本以及最近参与的Twitter文本。

　　该条目与其他条目的关键区别在于使用了预训练的自然语言处理（NLP模型BERT和XLM-R，并进行了微调。第一层的微调是以无监督的方式进行的。接下来，将语言模型与其他特征结合以有监督的方式进行微调。。该模型是一个多层感知机（MLP，有四个头，每个头代表一种参与类。本文还引入注意力机制生成了用户过去十次互动的嵌入向量。以目标推文为关键，利用注意力机制对每个的嵌入向量进行组合。此外，还使用了启发式特征，如参与用户、推文创建者、推文特征和用户与创建者交互特征的不同表示。与其他条目一样，本文使用xgboost进行特征工程和选择，并将Yeo-Johnsontransformation应用于分类特征和非标准化连续特征。

　　第三名：Wantely

　　AStackingEnsembleModelforPredictionofMulti-typeTweetEngagements.

　　Wantely的投稿【5】提出了一种预测tweet参与度的两阶段方法。第一阶段的分类器是轻量级的，只使用在不同目标（Like、Retweet等中通用的特征，并且具有相似的训练/测试精度。第二阶段分类器将轻量级分类器的输出与特定于目标的特征一起用作特征。

　　上游的通用模型生成下游模型所需的特征。作者认为，通过这样的方式，每种参与类型的下游模型都可以从所有其他参与的数据中受益。除此之外，除此之外，如Nvidia条目所示，本文通过对抗性验证直接评估训练和测试数据集之间的特征分布差异，从而确定了哪些特征是可通用的。

　　在所有提交的论文中，有许多相同的见解。我们重点介绍以下主题：

　　胜出模型中使用的有用特征—目标编码是王道。首先，目标编码（用目标变量的平均值替换分类变量使问题变得更简单。它同时用于用户和作者id，因此编码了用户的平均参与率。其次，使用了大量特征交叉【6】。

　　快速实验进行特征选择。快速检验许多假设的能力一直是数据科学竞赛中不可或缺的一部分，并再次证明在这一挑战中具有决定性作用。Nvidia团队能够在GPU上运行整个流程。这让他们只需2分18秒就能训练出一个模型（包括特征工程，而在CPU上则需花费数小时。

　　通过对抗性验证来应对过度拟合。比赛选手常用的一种技术是建立一个判别器来预测训练和测试/验证集之间的差异。根据模型选择特征时使用的重要性分数，通过去除最重要的特征，可以帮助模型更好地泛化。此技术有助于避免训练数据过拟合。