第1节课

transfer learning

  1. Inductive Transfer Learning 归纳式迁移学习

  2. Transductive Transfer Learning 直推式迁移学习

    1. Domain Adaptation 领域的自适应
      • 任务一致，数据不一致

  3. Unsupervised Transfer Learning 无监督式迁移学习

DA

  1. one-step
    1. Xs=Xt,P(Xs)≠P(Xt) 数据空间一致，数据分布不一致
    2. Xs≠Xt 数据空间不一致
  2. multi-step
    1. 多步 （如同时含有文字和图片）

特征的自适应

半监督 DA问题

加号左边是标记好的样本，右边是没有标记好的样本。

第2节课

对长文本支持弱，根据句号截断

用GPT文本生成来文本增强

test data预测之后与训练集合并，在训练集上切出一块验证集，训练。（扩大数据量？）

第3节课

残差？

左边是一个门控结构

2不同的特征工程相同model也可以融合

3半监督

4bert系列5个模型，和不同fine-tuning方式

文章的开头和结尾往往会有重要信息。

WWM对中文更有效 词级别的mask

在sentiment analyze中更有效

SVD /PCN 矩阵分解

ensemble模型融合

起始字符的语义信息

最大池化

最后的一个字符的语义信息

2不用transformer时，常用word2vec之类的

4不太用

第4节课

面试相关问题

融合

  1. 加权融合
    1. 先不同模型提交结果
    2. 分数差的权重高 eg. 0.7model1+0.3model2
  2. stacking

作业