type
status
date
slug
summary
tags
category
icon
password
第1节课
transfer learning
- Inductive Transfer Learning 归纳式迁移学习
- Transductive Transfer Learning 直推式迁移学习
- Domain Adaptation 领域的自适应
- 任务一致，数据不一致
- Unsupervised Transfer Learning 无监督式迁移学习
DA
- one-step
- Xs=Xt,P(Xs)≠P(Xt) 数据空间一致，数据分布不一致
- Xs≠Xt 数据空间不一致
- multi-step
- 多步 （如同时含有文字和图片）
特征的自适应
半监督 DA问题
加号左边是标记好的样本，右边是没有标记好的样本。
第2节课
对长文本支持弱，根据句号截断
用GPT文本生成来文本增强
test data预测之后与训练集合并，在训练集上切出一块验证集，训练。（扩大数据量？）
第3节课
残差？
左边是一个门控结构
2不同的特征工程相同model也可以融合
3半监督
4bert系列5个模型，和不同fine-tuning方式
文章的开头和结尾往往会有重要信息。
WWM对中文更有效 词级别的mask
在sentiment analyze中更有效
SVD /PCN 矩阵分解
ensemble模型融合
起始字符的语义信息
最大池化
最后的一个字符的语义信息
2不用transformer时，常用word2vec之类的
4不太用
第4节课
面试相关问题
融合
- 加权融合
- 先不同模型提交结果
- 分数差的权重高 eg. 0.7*model1+0.3*model2
- stacking