till的英文？知识蒸馏-Distilling the knowledge in a neural network

本文目录

• till的英文
• 知识蒸馏-Distilling the knowledge in a neural network
• till和until的区别
• 在开机启动项里有个AcroTray-Adobe Acrobat Distiller helper application. 不知道是什么，
• till怎么读
• till的用法和例句
• distil和distill有什么区别
• 翻译并语法解释Sea-water can be made drinkable by distill out the salt.
• Adobe Acrobat Distiller
• till怎么读 till的意思

till的英文

till，直到，读音：美/tɪl/；英/tɪl/。

释义:prep.向，朝；离；到；在……之前；倾向于；成；对于；给予；跟；关于；每；属于；使；比；记入；向……表示敬意；伴随；以提供；适合；按……的看法（等于 to）；直到……为止；直到……才（等于 until）。

conj.直到……为止；直到……才（等于 until）。n.现金出纳机；（大商店中的）交款处；（现金出纳机的）放钱的抽屉；冰碛（物）。v.耕作，犁地。n.(Till)（德）蒂尔（人名）。

表示句子的动作一直持续到until短语所表示的时间为止，即表示动作的终点。一般可译为“直到……时(为止)”或“在……以前”。在这种用法中，句子的谓语动词必须是持续动词(非瞬间动词)，如live, wait , last, love, like, stay, work, continue 等。所以不能单独说until 之前之后是什么时态，这取决于你要说话的背景。

知识蒸馏-Distilling the knowledge in a neural network

“很多昆虫在幼虫形态的时候是最擅长从环境中吸取能量和养分的，而当他们成长为成虫的时候则需要擅长完全不同能力比如迁移和繁殖。”在2014年Hinton发表的知识蒸馏的论文中用了这样一个很形象的比喻来说明知识蒸馏的目的。在大型的机器学习任务中，我们也用两个不同的阶段 training stage 和 deployment stage 来表达两种不同的需求。training stage（训练阶段）可以利用大量的计算资源不需要实时响应，利用大量的数据进行训练。但是在deployment stage （部署阶段）则会有很多限制，比如计算资源，计算速度要求等。知识蒸馏就是为了满足这种需求而设计的一种模型压缩的方法。

知识蒸馏的概念最早是在2006年由Bulica提出的，在2014年Hinton对知识蒸馏做了归纳和发展。知识蒸馏的主要思想是训练一个小的网络模型来模仿一个预先训练好的大型网络或者集成的网络。这种训练模式又被称为 "teacher-student"，大型的网络是“老师”，小型的网络是“学生”。

在知识蒸馏中，老师将知识传授给学生的方法是：在训练学生的过程中最小化一个以老师预测结果的概率分布为目标的损失函数。老师预测的概率分布就是老师模型的最后的softmax函数层的输出，然而，在很多情况下传统的softmax层的输出，正确的分类的概率值非常大，而其他分类的概率值几乎接近于0。因此，这样并不会比原始的数据集提供更多有用的信息，没有利用到老师强大的泛化性能，比如，训练MNIST任务中数字‘3’相对于数字‘5’与数字‘8’的关系更加紧密。为了解决这个问题，Hinton在2015年发表的论文中提出了‘softmax temperature’的概念，对softmax函数做了改进：

这里的 就是指 temperature 参数。当 等于1 时就是标准的softmax函数。当 增大时，softmax输出的概率分布就会变得更加 soft（平滑），这样就可以利用到老师模型的更多信息（老师觉得哪些类别更接近于要预测的类别）。Hinton将这样的蕴含在老师模型中的信息称之为 "dark knowledge"，蒸馏的方法就是要将这些 "dark knowledge" 传给学生模型。在训练学生的时候，学生的softmax函数使用与老师的相同的 ，损失函数以老师输出的软标签为目标。这样的损失函数我们称为"distillation loss"。

在Hinton的论文中，还发现了在训练过程加上正确的数据标签（hard label）会使效果更好。具体方法是，在计算distillation loss的同时，我利用hard label 把标准的损失（ ）也计算出来，这个损失我们称之为 "student loss"。将两种 loss 整合的公式如下：

这里的 是输入， 是学生模型的参数， 是交叉熵损失函数， 是 hard label ， 是参数有 的函数， 是系数， 分别是学生和老师的logits输出。模型的具体结构如下图所示：

在上述公式中， 是作为超参数人为设置的，Hinton的论文中使用的 的范围为1到20，他们通过实验发现，当学生模型相对于老师模型非常小的时候， 的值相对小一点效果更好。这样的结果直观的理解就是，如果增加 的值，软标签的分布蕴含的信息越多导致一个小的模型无法"捕捉"所有信息但是这也只是一种假设，还没有明确的方法来衡量一个网络“捕捉”信息的能力。关于 ，Hinton的论文中对两个loss用了加权平均： 。他们实验发现，在普通情况下 相对于 非常小的情况下能得到最好的效果。其他人也做了一些实验没用加权平均，将 设置为1，而对 进行调整。

Hinton的论文中做了三个实验，前两个是MNIST和语音识别，在这两个实验中通过知识蒸馏得到的学生模型都达到了与老师模型相近的效果，相对于直接在原始数据集上训练的相同的模型在准确率上都有很大的提高。下面主要讲述第三个比较创新的实验：将知识蒸馏应用在训练集成模型中。

训练集成模型（训练多个同样的模型然后集成得到更好的泛化效果）是利用并行计算的非常简单的方法，但是当数据集很大种类很多的时候就会产生巨大的计算量而且效果也不好。Hinton在论文中利用soft label的技巧设计了一种集成模型降低了计算量又取得了很好的效果。这个模型包含两种小模型：generalist model 和 specialist model（网络模型相同，分工不同）整个模型由很多个specialist model 和一个generalist model 集成。顾名思义generalist model 是负责将数据进行粗略的区分（将相似的图片归为一类），而specialist model（专家模型）则负责将相似的图片进行更细致的分类。这样的操作也非常符合人类的大脑的思维方式先进行大类的区分再进行具体分类，下面我们看这个实验的具体细节。
实验所用的数据集是谷歌内部的JFT数据集，JFT数据集非常大，有一亿张图片和15000个类别。实验中 generalist model 是用所有数据集进行训练的，有15000个输出，也就是每个类别都有一个输出概率。将数据集进行分类则是用Online k-means聚类的方法对每张图片输入generalist model后得到的软标签进行聚类，最终将3%的数据为一组分发给各个specialist，每个小数据集包含一些聚集的图片，也就是generalist认为相近的图片。
在specialist model的训练阶段，模型的参数在初始化的时候是完全复制的generalist中的数值（specialist和generalist的结构是一模一样的），这样可以保留generalist模型的所有知识，然后specialist对分配的数据集进行hard label训练。但是问题是，specialist如果只专注于分配的数据集（只对分配的数据集训练）整个网络很快就会过拟合于分配的数据集上，所以Hinton提出的方法是用一半的时间进行hard label训练，另一半的时间用知识蒸馏的方法学习generalist生成的soft label。这样specialist就是花一半的时间在进行小分类的学习，另一半的时间是在模仿generalist的行为。
整个模型的预测也与往常不同。在做top-1分类的时候分为以下两步：
第一步：将图片输入generalist model 得到输出的概率分布，取概率最大的类别k。
第二步：取出数据集包含类别k的所有specialists，为集合 （各个数据集之间是有类别重合的）。然后求解能使如下公式最小化的概率分布q作为预测分布。

这里的KL是指KL散度（用于刻画两个概率分布之间的差距） 和 分别是测试图片输入generalist 和specialists(m)之后输出的概率分布，累加就是考虑所有属于 集合的specialist的“意见”。

由于Specialist model的训练数据集很小，所以需要训练的时间很短，从传统方法需要的几周时间减少到几天。下图是在训练好generalist模型之后逐个增加specialist进行训练的测试结果：

从图中可以看出，specialist个数的增加使top1准确个数有明显的提高。

本文结合Hinton在2014年发表的论文对知识蒸馏和相关实验做了一个简单的介绍，如今很多模型都用到了知识蒸馏的方法，但知识蒸馏在深度学习中还是非常新的方向，还有非常多的应用场景等待研究。

***隐藏网址***

. arXiv preprint arXiv:1503.02531, 2015.
***隐藏网址***
***隐藏网址***

till和until的区别

till和until的区别为：意思不同、用法不同、侧重点不同。

一、意思不同

1.till：直到，直到...为止。

2.until：到…时，直到…为止。

二、用法不同

1.till：till用作连词用于肯定句时表示“直到…为止”，指某一动作或状态一直持续到till后面的句子所表示的时间为止，这时主句的谓语动词是延续性动词。

2.until：用于否定句时表示“在…以前，直到…才”，这时主句表示的是一种持续的否定状态，否定状态一结束，肯定动作或状态就开始。

三、侧重点不同

1.till：侧重于till表示肯定。

2.until：侧重于until表示否定。

在开机启动项里有个AcroTray-Adobe Acrobat Distiller helper application. 不知道是什么，

AcroTray-Adobe Acrobat Distiller helper application.是Adobe 阅读器和Acrobat产品管理器，用于管理Acrobat产品，该进程是可以禁止开机启动的，在使用Acrobat功能的时候启动即可。

关闭该启动项的方法：

1、首先进入电脑中安装的安全卫士程序，点击“优化加速”页面左下角的“启动项”。

2、然后进入启动项的界面，找到“Adobe 阅读器和Acrobat产品管理器”。

3、其右侧的提示可以看到，显示“可以禁止”的提示，此时点击“禁止启动”的按钮。

4、点击后，原本设置开启开机启动的Adobe 阅读器和Acrobat产品管理器项目就被关闭了，在下次开机就不会自动启动了。

till怎么读

till

英

释义

prep. 直到

conj. 直到...为止copy

n. 冰碛；放钱的抽屉；备用现金

vt. 耕种；犁

vi. 耕种；耕耘

n. (Till)人名；(法百)蒂伊；(匈、德、捷)蒂尔；(英)蒂尔(女子教名Matilda的昵度称)

扩展资料：

until与till的用法归纳

until和till两者都可作介词、连词，一般情况下可以互换使用。

用于肯定句时，主句的动词只用延续性的，它所表示的动作一直延续到till或until表示的时间为止，意为“直到……为止”。

用于否定句时，主句的动词一般是非延续性的，也可以是延续性的，它所表示的动作直到till或until所表示的时间才发生，意为“直到……（才）”。

till的用法和例句

在 学习英语 的过程中，大家会发现，如果你理解错某个单词的意思，就会导致整篇 文章 理解错，所以理解单词的意思十分重要。下面是我给大家带来的till的用法和例句_till的意思及释义，以供大家参考，我们一起来看看吧!

▼ 目 录 ▼

★ till的释 义 ★

★ till的用 法 ★

★ till的短 语 ★

★ till的例 句 ★

▼ till的释义

Till

直到; 爱的誓言; 提尔; (钱箱)抽屉;

till plain

冰碛平原; 冰碛原; 冰碛土平原;

glacial till

冰碛物; 冰河积层; 冰堆物;

basal till

底碛; 底碛土;

flow till

运动冰碛; 冰碛土;

く く く

▼ till的用法

till的用法1：till用作连词用于肯定句时表示“直到…为止”,指某一动作或状态一直持续到till后面的 句子 所表示的时间为止,这时主句的谓语动词是延续性动词。

till的用法2：till用于否定句时表示“在…以前,直到…才”,这时主句表示的是一种持续的否定状态,否定状态一结束,肯定动作或状态就开始。

till的用法3：till引出的从句中,谓语动词常用一般现在时或现在完成时表示将来,一般不用shall, will或would。

till的用法4：如果主句的谓语动词是过去时,那么till引出的从句中的谓语动词可用过去式,也可用“should+动词原形”,前者含有“果然”或“一定”的意思,后者含有“盼望”的意思。

till的用法5：在美式口语中有时用till代替hardly...when结构中的when或so...that结构中的that。

till的用法6：till用作介词用于肯定句时表示“直到…为止”,指某一动作或状态一直持续到till后面的词语所表示的时间为止,这时主句的谓语动词是延续性动词。

till的用法7：till用于否定句时表示“在…以前,直到…才”,这时主句所表示的是一种持续的否定状态,否定状态一结束,肯定动作或状态就开始。

till的用法8：用于“It is not till...that”这一强调句中,意思是“直到…才”。

till的用法9：till也可表示“离某事还有多少时间”“(把日期等)推迟到…”,可与from连用表示“从…延续到…”

く く く

▼ till的 短语

till the cows come home

长时间地, 没完没了地

till kingdom come

永远

till doomsday

直到世界末日, 很长时间, 永远

till death us do part

至死不渝;永不分离

it isn’t over till the fat lady sings

仍有转机

have one’s hand in the till

在本单位行窃;作内贼

do something till one is blue in the face

累死累活白干一场;忙得脸色发紫

ne’er cast a clout till May be out

五月不过;冬衣不脱

with one’s fingers in the till

在本单位行窃;作内贼

with one’s hand in the till

在本单位行窃;作内贼

have one’s fingers in the till

在本单位行窃;作内贼

till now

至今;直到现在;直到如今

till then

直到那时;到那时为止

till death

直到死亡;直至死亡

till field

耕田

く く く

▼ till的例句

1. I picked first all the people who usually were left till last.

我先挑出了所有通常留到最后的人。

2. Lou prattled on about various trivialities till I wanted to scream.

卢就各种芝麻小事唠叨个没完，后来我烦得都想尖叫了。

3. He checked the register. There was money in the till.

他查看了一下收银机的抽屉，里面有钱。

4. She’d been working in her room till a noise had disturbed her.

她一直在房间里工作，直到有声响打扰了她。

5. Alex didn’t read fluently till he was nearly seven.

亚历克斯快到7岁时才能流利地阅读。

6. I’d sooner he didn’t know till I’ve talked to Pete.

在我跟皮特说之前，我宁愿他不知道这件事。

7. I went on competing till I was in my middle forties.

我继续参赛，直到45岁左右。

8. A breakfast will be served to those who last out till dawn!

坚持到天亮的能吃上早餐!

9. You really can’t comment till you know the facts.

知道真相之前，不要发表任何意见。

10. We waited till twelve and we finally got on the plane.

我们一直等到12点才终于上了飞机。

11. Nobody else turned up till a quarter past ten.

直到10点一刻，其他人才露面。

12. We could still make it, but we won’t get there till three.

我们仍然可以赶去，只不过要到3点钟才能到。

13. "Till we meet again, wherever that is," said the chairman.

“再会了,日后再见.”主席说.

14. It’sa bit tricky at first till you get the hang of it.

刚开始有点儿难，掌握窍门后就好了。

15. They slept till the alarm bleeper woke them at four.

他们一直睡到4点钟被寻呼机闹钟叫醒.

く く く

till的用法相关文章：

★ against的用法总结

★ until的用法和例句

★ until的用法总结

★ too的用法和短语例句

★ subscribe的用法和短语例句

★ postpone的用法和例句

★ all的用法和短语例句

★ today的用法和短语例句

★ whistle的用法和短语例句

distil和distill有什么区别

distil和distill在实用是“一毛一样”的！为什么，其实是因为美国人是出了名的懒...这个单词原本只有一个，也就是distill，但由于这个单词本身音标来说两个“l"其实是只发一个”l“的音，而且即使少了一个l基本构造也是合理的，也不会受到影响，所以能懒一点就懒一点的美国人干脆就去掉了一个l，所以这个这个单词只存在于美式英语里头，英国人比较传统和保守的，所以在他们的词典里是没有这个单词的。不过如果是在比较正规的报告或者论文之类的书面文书，那么美国人也会用”distill“而不是”distil“，不然就显得不够严谨了。

翻译并语法解释Sea-water can be made drinkable by distill out the salt.

Sea-water 是主语
can be made是谓语
drinkable是主语补足语
by distilling out the salt是状语 .
是的 其中drinkable作主语补足语，
can be made 是can make的 被动语态 形式 作谓语
本句 主动语态是 we can make sea-water drinkable by distilling out the salt.
其中drinkable是宾补
句子意思
海水通过蒸馏去除盐分后 是能被饮用的

Adobe Acrobat Distiller

Acrobat Distiller是创建PDF文件的执行软件。在启动Distiller 后，用户可以看到一个 Adobe Distiller类似于RIP软件的窗口。 Distiller这一阶段起的作用非常重要，因为每个PostScript输出程序工作时，都有各自的特点。通过Distiller来运行PostScript文件,你可以“预览”.Distiller可以将之转换成PostScript文件的标准形式，使PostScript文件以更可信，更稳定的形式输出。

till怎么读 till的意思

1、till的读音：英

2、n.(大商店中的)交款处，收银台；(现金出纳机的)放钱的抽屉；

3、vt.耕作；犁地；

4、conj./prep.直到；直到...为止；

5、Ill love her till the end of time.我会爱她直到永远。

6、第三人称单数：tills 复数：tills 现在分词：tilling 过去式：tilled 过去分词：tilled