Ⅰ 【技術博客】通過量化知識來解釋知識蒸餾
【技術博客】****通過量化知識來解釋知識蒸餾
知識蒸餾介紹
知識蒸餾(Knowledge Distillation)最早是在2006年由 Bulica 提出的,在2014年 Hinton 對知識蒸餾做了歸納和發展。知識蒸餾主要思想是訓練一個小的網路模型來模仿一個預先訓練好的大型網路或者集成的網路。Hinton 在2015年發表的論文中提出了『softmax temperature』的概念,對 softmax 函數做了改進:
當 T 等於1時就是標準的 softmax 參數,前者比後者具有這樣一個優勢:經過訓練後的原模型,其 softmax 分布包含有一定的知識,真實標簽只能告訴我們,某個圖像樣本是一輛寶馬,不是一輛垃圾車,也不是一顆蘿卜;而帶有溫度參數T的softmax函數可能會告訴我們,它最可能是一輛寶馬,不大可能是一輛垃圾車,但不可能是一顆蘿卜。
Hinton 等人做了三組實驗,大體上驗證了知識蒸餾方法的有效性。 Hinton 等人促進了知識蒸餾的發展並從實驗的角度來驗證了知識蒸餾的有效性,而本篇介紹的論文則提出了一些量化知識的概念來解釋知識蒸餾的成功機理。
該論文為了解釋知識蒸餾的成功機理,提出了三個假設,並根據假設基於可視化的量化標准,提出了三種類型的度量標准來驗證了關於知識蒸餾的三個假設,為解釋知識蒸餾提供了依據。
假設提出
假設1:知識蒸餾使 DNN 可以學習更多的視覺概念。我們將與任務相關的視覺概念和其他概念區分開來,如下圖所示,前景上的視覺概念通常被認為是與任務相關的,而背景上的視覺概念則被認為是與任務無關的。
假設2:知識蒸餾確保了 DNN 易於同時學習各種視覺概念。相比之下基礎網路傾向於順序學習視覺概念,即在不同的 epoch 學習不同的概念。
假設3:知識蒸餾的模型優化方向更加穩定。DNN 在對原始數據進行學習時,通常會在早期嘗試對各種視覺概念進行建模,然後在後期拋棄某些視覺概念;而在知識蒸餾的過程中,教師網路直接引導學生網路瞄準特定視覺概念,沒有明顯的迂迴。
在該文章的研究中,視覺概念被定義為一個圖像區域,如物體的一個部分:翅膀、頭、爪子等。基礎網路被定義為從原始數據中學習的網路。
演算法
在該節,我們給定一個提前訓練好的 DNN 網路(教師網路)和一個經蒸餾形成的另一個 DNN 網路(學生網路),為了解釋知識蒸餾,我們將學生網路與從原始數據中學習生成 DNN 網路相比較,另外我們將任務限制為分類任務來簡化下面的理論分析。
為了驗證假設1,這里定義幾個度量的標准:
這里
和[圖片上傳失敗...(image-dffcd3-1601385590605)]
的圖像區域可以視為有效的視覺概念,b為一個正標量。當括弧內條件滿足時,返回1,否則返回0.
(上圖為視覺概念(visual concepts)的可視化表現,第二列表示了不同圖像每個像素的熵值,在第三列中,具有低熵值的區域被視為視覺概念)
參數會更高。
來測量在視覺概念最多時的學習過程。沒有使用 epoch number 而是使用 weight distance 的原因是後者更好的量化了每個epoch後參數更新的總路徑,因此我們使用平均值[圖片上傳失敗...(image-381693-1601385590604)]
和
標准差[圖片上傳失敗...(image-184659-1601385590604)]
來量化一個 DNN 是否同時學習視覺概念:
[圖片上傳失敗...(image-127b3a-1601385590604)]
平均值[圖片上傳失敗...(image-e1aaea-1601385590604)]
和標准差[圖片上傳失敗...(image-171a50-1601385590604)]
的數值越小,代表 DNN 能夠快速同時地學習各種視覺概念。
(DNN 傾向於在前期學習各種視覺概念,之後主要丟棄與任務無關的概念)
結論
該文章從對 DNN 的知識進行量化的角度來解釋了知識蒸餾的成功。提出了三種類型的度量標准來驗證分類場景中的三種假設,也就是相對於從原始數據進行學習,知識蒸餾可以確保 DNN 學習更多與任務相關的概念,學習更少與任務無關的概念,具有更高的學習速度,並以更少的彎路進行優化。
參考文獻
[1]Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015.
[2]Cheng X , Rao Z , Chen Y , et al. Explaining Knowledge Distillation by Quantifying the Knowledge[J]. 2020.
Ⅱ 關於化學書上蒸餾的問題~
你要看到來實驗裝置才能明自白..光想想不明白的..
蒸餾就是把不同的沸點的物質加以區分開..
用酒精燈在蒸餾瓶下面燒,低沸點易揮發的物質,就先氣化通過瓶口進入冷凝管(就是那根長長的橫著的玻璃管)了,冷凝管的口斜著向右下的,在冷凝管在水(圖上那兩根皮管是通冷卻水的)的冷卻下,蒸汽冷凝成液體,順著冷凝管流到邊上的收集瓶(就是圖片上最右邊的三角瓶)里去了..
這樣就把低沸點的和高沸點不易揮發的物質分開了..
既然分開了,易揮發的和不易揮發的想除掉哪一個都可以..
Ⅲ 鹽水蒸餾兩個方案
(1)如果只保留食鹽,那麼直接用加熱食鹽水蒸發掉水,,剩下的就是食鹽版了;或者權降低溫度,使鹽的溶解度降低,鹽水就進入過飽和狀態,就可以從鹽水中析出鹽晶(2)如果水要保留下來,用蒸餾的方法分離出食鹽和水。
蒸餾法海水淡化的實驗過程
蒸餾法
蒸餾法雖然是一種古老的方法,但由於技術不斷地改進與發展,該法至今仍占統治地位。蒸餾淡化過程的實質就是水蒸氣的形成過程,其原旦如同海水受熱蒸發形成雲,雲在一定條件下遇冷形成雨,而雨是不帶的鹹味的。根據設備蒸餾法、蒸汽壓縮蒸餾法、多級閃急蒸餾法等。
反滲透法
通常又稱超過濾法,是1953年才開始採用的一種膜分離淡化法。該法是利用只允許溶劑透過、不允許溶質透過的半透膜,將海水與淡水分隔開的。在通常情況下,淡水通過半透膜擴散到海水一側,從而使海水一側的液面逐升高,直至一定的高度才停止,這個過程為滲透。此時,海水一側高出的水柱靜壓稱為滲透壓。如果對海水一側施加一個大於海水滲透壓的外壓,那麼海水中的純水將反滲透到淡水中。反滲透法的最大優點是節能。它的能耗僅為電滲析法的1/2,蒸餾法的1/40。反滲透海水淡化技術發展很快,工程造價和運行成本持續降低,主要發展趨勢為降低反滲透膜的操作壓力,提高反滲透系統回收率,廉價高效預處理技術,增強系統抗污染能力等。
太陽能法
人類早期利用太陽能進行海水淡化,主要是利用太陽能進行蒸餾,所以早期的太陽能海水淡化裝置一般都稱為太陽能蒸餾器。蒸餾系統被動式太陽能蒸餾系統的例子就是盤式太陽能蒸餾器,人們對它的應用有了近150年的歷史。由於它結構簡單、取材方便,至今仍被廣泛採用。目前對盤式太陽能蒸餾器的研究主要集中於材料的選取、各種熱性能的改善以及將它與各類太陽能集熱器配合使用上。與傳統動力源和熱源相比,太陽能具有安全、環保等優點,將太陽能採集與脫鹽工藝兩個系統結合是一種可持續發展的海水淡化技術。太陽能海水淡化技術由於不消耗常規能源、無污染、所得淡水純度高等優點而逐漸受到人們重視。
蒸餾法使海水淡化怎麼用鹽水設計實驗
取一燒杯,在燒杯中配置一定濃度的鹽水,將鹽水轉移到燒瓶中,組裝好蒸餾裝置進行蒸餾,接收餾出液。用硝酸銀溶液檢測餾出液是否含有氯離子。
Ⅳ 蒸餾的原理是什麼
塔頂采出率D/F=(xF-xw)/(xD-xw)增大,xD必須降低(不論xw如何變化,但變化的幅度不大,或者這樣理解。分離效果極佳情況,塔底不含易揮發組分xw=0,D增大,xD必須降低)。
xw只有3種可能:
增大、降低、不變;
由於R不變,精餾段操作線平行下移,與q線的交點下移,關鍵看提餾段操作線斜率的變化。
因為R不變,D變大所以L=RD變大,假設泡點進料 L'=L+F ,V'=V=(R+1)D, 所以L'/V'=L/V'+F/V' =R/(R+1)+F/(R+1)D。
由此可以看出,D增大,L'/V'是變小的,原(Xw,0)點向左邊移動,Xw變小。
(4)蒸餾的兩個假設擴展閱讀:
操作時要注意
(1)在蒸餾燒瓶中放少量碎瓷片,防止液體暴沸。
(2)溫度計水銀球的位置應與支管口下端位於同一水平線上。
(3)蒸餾燒瓶中所盛放液體不能超過其容積的2/3,也不能少於1/3。
(4)冷凝管中冷卻水從下口進,上口出。
(5)加熱溫度不能超過混合物中沸點最高物質的沸點。
注意事項注意事項注意事項注意事項 在蒸餾操作中,應當注意以下幾點:
(1) 控制好加熱溫度。如果採用加熱浴,加熱浴的溫度應當比蒸餾液體的沸點高出若干度,否則難以將被蒸餾物蒸餾出來。加熱浴溫度比蒸餾液體沸點高出的越多,蒸餾速度越快。
但是,加熱浴的溫度也不能過高,否則會導致蒸餾瓶和冷凝器上部的蒸氣壓超過大氣壓,有可能產生事故,特別是在蒸餾低沸點物質時尤其需注意。
一般地,加熱浴的溫度不能比蒸餾物質的沸點高出30℃。整個蒸餾過程要隨時添加浴液,以保持浴液液面超過瓶中的液面至少一公分。
(2) 蒸餾高沸點物質時,由於易被冷凝,往往蒸氣未到達蒸餾燒瓶的側管處即已經被冷凝而滴回蒸餾瓶中。因此,應選用短頸蒸餾瓶或者採取其它保溫措施等,保證蒸餾順利進行。
(3) 蒸餾之前,必須了解被蒸餾的物質及其雜質的沸點和飽和蒸氣壓,以決定何時(即在什麼溫度時)收集餾分。
Ⅳ 減壓蒸餾詳細資料大全
減壓蒸餾(又稱真空蒸餾)是分離和提純化合物的一種重要方法,尤其適用於高沸點物質和那些在常壓蒸餾時未達到沸點就已受熱分解、氧化或聚合的化合物的分離和提純。
Ⅵ 蒸餾的過程是怎樣的
蒸餾
distillation
利用液體混合物中各組分揮發度的差別,使液體混合物部分汽化並隨之使蒸氣部分冷凝,從而實現其所含組分的分離。是一種屬於傳質分離的單元操作。廣泛應用於煉油、化工、輕工等領域。
其原理以分離雙組分混合液為例。將料液加熱使它部分汽化,易揮發組分在蒸氣中得到增濃,難揮發組分在剩餘液中也得到增濃,這在一定程度上實現了兩組分的分離。兩組分的揮發能力相差越大,則上述的增濃程度也越大。在工業精餾設備中,使部分汽化的液相與部分冷凝的汽相直接接觸,以進行汽液相際傳質,結果是汽相中的難揮發組分部分轉入液相,液相中的易揮發組分部分轉入汽相,也即同時實現了液相的部分汽化和汽相的部分冷凝。
工業蒸餾的方法有:①閃急蒸餾。將液體混合物加熱後經受一次部分汽化的分離操作。②簡單蒸餾。使混合液逐漸汽化並使蒸氣及時冷凝以分段收集的分離操作。③精餾。藉助迴流來實現高純度和高回收率的分離操作 ,應用最廣泛。對於各組分揮發度相等或相近的混合液,為了增加各組分間的相對揮發度,可以在精餾分離時添加溶劑或鹽類,這類分離操作稱為特殊蒸餾,其中包括恆沸精餾、萃取精餾和加鹽精餾;還有在精餾時混合液各組分之間發生化學反應的,稱為反應精餾。
2.3.1 基本原理
液體的分子由於分子運動有從表面溢出的傾向。這種傾向隨著溫度的升高而增大。如果把液體置於密閉的真空體系中,液體分子繼續不斷地溢出而在液面上部形成蒸氣,最後使得分子由液體逸出的速度與分子由蒸氣中回到液體的速度相等,蒸氣保持一定的壓力。此時液面上的蒸氣達到飽和,稱為飽和蒸氣,它對液面所施的壓力稱為飽和蒸氣壓。實驗證明,液體的飽和蒸氣壓只與溫度有關,即液體在一定溫度下具有一定的蒸氣壓。這是指液體與它的蒸氣平衡時的壓力,與體系中液體和蒸氣的絕對量無關。
將液體加熱,它的蒸氣壓就隨著溫度升高而增大,當液體的蒸氣壓增大到與外界施於液面的總壓力(通常是大氣壓力)相等時,就有大量氣泡從液體內部逸出,即液體沸騰,這時的溫度稱為液體的沸點。顯然沸點與所受外界壓力的大小有關。通常所說的沸點是在0.1MPa壓力下液體的沸騰溫度。例如水的沸點為100℃,即是指在0.1MPa壓力下,水在100℃時沸騰。在其它壓力下的沸點應註明壓力。例如在85.3KPa時水在95℃沸騰,這時水的沸點可以表示為95℃/85.3KPa。
將液體加熱至沸騰,使液體變為蒸氣,然後使蒸氣冷卻再凝結為液體,這兩個過程的聯合操作稱為蒸餾。很明顯,蒸餾可將易揮發和不易揮發的物質分離開來,也可將沸點不同的液體混合物分離開來。但液體混合物各組分的沸點必須相差很大(至少30℃以上)才能得到較好的分離效果。在常壓下進行蒸餾時,由於大氣壓往往不是恰好為0.1MPa,因而嚴格說來,應對觀察到的沸點加上校正值,但由於偏差一般都很小,即使大氣壓相差2.7KPa,這項校正值也不過±1℃左右,因此可以忽略不計。
將盛有液體的燒瓶放在石棉網上,下面用煤氣燈加熱,在液體底部和玻璃受熱的接觸面上就有蒸氣的氣泡形成。溶解在液體內的空氣或以薄膜形式吸附在瓶壁上的空氣有助於這種氣泡的形成,玻璃的粗糙面也起促進作用。這樣的小氣泡(稱為氣化中心)即可作為大的蒸氣氣泡的核心。在沸點時,液體釋放大量蒸氣至小氣泡中,待氣泡的總壓力增加到超過大氣壓,並足夠克服由於液柱所產生的壓力時,蒸氣的氣泡就上升逸出液面。因此,假如在液體中有許多小空氣或其它的氣化中心時,液體就可平穩地沸騰,如果液體中幾乎不存在空氣,瓶壁又非常潔凈光滑,形成氣泡就非常困難。這樣加熱時,液體的溫度可能上升到超過沸點很多而不沸騰,這種現象稱為「過熱」。一旦有一個氣泡形成,由於液體在此溫度時的蒸氣壓遠遠超過大氣壓和液柱壓力之和,因此上升的氣泡增大得非常快,甚至將液體沖溢出瓶外,這種不正常沸騰的現象稱為「暴沸」。因此在加熱前應加入助沸物以期引入氣化中心,保證沸騰平穩。助沸物一般是表面疏鬆多孔、吸附有空氣的物體,如碎瓷片、沸石等。另外也可用幾根一端封閉的毛細管以引入氣化中心(注意毛細管有足夠的長度,使其上端可擱在蒸餾瓶的頸部,開口的一端朝下)。在任何情況下,切忌將助沸物加至已受熱接近沸騰的液體中,否則常因突然放出大量蒸氣而將大量液體從蒸餾瓶口噴出造成危險。如果加熱前忘了加入助沸物,補加時必須先移去熱源,待加熱液體冷至沸點以下後方可加入。如果沸騰中途停止過,則在重新加熱前應加入新的助沸物。因為起初加入的助沸物在加熱時逐出了部分空氣,再冷卻時吸附了液體,因而可能已經失效。另外,如果採用浴液間接加熱,保持浴溫不要超過蒸餾液沸點20ºC,這種加熱方式不但可以大大減少瓶內蒸餾液中各部分之間的溫差,而且可使蒸氣的氣泡不單從燒瓶的底部上升,也可沿著液體的邊沿上升,因而可大大減少過熱的可能。
純粹的液體有機化合物在一定的壓力下具有一定的沸點,但是具有固定沸點的液體不一定都是純粹的化合物,因為某些有機化合物常和其它組分形成二元或三元共沸混和物,它們也有一定的沸點。不純物質的沸點則要取決於雜質的物理性質以及它和純物質間的相互作用。假如雜質是不揮發的,則溶液的沸點比純物質的沸點略有提高(但在蒸餾時,實際上測量的並不是不純溶液的沸點,而是逸出蒸氣與其冷凝平衡時的溫度,即是餾出液的沸點而不是瓶中蒸餾液的沸點)。若雜質是揮發性的,則蒸餾時液體的沸點會逐漸升高或者由於兩種或多種物質組成了共沸點混合物,在蒸餾過程中溫度可保持不變,停留在某一范圍內。因此,沸點的恆定,並不意味著它是純粹的化合物。
蒸餾沸點差別較大的混合液體時,沸點較低者先蒸出,沸點較高的隨後蒸出,不揮發的留在蒸餾器內,這樣,可達到分離和提純的目的。故蒸餾是分離和提純液態化合物常用的方法之一,是重要的基本操作,必須熟練掌握。但在蒸餾沸點比較接近的混合物時,各種物質的蒸氣將同時蒸出,只不過低沸點的多一些,故難於達到分離和提純的目的,只好藉助於分餾。純液態化合物在蒸餾過程中沸程范圍很小(0.5~1℃)。所以,蒸餾可以利用來測定沸點。用蒸餾法測定沸點的方法為常量法,此法樣品用量較大,要10 mL以上,若樣品不多時,應採用微量法。
蒸餾操作是化學實驗中常用的實驗技術,一般應用於下列幾方面:(1)分離液體混合物,僅對混合物中各成分的沸點有較大的差別時才能達到較有效的分離;(2)測定純化合物的沸點;(3)提純,通過蒸餾含有少量雜質的物質,提高其純度;(4)回收溶劑,或蒸出部分溶劑以濃縮溶液。
2.蒸餾操作
加料:將待蒸餾液通過玻璃漏斗小心倒入蒸餾瓶中,要注意不使液體從支管流出。加入幾粒助沸物,安好溫度計。再一次檢查儀器的各部分連接是否緊密和妥善。
加熱:用水冷凝管時,先由冷凝管下口緩緩通入冷水,自上口流出引至水槽中,然後開始加熱。加熱時可以看見蒸餾瓶中的液體逐漸沸騰,蒸氣逐漸上升。溫度計的讀數也略有上升。當蒸氣的頂端到達溫度計水銀球部位時,溫度計讀數就急劇上升。這時應適當調小煤氣燈的火焰或降低加熱電爐或電熱套的電壓,使加熱速度略為減慢,蒸氣頂端停留在原處,使瓶頸上部和溫度計受熱,讓水銀球上液滴和蒸氣溫度達到平衡。然後再稍稍加大火焰,進行蒸餾。控制加熱溫度,調節蒸餾速度,通常以每秒1~2滴為宜。在整個蒸餾過程中,應使溫度計水銀球上常有被冷凝的液滴。此時的溫度即為液體與蒸氣平衡時的溫度,溫度計的讀數就是液體(餾出物)的沸點。蒸餾時加熱的火焰不能太大,否則會在蒸餾瓶的頸部造成過熱現象,使一部分液體的蒸氣直接受到火焰的熱量,這樣由溫度計讀得的沸點就會偏高;另一方面,蒸餾也不能進行得太慢,否則由於溫度計的水銀球不能被餾出液蒸氣充分浸潤使溫度計上所讀得的沸點偏低或不規范。
觀察沸點及收集餾液:進行蒸餾前,至少要准備兩個接受瓶。因為在達到預期物質的沸點之前,帶有沸點較低的液體先蒸出。這部分餾液稱為「前餾分」或「餾頭」。前餾分蒸完,溫度趨於穩定後,蒸出的就是較純的物質,這時應更換一個潔凈乾燥的接受瓶接受,記下這部分液體開始餾出時和最後一滴時溫度計的讀數,即是該餾分的沸程(沸點范圍)。一般液體中或多或少地含有一些高沸點雜質,在所需要的餾分蒸出後,若再繼續升高加熱溫度,溫度計的讀數會顯著升高,若維持原來的加熱溫度,就不會再有餾液蒸出,溫度會突然下降。這時就應停止蒸餾。即使雜質含量極少,也不要蒸干,以免蒸餾瓶破裂及發生其他意外事故。
蒸餾完畢,應先停止加熱,然後停止通水,拆下儀器。拆除儀器的順序和裝配的順序相反,先取下接受器,然後拆下尾接管、冷凝管、蒸餾頭和蒸餾瓶等。
Ⅶ 在精餾計算中,什麼叫理論板恆摩爾流假定成立的條件是什麼
理論塔板是氣液在塔板上充分接觸,有足夠長的時間進行傳熱傳質,當氣體離開塔板上升時與離開塔板下降的液體已達平衡。
由於精餾過程是涉及傳熱、傳質的復雜過程,影響因素眾多。為處理問題的方便作如下假設,這些就是計算的前提條件:
1、塔身對外界是絕熱的,即沒有熱損失。
2、迴流液由塔頂全凝器供給,其組成與塔頂產品相同。
3、塔內上升蒸氣由再沸器加熱餾殘液使之部分氣化送入塔內而得到。
4、恆摩爾氣化在精餾操作時,在精餾段內,每層塔板上升的蒸氣的摩爾流量都是相等的。
(7)蒸餾的兩個假設擴展閱讀:
注意事項:
1、在蒸餾燒瓶中放少量碎瓷片,防止液體暴沸。
2、溫度計水銀球的位置應與支管口下端位於同一水平線上。
3、蒸餾燒瓶中所盛放液體不能超過其容積的2/3,也不能少於1/3。
4、冷凝管中冷卻水從下口進,上口出。
5、加熱溫度不能超過混合物中沸點最高物質的沸點。