unicode字元過濾

1. 鎬庝箞鍘繪帀鍚鏈塽nicode鐨勫瓧絎

鍘繪帀鍚鏈塽nicode鐨勫瓧絎﹀彲浠ヤ嬌鐢ㄧ紪紼嬭璦涓鐨勫瓧絎︿覆澶勭悊鍑芥暟鎴栨ｅ垯琛ㄨ揪寮忚繘琛岃繃婊ゅ拰鏇挎崲鎿嶄綔銆倁nicode鏄涓縐嶅瓧絎︾紪鐮佹爣鍑嗭紝瀹冨寘鍚浜嗕笘鐣屼笂鍑犱箮鎵鏈夌殑瀛楃︼紝鍖呮嫭鍚勭嶈璦鐨勫瓧姣嶃佹爣鐐圭﹀彿銆佺﹀彿銆佽〃鎯呯﹀彿絳夈傛湁鏃跺欙紝鎴戜滑鍙鑳介渶瑕佷粠鏂囨湰涓鍘繪帀鍖呭惈unicode瀛楃︾殑閮ㄥ垎錛屽彲浠ラ氳繃浠ヤ笅姝ラよ繘琛屾搷浣滐細
1銆佷嬌鐢ㄧ紪紼嬭璦涓鐨勫瓧絎︿覆澶勭悊鍑芥暟錛氬ぇ澶氭暟緙栫▼璇璦閮芥彁渚涗簡澶勭悊瀛楃︿覆鐨勫嚱鏁幫紝姣斿侾ython鐨剅eplace()銆丣avaScript鐨剅eplace()絳夈備綘鍙浠ヤ嬌鐢ㄨ繖浜涘嚱鏁版潵鏌ユ壘騫舵浛鎹㈠寘鍚玼nicode瀛楃︾殑閮ㄥ垎銆備緥濡傦紝鍙浠ヤ嬌鐢╮eplace()鍑芥暟灝嗘枃鏈涓鐨剈nicode瀛楃︽浛鎹涓虹┖瀛楃︿覆錛屽疄鐜板幓闄ゆ搷浣溿
2銆佷嬌鐢ㄦｅ垯琛ㄨ揪寮忚繘琛岃繃婊ゅ拰鏇挎崲錛氭ｅ垯琛ㄨ揪寮忔槸涓縐嶅己澶х殑妯″紡鍖歸厤宸ュ叿錛屽彲浠ュ府鍔╂垜浠鏇寸伒媧誨湴榪涜屽瓧絎︿覆澶勭悊銆傚彲浠ヤ嬌鐢ㄦｅ垯琛ㄨ揪寮忔潵鍖歸厤鍖呭惈unicode瀛楃︾殑閮ㄥ垎錛屽苟灝嗗叾鏇挎崲涓虹┖瀛楃︿覆鎴栧叾浠栧瓧絎︺備笉鍚岀殑緙栫▼璇璦瀵規ｅ垯琛ㄨ揪寮忕殑鏀鎸佺▼搴﹀拰璇娉曟湁鎵涓嶅悓錛屽彲浠ユ牴鎹鍏蜂綋鐨勭紪紼嬭璦鏂囨。鏉ュ︿範鍜屼嬌鐢ㄦｅ垯琛ㄨ揪寮忋

2. 如何避免fastjson對於unicode碼的\uxxxx格式中\進行特殊字元過濾

System.out.println(JSON.toJSONString(1", SerializerFeature.BrowserCompatible));
System.out.println(JSON.toJSONString("\u4E2D\u56FD", SerializerFeature.BrowserCompatible));

3. php中數據過濾的問題

我來解釋一下吧
preg_replace('/[\\x00-\\x08\\x0B\\x0C\\x0E-\\x1F]/','',$string);

去掉控制字元，你google一下ascii table就知道了，php裡面 - 代表范圍，比如\x00-\x08指的是ASCII代碼在\x00到\x08范圍的字元，\x0A和\x0D代表回車換行，所以沒包含在這個裡面，否則直接\x00-\x1F了，

$string = str_replace(array("\0","%00","\r"),'',$string);
\0表示ASCII 0x00的字元，通常作為字元串結束標志

$string = preg_replace("/&(?!(#[0-9]+|[a-z]+);)/si",'&',$string);

我們知道HTML裡面可以用&#xxx;來對一些字元進行編碼，比如 (空格), ߷ Unicode字元等，A(?!B) 表示的是A後面不是B,所以作者想保留 ߷類似的 HTML編碼字元，去掉其他的問題字元，比如 &123; &#nbsp;

str_replace(array("%3C",'<'),'<',$string);

第一個'<'多餘吧，%3C是編碼以後的 <, 一般用在URL編碼里

str_replace(array("%3E",'>'),'>',$string);

str_replace(array('"',"'","\t",' '),array('"',"'",'',''),$string);

略過

有問題再追問

4. 一串英文字元中的不可見字元如何過濾掉

Excel 使用CLEAN清除不可見字元或符號。

CLEAN 函數說明

刪除文本中不能列印的字元。對從其他應用程序中輸入的文本使用 CLEAN 函數，將刪除其中含有的當前操作系統無法列印的字元。例如，可以刪除通常出現在數據文件頭部或尾部、無法列印的低級計算機代碼。

重要 CLEAN 函數被設計為刪除文本中 7 位 ASCII 碼的前 32 個非列印字元（值為 0 到 31）。在 Unicode中，有附加的非列印字元（值為 127、129、141、143、144 和 157）。CLEAN 函數自身不刪除這些附加的非列印字元。有關如何從文本中刪除這些附加的非列印字元的示例，請參閱刪除文本中的空格和非列印字元。

5. 榪欐槸浠涔堜唬鐮侊紵

榪欑嶇紪鐮佹槸html鎴杧ml涓鏍囧噯鐨勫箄nicode瀛楃︾殑杞涔夊啓娉曘
鎵涓鋸樹貢鐮佲欑殑紜鏄痷nicode緙栫爜鐨勫瓧絎︽枃鏈
鐧懼害鎼滅儲鏃剁湅鍒扮殑鎯呭喌鏄鐖鉶閲囬泦鐨勬暟鎹錛屽彲鑳借繃婊ゆ帀鍏朵腑鐨"#"瀛楃︼紝
鐪嬬綉欏墊簮鐮佸彲浠ュ彂鐜幫紝鏁版嵁浠嶆槸[&#X鏁板瓧]榪欑嶅艦寮忎繚瀛樼殑銆
X浠ｈ〃hex鍗佸叚榪涘埗
4浣嶇殑鏁板瓧浠ｈ〃unicode鐨勭爜浣嶅箋

鍏跺唴瀹瑰拰鎵撳紑鐨勯〉闈涓鑷達紝浠嬬粛鍖葷枟鏂歸潰鐨勩