编码不同的采集很难搞，根本整理不了？？？

1. # SupeSite Dump
   
2. # Version: SupeSite 6.0Final
   
3. # Time: 2008-10-13 20:01:10
   
4. # From: 中国钣金联盟-钣金门户网 (http://www.banjin.org)
   
5. #
   
6. # This file was BASE64 encoded
   
7. #
   
8. # SupeSite: http://www.supesite.com
   
9. # Please visit our website for latest news about SupeSite
   
10. # --------------------------------------------------------
    
11. 
    
12. 
    
13. YTo1MDp7czo3OiJyb2JvdGlkIjtzOjE6IjkiO3M6NDoibmFtZS
    
14. I7czoxODoiaWZlbme5+rzKLcW3w8C12Mf4IjtzOjM6InVpZCI7
    
15. czoxOiIxIjtzOjg6ImRhdGVsaW5lIjtzOjEwOiIxMjIzODk5Mj
    
16. U5IjtzOjg6Imxhc3R0aW1lIjtzOjEwOiIxMjIzMjk2NTgzIjtz
    
17. Ojg6InJvYm90bnVtIjtzOjE6IjIiO3M6MTE6Imxpc3R1cmx0eX
    
18. BlIjtzOjM6Im5ldyI7czo3OiJsaXN0dXJsIjtzOjk4OiJhOjI6
    
19. e3M6NjoibWFudWFsIjthOjE6e2k6MDtzOjQzOiJodHRwOi8vbm
    
20. V3cy5pZmVuZy5jb20vd29ybGQvMy9kb2NsaXN0LnNodG1sIjt9
    
21. czo0OiJhdXRvIjtzOjA6IiI7fSI7czoxMzoibGlzdHBhZ2VzdG
    
22. FydCI7czoxOiIwIjtzOjExOiJsaXN0cGFnZWVuZCI7czoxOiIw
    
23. IjtzOjY6ImFsbG51bSI7czozOiIxMDAiO3M6NjoicGVybnVtIj
    
24. tzOjE6IjEiO3M6Nzoic2F2ZXBpYyI7czoxOiIxIjtzOjY6ImVu
    
25. Y29kZSI7czowOiIiO3M6MTM6InBpY3VybGxpbmtwcmUiO3M6MD
    
26. oiIjtzOjk6InNhdmVmbGFzaCI7czoxOiIxIjtzOjE0OiJzdWJq
    
27. ZWN0dXJscnVsZSI7czo1MzoiPGRpdiBjbGFzcz0ibGJfY29udG
    
28. FpbiBsYl9jb250YWluX2dhbzAxIj5bbGlzdF08L2Rpdj4iO3M6
    
29. MTg6InN1YmplY3R1cmxsaW5rcnVsZSI7czo4NToiPGxpPio8aD
    
30. E+PGEgY2xhc3M9Inp0X2xiXzE0IiB0YXJnZXQ9Il9ibGFuayIg
    
31. aHJlZj0iW3VybF0iPio8L2E+PC9oMT4qPGgyPio8L2gyPio8L2
    
32. xpPiI7czoxNzoic3ViamVjdHVybGxpbmtwcmUiO3M6MDoiIjtz
    
33. OjExOiJzdWJqZWN0cnVsZSI7czozOToiPGRpdiBpZD0iYXJ0aW
    
34. NhbF90b3BpYyI+W3N1YmplY3RdPC9kaXY+IjtzOjEzOiJzdWJq
    
35. ZWN0ZmlsdGVyIjtzOjA6IiI7czoxNDoic3ViamVjdHJlcGxhY2
    
36. UiO3M6MDoiIjtzOjE2OiJzdWJqZWN0cmVwbGFjZXRvIjtzOjA6
    
37. IiI7czoxMDoic3ViamVjdGtleSI7czowOiIiO3M6MTg6InN1Ym
    
38. plY3RhbGxvd3JlcGVhdCI7czoxOiIwIjtzOjEyOiJkYXRlbGlu
    
39. ZXJ1bGUiO3M6MDoiIjtzOjg6ImZyb21ydWxlIjtzOjM3OiI8c3
    
40. BhbiBpZD0ic291cmNlX3BsYWNlIj5bZnJvbV08L3NwYW4+Ijtz
    
41. OjEwOiJhdXRob3JydWxlIjtzOjA6IiI7czoxMToibWVzc2FnZX
    
42. J1bGUiO3M6MzY6IjxESVYgaWQ9YXJ0aWNhbF9yZWFsPlttZXNz
    
43. YWdlXTwvZGl2PiI7czoxMzoibWVzc2FnZWZpbHRlciI7czowOi
    
44. IiO3M6MTU6Im1lc3NhZ2VwYWdldHlwZSI7czo0OiJwYWdlIjtz
    
45. OjE1OiJtZXNzYWdlcGFnZXJ1bGUiO3M6MDoiIjtzOjE4OiJtZX
    
46. NzYWdlcGFnZXVybHJ1bGUiO3M6MDoiIjtzOjIxOiJtZXNzYWdl
    
47. cGFnZXVybGxpbmtwcmUiO3M6MDoiIjtzOjE0OiJtZXNzYWdlcm
    
48. VwbGFjZSI7czowOiIiO3M6MTY6Im1lc3NhZ2VyZXBsYWNldG8i
    
49. O3M6MDoiIjtzOjExOiJpbXBvcnRjYXRpZCI7czoxOiIwIjtzOj
    
50. EyOiJyZXZlcnNlb3JkZXIiO3M6MToiMSI7czo4OiJhdXRvdHlw
    
51. ZSI7czoxOiIxIjtzOjExOiJ3aWxkY2FyZGxlbiI7czoxOiIwIj
    
52. tzOjIwOiJzdWJqZWN0dXJsbGlua2NhbmNlbCI7czowOiIiO3M6
    
53. MjA6InN1YmplY3R1cmxsaW5rZmlsdGVyIjtzOjA6IiI7czoxNj
    
54. oic3ViamVjdHVybGxpbmtwZiI7czowOiIiO3M6MTY6InN1Ympl
    
55. Y3RrZXljYW5jZWwiO3M6MDoiIjtzOjEwOiJtZXNzYWdla2V5Ij
    
56. tzOjA6IiI7czoxNjoibWVzc2FnZWtleWNhbmNlbCI7czowOiIi
    
57. O3M6MTM6Im1lc3NhZ2Vmb3JtYXQiO3M6MToiMSI7czoyMDoibW
    
58. Vzc2FnZXBhZ2V1cmxsaW5rcGYiO3M6MDoiIjtzOjc6InVpZHJ1
    
59. bGUiO3M6MDoiIjtzOjc6InZlcnNpb24iO3M6ODoiNi4wRmluYW
    
60. wiO30=

复制代码

上面是代码
源网页是utf的

目前无法采集编码不一致的页面~

可以采集的.关键要看你服务器是否支持编码转换吧.

我以前就用GBK采集过youku
.youku是UTF-8拜纳姆.