python爬取之json、pickle与shelve库的深入讲解

前言在使用Python进行网络编程或者爬取一些自己感兴趣的东西时，总避免不了进行一些数据传输、存取等问题，Python的文件对象以及其他扩展库，已经解决了很多关于文本和二进制数据存取的问题，比如网页内容、图片&音视频等多媒体内容，但这些数据基本是最终的数据形态存储，有没有办法可以存储Python本身的一些对象数据，后续在使用的时候，再直接加载为Python对象即可，本文便讲解下常用的Python对象数据存取、传输解决方案，即pickle、shelve、json。内容比较基础，也比较简单，但也是必须好好掌握的知识点，因为其潜在的应用场景太广一、picklepickle库提供了一种将Python对象本地化存储的解决方案，后续还可以从这些文件内重新加载，加载后又是Python标准的对象数据，可以用Python直接使用。