- Python 3 爬虫、数据清洗与可视化实战(第2版)
- 零一
- 840字
- 2020-08-27 11:26:25
3.3 存储数据到MongoDB
MongoDB是一个基于分布式文件存储的数据库,由C++语言编写,旨在为Web应用提供可扩展的高性能数据存储解决方案。
MongoDB是一款介于关系数据库和非关系数据库之间的产品,它在非关系数据库中功能最丰富,最像关系数据库。
3.3.1 下载并安装MongoDB
1.下载MongoDB
到MongoDB的官网下载MongoDB即可。
2.配置本地MongoDB
MongoDB每次启动时都需要在CMD中进行配置,找到安装目录下的bin文件夹路径,如图3-11所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_20.jpg?sign=1739223050-Lr3ZgJzhpkK4Jv907ZPr7IUzgURI9UxT-0-0449db7364f21c48c9fa849185a01ef0)
图3-11
由CMD进入以下路径:
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_21.jpg?sign=1739223050-uepUXS41LG4H3bLHXHya9icL43WNe7yr-0-1f559d40f9996439cf574f396cba1b99)
配置数据库路径,配置前要先在C盘中新建文件夹,代码如下。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_22.jpg?sign=1739223050-n89dKNvjKye9ZsjSZVHidZKssAyKVcX7-0-5d569e8de40a96661a6b46e719922291)
代码运行结果如下所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_23.jpg?sign=1739223050-cwTHTMXtLHEqDg8kqUlOum35QB2wdBH5-0-7d18eb3366adf804016459725d03e930)
再打开一个CMD,进入MongoDB确认数据库已经启动,进入bin路径,如下所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_24.jpg?sign=1739223050-bcH9oXWx77wTKTTplWnhVEODBYt1g8c6-0-b789bf8c2d353f2c12e5e6571c2de1cd)
输入“mongo”连接数据库,显示“>”就代表MongoDB已经正常启动,如下所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_25.jpg?sign=1739223050-BH90rEN7lCFJXvNe0AhNfp0HMbKZ5KFc-0-9c87d2e02aeeaf42edcafcd7dd4828d9)
3.3.2 在PyCharm中安装Mongo Plugin
在PyCharm中,依次执行“File”g“Settings”g“Plugins”→“Browse Repositories”命令,输入“mongo”,然后选择“Mongo Plugin”,如图3-12和图3-13所示。
安装好后重新启动PyCharm,就可以在右侧看到Mongo Explorer。
如果没有这个窗口,则可以将鼠标光标停留在左下角的图标上,然后在自动弹出的菜单中选择“Mongo Explorer”命令,如图3-14所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_26.jpg?sign=1739223050-Efcz1XCgL4R3klKjs4801WnEiXdnZUVu-0-f29942a7df3f872e01b9b38f9a2db0d4)
图3-12
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_27.jpg?sign=1739223050-q7XLotWJKbD0VZYZxYN4XSecF9s8saab-0-1b16c5abbf42a9dfdbbd63f1b95cc6aa)
图3-13
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_28.jpg?sign=1739223050-V1l0elHZmkBI4GqcF0wE4Jf3f2nWtsNb-0-25a8fc8f9b266949f83d5973932e00a5)
图3-14
接下来在Mongo Explorer窗口中单击设置按钮,创建连接(通过PyCharm File菜单中的Settings也可以设置),如图3-15所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_29.jpg?sign=1739223050-vB0XcyNPUbv3Cp8ruhFt688VyTzRF44D-0-d7f6f0d6cc55c572db4354240b142bdd)
图3-15
在Mongo Servers设置窗口中单击左侧的加号按钮(addServer),如图3-16所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_30.jpg?sign=1739223050-xbVs1SPi6oxaOQBfQYoiVOmAQn144QIa-0-f9d20e4961bb12d4a2879493a8a50239)
图3-16
输入连接名,单击“Test Connection”(测试连接)按钮,当提示信息为“Connection test successful”时表示连接正常,然后单击“OK”按钮保存设置即可,如图3-17所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_31.jpg?sign=1739223050-M3hOyKPOiZM6LTlfyj1lhKKnC5kFM4ej-0-f8a39b7a478ca4fe5a9cb5afe3eee268)
图3-17
3.3.3 将数据存入MongoDB中
下面尝试将获取的数据存入MongoDB中,首先输入以下代码。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_32.jpg?sign=1739223050-4AoUHANbWlFQlegWkaBiR9EttIOSALSW-0-42683fce263d51f519f133c7e1cb378f)
运行后双击连接,可以看到名为weather的数据库,如图3-18所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_33.jpg?sign=1739223050-ra0q6AaC8P99IVuNWZFnaU5U9U7cxg4B-0-b572cdf09f6336533a5b71b75160c1e0)
图3-18
展开weather数据库,双击sheet_weather_3这张表(见图3-19(b)),会弹出预览窗口(见图3-19(a)),可以从该窗口中观察获取到的天气预报数据,数据以JSON格式存储在数据库中。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_34.jpg?sign=1739223050-KJr0g2TC7dKcwp00bt7cbxvtWqec7Vpd-0-cb1fe2ece2d1cc7ea8f44a7076a4d17b)
图3-19
可以直接在预览窗口中展开JSON的树形结构,如图3-20所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_35.jpg?sign=1739223050-PX1WAVKTMTFTllDoo87DcKO2LkBoG6Jl-0-eb01bb5535109e232f012915569ccdc5)
图3-20
需要提前安装PyMongo库,这是一个提供Python和MongoDB连接的库,使用方法如下。
1.建立连接
输入以下代码,其中localhost是主机名,27017是端口号(在默认情况下是这个参数)。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_36.jpg?sign=1739223050-BMUMZnyqWR3MvFkIKH7fUDZehzfQ5GCb-0-840870e1f7b659a00d3ec72613788983)
2.新建名为weather的数据库
输入以下代码:
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_37.jpg?sign=1739223050-fJ4bqTdaWw4UwzSRY2vAXpq7VuyX37W3-0-831dbb692996e1ad403be57fd4e6abd9)
3.新建名为sheet_weather_3的表
输入以下代码:
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_38.jpg?sign=1739223050-Sde1y4H8nIE5D3m54L6aDjwbJHKG8Ejq-0-bbee693da8bdec9d15f32c0b3e6a4c14)
4.写入数据
输入以下代码:
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_39.jpg?sign=1739223050-Y8dbRgTuxE1HvOtxGq0tSQonWVGDfReI-0-d3bc07572a3940fae141cfc32e76ec87)