概要

现在是一个人走,也要走得很远

在闲鱼小店的经营过程中,遇到了各种千奇百怪的问题,当然也认识了好多好多优秀的人,特别几位重要的人,很幸福的一件事。
记录了疑难杂症的解决过程,希望对后续学习Python的同学们有所帮助,谨以此篇留作纪念。
在这里插入图片描述
在这里插入图片描述

第三方库

也是一些常见的库
在这里插入图片描述

gdal

这里遇到的多数问题为:ModuleNotFoundError: No module named ‘gdal‘
我们得先解决安装问题,一般思路先考虑是否有whl文件可以直接安装
gdal 的whl文件合集,范围为cp38-cp312

https://wwt.lanzout.com/b05ex0bfe

密码:brkw

好了,安装好后,初学者仍然会发现import gdal失败
其实正确的导入使用方式为

from osgeo import gdal

详情可见
ModuleNotFoundError: No module named ‘gdal‘

pymol

whl仓库

talib

whl仓库

mahotas

这个库比较刁钻,我测试了多篇文章后才成功
上链接
mahotas安装教程

graphviz

这也是一个安装频率很高的库,但要正常使用的话
除了使用pip安装库之外,windows电脑上还得单独安装graphviz这个软件
详细的步骤见
Graphviz安装配置教程(图文详解)

切记安装的时候要记得添加系统环境变量!!!
安装好后,如果没有重启电脑或者jupyter内核,大概率还是会遇到问题

You’ must : install pydot ( pip install pydot^ ) and install graphviz
(see instructions at https: //graphviz. gitlab. io/ dowmload/) for
plot_ mod el/model_to dot to work.

这时候如果为了保存电脑工作流,不想重启的话
不妨试一下以下两种办法
1.conda重新安装
You must pip install pydot and install graphviz
2.添加graphviz执行路径
在这里插入图片描述

nltk-data

这个语料库的安装刚开始也是令人头疼
不过你了解流程之后,其实很简单的!
语料库网址:
https://www.nltk.org/nltk_data/
遇到的情况诸如
nltk.download(‘punkt‘)报错
nltk.download(‘punkt‘)报错问题解决方案

lazypredict

好好好,这个库我折腾了很久
最好解决方案为修改源码
【环境配置】Lazypredict的安装使用
from lazypredict.Supervised import LazyClassifier - TypeError: OneHotEncoder.init() got an unexpected keyword argument ‘sparse’ #442
报错解决链接

scikit-surprise

针对windows安装经常遇到的报错
Windows安装scikit-surprise

nb_extensions

这个jupyter中的插件,其实我自己用的不多
不过可以不用,不能没有对吧(bushi
好,来看一下怎么安装不踩坑,顺便吐槽很多文章很不靠谱
下面这篇文章是我亲自认证好用的
安装Nbextensions和推荐功能,解决安装完不显示内容、功能为灰色的问题

pyqt5-tools

主要解决对高版本python无法使用的问题
在不同版本Python中安装PyQT5及PyQT5-Tools

spacy、en_core_web_sm

【自然语言处理系列】手动安装和测试Spacy中en_core_web_sm模型的详细教程

机器学习

这部分的安装,才是好多人灰心的地方,AI的问法很重要,更关键是有自己的经验和判断力
在这里插入图片描述

GPU-torch安装

对于很多研究生、博士生来说,这里可以算是梦启航的地方了
安装错误主要在于一直安装为cpu版本的torch
默认的国内镜像是cpu版本
这里介绍一种环境安装教程
3.8 CUDA10.2 安装
pytorch gpu版安装(普适稳妥,亲测有效)

官网一键指令如

pip install torch==1.9.0+cu102 torchvision==0.10.0+cu102 torchaudio==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html

还有如何给自己的电脑显卡还有python版本安装合适的torch
Python与PyTorch的版本对应
Torch 、torchvision 、Python 版本对应关系以及安装 GPU 或 CPU 版本的 pytorch
包括cuda安装卸载
【GPU调用及CUDA安装 看完全会!】使用gpu进行各类训练/运行代码

windows下CUDA的卸载以及安装
Tips:

为了确保gpu高效率运行,最好安装和nvidia-smi相差不是很大的版本吧,

torch_geometric安装

pytorch正确的安装torch_geometric,无bug、多种类版本

ubuntu安装显卡驱动

ubuntu系统安装nvidia显卡驱动(简单方法)

dlib安装

这个安装也是蛮常见的
python3.7-3.11版本whl文件快速直接安装dlib库(无需安装cmake!!!)手把手教你安装

Windows-安装dlib库(亲测绝对可以,超详细)

torch-cluster、torch-scatter、torch-sparse和torch-geometric

重要的也是whl文件
python安装torch-cluster、torch-scatter、torch-sparse和torch-geometric

YOLO

YOLOv5
【深度学习】YOLOV5-WIN10环境搭建(配置+训练
YOLOv8
YOLOv8入门篇–YOLOv8的安装和使用
【YOLO】YOLOv8训练环境配置 python 3.8.18 + cuda 11.3.1 + cudnn 8.2.1 + pytorch 1.12.1-gpu版

apex

RuntimeError: apex.optimizers.FusedSGD requires cuda extension

【问题解决】RuntimeError: apex.optimizers.FusedSGD requires cuda extension 问题解决

tensorflow-gpu

Tensorflow-gpu保姆级安装教程(Win11, Anaconda3,Python3.9)

paddle 3060

官方安装指南

3060显卡下CUDA+CUDNN+Paddle安装的血泪史

第五步:RTX 3060配置CUDA和cuDNN、安装PyTorch

tf和keras版本对应

tf的2.16.1的版本对应keras的3.0.0版本

导入库的时候,就直接from keras.models什么的,不用from tensorflow.keras.modesl这样导入

深度学习 | 基于 CPU 的 tensorflow + keras + python 版本对照及环境安装_python tensorflow 和keras版本-CSDN博客

因为tensorflow 2.0版本开始集成了keras,成为了 tensorflow.keras API,因此不用额外安装,并且无需 import keras

Python && Pycharm

入门,挺简单的了
在这里插入图片描述

Python官方各版本下载地址:

https://www.python.org/ftp/python/

国内华为镜像:

https://mirrors.huaweicloud.com/python/

https://repo.huaweicloud.com/python/

  1. 清华大学开源软件镜像站: https://mirrors.tuna.tsinghua.edu.cn/
  2. 阿里云开源镜像站: https://mirrors.aliyun.com/
  3. 中国科学技术大学镜像站: https://mirrors.ustc.edu.cn/
  4. 华中科技大学镜像站: https://mirrors.hust.edu.cn/

在这里插入图片描述

conda && jupyter

小技巧多

在这里插入图片描述

conda打包环境

conda-pack库

打包conda环境的两种方法:conda env export和Conda-Pack-CSDN博客

使用conda pack进行环境迁移(步骤很详细)-CSDN博客

jupyter切换虚拟环境

Jupyter notebok 环境配置,与kernel切换(切换虚拟环境)

3.2,在环境中手动安装你的kernel,因为在第二步中我们已经在创造的环境中安装了ipykernel了,所以,我们直接在环境里执行下面的代码来手动添加kernel进jupyter notebook

python -m ipykernel install --user --name py27 --display-name "Python (py27)"

这里,第一个py27 是我创造的环境的名称,后面的Python (py27)是我希望在jupyter notebook中kernel显示的名字。

查看安装的内核和位置

jupyter kernelspec list

删除 kernel

jupyter kernelspec remove tensorflow

ubuntu-conda

Ubuntu 安装 conda

Ubuntu20.04安装配置tensorflow2深度学习环境_ubuntu20安装tensorflow2-CSDN博客

jupyter切换默认浏览器

更改Jupyter Notebook打开的默认浏览器(切换到Edge为例)_如何更改jupyter notebook打开的浏览器-CSDN博客

VsCode 终端激活 anconda 环境问题解决措施

VsCode 终端激活 anconda 环境问题解决措施

conda环境迁移及终端唤醒

操作后可关闭pycharm再打开

在这里插入图片描述

【保姆级教程】Anaconda环境迁移:直接将之前搭建好的环境从一个机子迁移到另一个机子

conda config --append envs_dirs

anaconda创建R内核

使用Anaconda管理R语言环境,并使用Jupyter Notebook编写R语言

ERRor(持续更新)

这个比较多了,持续更新好了

安装过程遇到dll文件缺失,如python36.dll

python36.dll 搜索结果 | DLL‑files.com

lda UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 18-20: ordinal not in range(128)

LDA 中用pyLDAvis可视化出现的编码问题求救?????????????_有问必答-CSDN问答

ImportError: libtorch_cuda_cu.so: cannot open shared object file: No such file or directory

ImportError: libtorch_cuda_cu.so: cannot open shared object file: No such file or directory

Run ‘conda init’ before 'conda activate’报错

利用Mobaxterm连接远程服务器,在创建conda环境后报错。

输入conda init后返回No action taken.

解决方法

  1. 输入source activate,后发现前面多了(base)
  2. 输入conda activate xxx(此处为自定义的环境名称),后发现(base)变为(xxx)

graphviz中文乱码

win10的python的graphviz中文乱码问题解决

Others

比较mix
在这里插入图片描述

Mac M芯片安装py3.7

https://arrebol2020.com/posts/m1-mac-conda/#:~:text=是因为 对于 M1 芯片的 Macos,不支持 python3.8 一下的 python,x86_64 架构的 channel conda install python%3D3.7 :安装 ptyhon3.7

在这里插入图片描述

selenium配置

前3位相同就行

Chrome历史版本下载和Selenium驱动版本下载_selenium谷歌浏览器旧版本下载-CSDN博客

chromedriver.storage.googleapis.com

Download older versions of Google Chrome for Windows, Linux and Mac

解决selenium打开浏览器自动退出_selenium打开网页闪退-CSDN博客

from selenium import webdriver
driver = webdriver.Chrome()
driver.get(‘https://www.baidu.com’)

pyinstaller

python2.7 py文件转化成exe文件(不安装python也可以运行py文件)_python27 pyinstaller-CSDN博客

在这里插入图片描述

pyinstaller --onefile --paths=/path/to/your/directory xxx.py

yolo自定义训练代码

保姆级手把手使用YOLOv11训练自己数据集(含源代码、网络结构、模型检测和转换 、数据集查找、模型训练)

YOLOv11来了,使用YOLOv11训练自己的数据集和推理(附YOLOv11网络结构图)

yolo合集:https://github.com/ultralytics/ultralytics/tree/main

单独评估训练出来的模型代码:
【YOLOv8训练结果评估】YOLOv8如何使用训练好的模型对验证集进行评估及评估参数详解

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐