概要
Windows11にBunChoを入れた時に、「AssertionError: Torch not compiled with CUDA enabled」というエラーが出てハマったが、NVIDIAのページから「CUDA Toolkit」をダウンロードしてインストールしてから torchを入れなおした。
AI BunCho
https://bun-cho.work/
AI BunChoはAIが物語のタイトルやプロットを提案したり、本文を生成する創作支援アプリです。
小説に特化したAIであるパラメータ60億の大規模日本語言語モデルを用いており、かなり文脈に沿った文章の生成が行えます。
本記事の元ネタ
- AI Bunchoモデルで何か物語めいたものを生成する
- Google Colab で AI BunChoで利用されているモデル japanese-novel-gpt-j-6b-v1.5 を試す
環境
- OS：Windows 11 Pro バージョン 22H2
- グラボ：GeForce RTX 3090 (24GB積んでるので少し前に買った)
- Python：3.11.5
ハマった所
途中で「AssertionError: Torch not compiled with CUDA enabled」と出たので、NVIDIAのページから「CUDA Toolkit」をダウンロードしてインストールしてから torchを入れなおした。
参考：
- ryuuriの日記： VRAM8GBのRTX3080Laptop + Window11 で、今話題の RWKV(ルワクフ)を動かしてみた
解消方法
CUDA12 のインストール
- https://developer.nvidia.com/cuda-toolkit から「CUDA 12」を「Download now」ボタンをクリックしてダウンロード
- アップデートをメールで受け取るか聞かれるが、×ボタンで閉じる
- OSはLinuxとWindowsがあるが、Windowsを選択
- アーキテクチャはx86_64
- バージョンは11(10, 11, Server 2019, Server 2022が選べる)
- インストールタイプは exe(local)(3.0GB), exe(network)(29.4MB)
- cuda_12.2.2_537.13_windows.exe というファイルがダウンロードされた
pycuda を入れる
pip install pycudatorchの入れ直し
torch 2.0.1 が入っていたが、入れ直す。
pip uninstall torch
pip cache purge
pip install torch -f https://download.pytorch.org/whl/torch_stable.html(pip install torch だけだとうまくいかない)
Successfully installed torch-2.0.1+cu118
のように表示されればOK。
他のパッケージをまだ入れていない場合は入れる
上記の npaka さんの記事を見ながら、パッケージのインストール
pip install transformers sentencepiece accelerate動作確認
上記の npaka さんの記事にあるPythonプログラムを実行して、こんな感じの文章が生成されればOK。
わたくしといふ現象は、この世界の常識から外れている。
私の環境では10秒弱で表示されました。
何度かやった結果
- わたくしといふ現象は、この世界の理から外れています。
- わたくしといふ現象は、全てその世界の知識が元になっています。
- わたくしといふ現象は、この地球に生きる人間全員の脳を支配し、その人間の記憶を改竄します。
- わたくしといふ現象は、まだ未解明なのです。その謎を解き明かすため、私はこの研究所に来ましたの」
- わたくしといふ現象は、『魔素』と呼ばれる生命エネルギーが結晶化した物から生成されるんですの」
- わたくしといふ現象は、その存在を知らされていないのですが?」
- わたくしといふ現象は、この魔法で世界を滅ぼす事が可能なのです」
- わたくしといふ現象は、この時代では珍しいものなのでしょう。
- わたくしといふ現象は、ほぼ同時に起こったのです」「つまり……。
- わたくしといふ現象は、今に始まったことではありません。そのたびに、わたくしがこうして無事でいることに感謝こそすれど、不満など抱いたことは一度たりともありませんわ」
文末にカギかっこが付く場合があるのが謎です。