Kindle PaperwhiteでAlpine LinuxとLLMチャットボットが動作
GitHubプロジェクトInkwellが、ジェイルブレイクした2015年製Kindle Paperwhite上でAlpine LinuxとオンデバイスLLMチャットボットQuillを動作させた。
GitHubプロジェクト「Inkwell」が、ジェイルブレイクした2015年製Kindle Paperwhite上でAlpine LinuxのユーザースペースとオンデバイスLLMチャットボット「Quill」を動作させていることが明らかになった。Hackadayが取り上げた。
Inkwellにはターミナル、チェスゲーム、DOOMが含まれている。QuillはSmolLM2モデルをllama.cpp経由でKindle本体のプロセッサ上で実行する。
Quillのクイックモードでは約1.7語/秒で出力し、オプションのスマートモードでは約0.7語/秒に低下する。Quillの実行中、データはデバイス外に送信されない。
プロジェクトはPragyaan Gaur氏がGitHubで公開している。
よくある質問
Inkwellはどのデバイスで動作しますか？
ジェイルブレイクした2015年製Kindle Paperwhite上で動作する。
Quillの出力速度はどれくらいですか？
クイックモードで約1.7語/秒、スマートモードで約0.7語/秒。
Quillはデータを外部に送信しますか？
実行中、データはデバイス外に送信されない。