Nvidia GPU から独自のローカル ChatGPT を実行する方法。このツールのセットアップと使用は簡単です。非常に優れた機能がいくつかあります。
おそらく、Google Gemini や ChatGPT などの生成 AI ツールが私たちの生活にますます入り込んでいることに気づいているでしょう。これらのツールは、大規模言語モデル (LLM) に依存しています。LLM は、リアルなテキスト、画像、さらにはビデオを生成できるように膨大な量のデータでトレーニングされたネットワークです。これらの LLM にアクセスするためにクラウド アプリは必要なく、自分のコンピューターで実行できます。したがって、接続していなくてもその恩恵を受けることができ、プロンプトや会話が Google や OpenAI に届くことを心配する必要はありません。 Nvidia は、RTX 30 および RTX 40 グラフィックス カードの能力を使用した独自のローカル LLM アプリケーションを開始しました。RTX とチャットする。これを活用する方法は次のとおりです。
開始する前に、グラフィック カードの最新ドライバーがあることを確認してください。GeForce Experience アプリがこれに役立ちます。その後、次のリンクに進みます。RTX とのチャットのダウンロード ページ。ツールを起動するには、次のことを行う必要があります窓11、少なくとも 8 GB VRAM と 16 GB RAM を搭載した GeForce RTX 30/40 または RTX Ampere または Ada カード。
また、次のことにも留意してくださいエヌビディアはこのアプリを「デモ」と説明しています。つまり、完全に完成したわけではなく、バグがある可能性があります。ザダウンロード複数の LLM が統合されているため、これも 35 GB と非常に大きくなります。最後に、インストールが完了するまでに少し時間がかかります。
完了すると、Chat with RTX アプリがスタート メニューに追加されます。起動すると、しばらくするとインターフェースが表示されます。ブラウザデフォルトではウェブ。左上隅で、ソース AI モデル (Mistral または Llama) を選択できます。完了したら、ChatGPT や Google Gemini と同様にプロンプトを送信できます。
LLM をすでに使用したことがある場合は、これらの生成 AI エンジンがどのような機能を備えているかをご存知でしょう。電子メール、ドキュメント、メッセージなどを作成したり、複雑な件名を要約したり、複雑な質問に答えたりすることができます。
標準ルールが適用され、できるだけ具体的にするように努め、提供された回答を額面通りに受け取らないでください。 Chat with RTX は Web 上の最新情報を検索できないため、このツールは時間をかけて最新の回答を取得するのには適したソリューションではありませんが、データに含まれるデータに基づいて回答を得ることができます。日付 。
インターフェースの下部には、最後のプロンプトから新しい応答を生成するボタン、「キャンセル」ボタン (古いプロンプトに戻る)、および会話を削除するボタンがあります。これにより、履歴がクリアされます。もう一度最初からやり直すことができます。現在、テキストをコピーして貼り付ける以外に回答をエクスポートすることはできません。
独自のデータと YouTube 動画を追加する
Chat with RTX には、提供されたドキュメントに基づいて応答する機能など、非常に興味深い機能がいくつかあります。 [データセット] セクションで、[フォルダー パス] を選択し、使用するドキュメントが含まれるフォルダーを指定します。
その後、アプリは問題のフォルダーをスキャンします (しばらく時間がかかる場合があります)。その後、アプリにプロンプトを送信できるようになります。ボットはテキストをスキャンして適切な回答を探し、使用されたファイルも引用します。概要をリクエストしたり、事実を確認したり、提供されたテキストに基づいて新しいテキストを生成したりすることができます。
繰り返しますが、これは 100% 真実ではないことが知られているテクノロジーの初稿です。ただし、これは非常に優れたツールであり、独自のデータを提供できます。
RTX とのチャットでビデオを分析することもできますYouTubeそして、その文字起こしに基づいて回答を提案します (存在する場合はそれを使用し、存在しない場合は自動的に生成します)。これはプレイリスト全体でも機能し、ソフトウェアは一連のビデオ全体を同時に検索します。
データセットとして YouTube URL を選択し、ビデオまたはプレイリストのアドレスを貼り付けます。プレイリストを使用している場合は、含めるビデオの数を指定できます。最後に、右側のダウンロード ボタンをクリックすると、Chat with RTX がトランスクリプトをダウンロードして取得および/または生成します。
ドキュメントのスキャン機能と同様、これは概要を取得したり、重要な情報を抽出したりするのに非常に役立ちますが、現時点ではいずれにしても、プログラムの中で最も完成度の低い機能です。アプリはどのビデオを参照しているのか混乱することがよくありますが、見る時間がない長いビデオやプレイリストについてすぐに答えが必要な場合は、Chat with RTX が役に立ちます。
