先月、法律調査のサイドプロジェクト用にカスタムドキュメントQ&Aシステムを構築していて、複雑な検索拡張生成（RAG）を処理できるツールが必要でしたが、何千行ものボイラープレートコードを書きたくありませんでした。デスクトップにはChatGPT Plus（月額20ドル）とLangChain（オープンソースですが、月額25ドルのLangSmithも試しました）がありました。3週間にわたって実際の正面比較を実施し、同じ5つのタスク（RAGパイプライン構築、マルチステップエージェント作成、API統合、エラーデバッグ、プロダクション対応コード生成）で両方のツールをテストしました。実際に起こったことは次のとおりです。
クイック比較表
| 機能 | ChatGPT（GPT-4 Turbo、2025年3月） | LangChain（v0.3.14 + LangSmith） |
|---|---|---|
| 価格 | 月額20ドル（Plus）または1K入力トークンあたり0.03ドル（API） | 無料オープンソース；LangSmith月額25ドル（10万トレース） |
| セットアップの容易さ | 5/5 — ログインしてチャット | 3/5 — pipインストール + 設定ファイル |
| RAGパイプライン | 組み込みファイルアップロード + 検索（1クリック） | 手動チェーン構築（100行以上） |
| エージェント作成 | GPT Actions + カスタム指示 | LangChain AgentExecutor + ツール定義 |
| デバッグ | コンソールログのみ | LangSmithトレースビューア（優れている） |
| API統合 | サードパーティプラグインのみ | 700以上の統合（Slack、Notionなど） |
| コード品質 | 4/5 — プロトタイプに適している | 4/5 — より冗長だが柔軟 |
| コミュニティ | 100万以上のYouTubeチュートリアル | 20万GitHubスター、500以上のコントリビューター |
| 私の評価 | 4.5/5 | 3.8/5 |
テスト環境
MacBook Pro M2、16GB RAM、macOS Sonoma 14.4を使用しました。PythonはPython 3.12.2で、新しい仮想環境を使用しました。ChatGPTはWebインターフェース（chat.openai.com）とOpenAI API（gpt-4-turbo-2025-03-01）を介してテストしました。LangChainはpip install langchain langchain-community langchain-openaiでインストールしました。LangSmithにも登録しました（無料ティアから月額25ドルにアップグレード）。プロジェクトは、50のPDF契約を処理し、「どの条項が責任を1万ドルに制限していますか？」などの質問に答え、要約を生成する法律文書分析ツールでした。各タスクの時間を計測し、不満点を記録しました。
ラウンド1：RAGパイプラインの構築
ChatGPT： 5つのPDFを直接チャットにアップロードしました。「これらのドキュメントから質問に答えるRAGパイプラインを作成して」と入力しました。ChatGPTはOpenAI埋め込みとChromaDBを使用するPythonスクリプトを生成しました。初回実行で動作しましたが、アップロードしたファイルのみでした。50のPDFすべてに対しては、手動でバッチに分割してアップロードする必要がありました。合計時間：15分。
LangChain： DirectoryLoader、RecursiveCharacterTextSplitter、OpenAIEmbeddings、Chromaを使用するスクリプトを作成しました。最初の実行はpydanticの依存関係競合で失敗しました。20分のデバッグ後、動作するようになりました。しかし、LangChainのモジュール性により、チャンクサイズ（500対1000）、オーバーラップ（50対100）、検索方法（MMR対類似度）をカスタマイズできました。合計時間：45分。
勝者： スピードではChatGPT、制御ではLangChain。しかし、私のユースケースでは、ChatGPTが30分節約できました。
ラウンド2：ツールを使用したマルチステップエージェント
ChatGPT： GPT Actionsを使用して、模擬法律データベースAPIに接続しました。「ユーザーがケースについて尋ねたら、APIを呼び出してから要約してください」というカスタム指示を作成しました。動作しましたが、単純な2ステップフローのみでした。3ステップ（検索→フィルタ→比較）を試すと、ChatGPTはコンテキストを失い、偽の判例引用を幻覚しました。3回再プロンプトしてようやく動作しました。
LangChain： create_react_agentとToolkits（API呼び出し用）、ConversationBufferMemoryを使用してエージェントを構築しました。このエージェントは5ステップチェーンを確実に処理しました。LangSmithのトレースビューアを使用すると、エージェントがどこでスタックしたか（不正なAPIレスポンス）を正確に確認できたため、デバッグが容易でした。合計時間：2時間。
勝者： LangChainの圧勝。ChatGPTのエージェントはプロダクションには脆すぎます。
ラウンド3：API統合と外部サービス
ChatGPT： プラグインを介してChatGPTをGoogle DriveとSlackに接続しようとしました。Google Driveプラグイン（プラグインストアから）は2回認証に失敗しました。Slack統合は動作しましたが、メッセージの投稿のみで読み取りはできませんでした。30分で諦めました。
LangChain： langchain-communityのGoogleDriveLoaderとSlackLoaderを使用しました。両方とも初回で動作しました。Notion、Airtable、カスタムREST APIにも接続しました。ドキュメントは明確で、エラーメッセージは役に立ちました。すべての統合で合計時間：1時間。
勝者： LangChain。ChatGPTのプラグインエコシステムは浅いです。
ラウンド4：デバッグと可観測性
ChatGPT： 不正なキーを持つJSON出力を生成するスクリプトを実行しました。ChatGPTにデバッグを依頼しました。修正案を提供してくれましたが、エラーが発生した正確なステップを追跡できませんでした。手動でprint文を追加する必要がありました。
LangChain： LangSmithを使用して、エージェントの実行のすべてのステップをトレースしました。あるトレースで、retrieverがkパラメータを0に設定したため空のセットを返していることがわかりました。2分で修正しました。トレースビューアはトークン使用量とレイテンシも表示し、最適化に非常に役立ちました。
勝者： LangChain。ChatGPTには可観測性がありません。
ラウンド5：プロダクションコード生成
ChatGPT： RAGパイプライン用のFastAPIエンドポイントを生成するようChatGPTに依頼しました。10分で動作するプロトタイプを生成しました。しかし、コードはモノリシックで、エラーハンドリング、ロギング、非同期処理がありませんでした。リファクタリングにさらに1時間費やしました。
LangChain： LangChainのLCEL（LangChain Expression Language）により、最初からチェーンで考えることを強いられました。リトライロジックとストリーミングを備えたモジュラーパイプラインを生成しました。出力はプロダクション対応でしたが、記述に2時間かかりました。
勝者： スピードではChatGPT、品質ではLangChain。しかし、プロダクションコードが必要な場合、LangChainは後でリファクタリング時間を節約できます。
長所と短所
ChatGPTの長所：
- ゼロセットアップ — 入力するだけ
- クイックプロトタイプと1回限りのタスクに最適
- 自然言語インターフェースが認知負荷を軽減
- 大規模なコミュニティとYouTubeチュートリアル（例：TechWithTimの「5分でわかるChatGPT RAG」）
ChatGPTの短所：
- 可観測性なし — デバッグは推測
- API統合が限定的（サードパーティプラグインのみ）
- エージェントがマルチステップフローでコンテキストを失う
- 検索パラメータを簡単にカスタマイズできない
- Plusは月額20ドルだが、APIコストがかさむ
LangChainの長所：
- 700以上の統合がすぐに使える
- LangSmithトレースビューアはデバッグの救世主
- RAGパラメータ（チャンクサイズ、オーバーラップ、検索方法）を完全に制御
- モジュール式でプロダクション対応のコード
- オープンソース（無料）、GitHubコミュニティが活発
LangChainの短所：
- 学習曲線が急（ドキュメントが密集）
- バージョン間の頻繁な破壊的変更（v0.2からv0.3で古いコードが壊れた）
- Pythonとpipのセットアップが必要
- 依存関係の競合のデバッグが面倒
- LangSmithは本格的な使用で月額25ドル
最終評決
クイックプロトタイプを構築している個人開発者、またはドキュメントから迅速に回答を必要とする非技術専門家の場合、ChatGPTが勝者です。わずか15分で動作するRAGパイプラインを入手でき、法律調査クエリの80％には十分でした。月額20ドルのサブスクリプションは私の時間よりも安いです。
信頼性、可観測性、カスタム統合を必要とするプロダクションシステムを構築しているソフトウェアエンジニアの場合、LangChainがより良い選択です — ただし、学ぶ時間がある場合に限ります。私の法律プロジェクトでは、初期調査にChatGPTを使用し、最終製品にLangChainを使用しました。しかし、フルタイムの仕事で1つ選ぶとしたら？ChatGPTです。セットアップとデバッグで節約した時間が、LangChainの柔軟性を上回りました。YouTubeでFireshipの「LangChain vs ChatGPT：どちらを使うべきか？」をご覧ください — 彼も同じ結論に達しています。
追伸 — 私は今でも両方を使用しています。LangChainは重い作業に、ChatGPTは素早い回答に。しかし、今日から始めるなら、ChatGPTから始めてください。ChatGPTの限界に達したら、いつでもLangChainに切り替えることができます。
