Sketch

Sketch: Pandas 用の AI コード作成アシスタント

Sketch は、pandas DataFrame を使用するデータサイエンティストやアナリストのエクスペリエンスを向上させるように設計された、AI 搭載のコード作成アシスタントです。データのコンテキストを理解し、より関連性の高い正確なコード候補を提供し、IDE プラグインを必要とせずに数秒で使用できます。

Sketch とは？

Sketch は、pandas DataFrame を操作する際に、ユーザーがより効率的にコードを作成できるようにするツールです。AI を使用してデータの構造とコンテンツを理解し、コンテキストを認識したコード候補を提供できるようにします。これにより、さまざまなデータ分析タスクをより簡単かつ迅速に実行できます。

Sketch の仕組み

Sketch は、効率的な近似アルゴリズム (データスケッチ) を利用して、データをすばやく要約します。この要約された情報は、言語モデルに入力されてコード候補を生成します。現在、Sketch は列を要約し、これらの要約統計量をコード作成プロンプトのコンテキストとして使用します。目標は、これらのスケッチを最終的にカスタムメイドの「データ + 言語」基盤モデルに直接供給して、さらに正確な結果を得ることです。

主な機能と利点

• コンテキストを認識した候補: Sketch はデータのコンテキストを理解し、より関連性の高い正確なコード候補につながります。
• クイックセットアップ: 数秒でインストールして使用できるため、データ分析ワークフローをすぐに改善できます。
• IDE プラグインは不要: Sketch は IDE プラグインを必要としないため、既存のワークフローに簡単に統合できます。
• 自然言語インターフェース: データスタックランドスケープ内の多くのタスクをナビゲートするための自然言語インターフェースを提供します。

Sketch の使用方法

1. インストール:

   pip を使用して Sketch をインストールします:

   pip install sketch
   

2. Sketch のインポート:

   Python スクリプトまたは Jupyter Notebook で Sketch ライブラリをインポートします:

   import sketch
   

3. Sketch 拡張機能へのアクセス:

   .sketch 拡張機能は、pandas DataFrame で使用できるようになりました:

df.sketch.ask("どの列が整数型ですか?") df.sketch.howto("売上高対時間のプロット") df['review_keywords'] = df.sketch.apply("製品 [{{ product_name }}] のレビュー [{{ review_text }}] のキーワード (コンマ区切り):") df['capitol'] = pd.DataFrame({'State': ['Colorado', 'Kansas', 'California', 'New York']}).sketch.apply("[{{ State }}] の首都は何ですか?") ```

Sketch 関数

• .sketch.ask: データの要約統計と説明に基づいて、テキストベースの回答を提供する質疑応答システム。
• .sketch.howto: クリーニング、正規化、特徴作成、プロット、モデル構築など、さまざまなデータ関連タスクのコードブロックを生成します。
• .sketch.apply: データ生成、フィールドの解析、新しい特徴の作成に役立つ高度なプロンプト。

ローカルでの実行

Sketch は、適切な環境変数を設定することにより、事前構築済みの Hugging Face モデル (MPT-7B および StarCoder) または OpenAI を使用して直接実行することもサポートしています。

os.environ['LAMBDAPROMPT_BACKEND'] = 'StarCoder'
os.environ['SKETCH_USE_REMOTE_LAMBDAPROMPT'] = 'False'
os.environ['HF_ACCESS_TOKEN'] = 'your_hugging_face_token'

Sketch の対象者

Sketch は以下に最適です:

• データサイエンティスト: データ探索と分析を加速します。
• データアナリスト: 複雑なデータ操作タスクを簡素化します。
• 機械学習エンジニア: 特徴エンジニアリングとモデル構築を効率化します。
• Pandas DataFrame を使用するすべての人: 生産性を向上させ、コーディング時間を短縮します。

Sketch を選ぶ理由

• コード品質の向上: コンテキストを認識した候補により、より優れた正確なコードが生成されます。
• 時間の節約: コード生成を自動化し、より重要なタスクに時間を費やすことができます。
• 使いやすさ: 簡単なインストールと直感的な API により、あらゆるスキルレベルのユーザーがアクセスできます。

Sketch は、データ分析タスクを効率化し、データ分析ランドスケープのナビゲートを容易にします。データコンテキストを理解し、関連するコード候補を生成できるため、あらゆるデータプロフェッショナルにとって貴重な資産となります。