Local-first · Open source · Auditable

La ingeniería de datos antes de entrenar.

Convierte documentos, páginas web, repositorios y datos estructurados en corpus limpios, segmentados y trazables para pretraining, fine-tuning, RAG y evaluación.

9modalidades implementadas
4formatos + manifest
3interfaces: CLI, Windows, Android
100%acciones CI fijadas por SHA
Lectura multimodal

Una entrada común para conocimiento disperso.

Cada conector extrae contenido y metadata sin mezclar adquisición con limpieza. El sistema conserva hashes y origen para poder explicar de dónde salió cada fragmento.

Aa

Documentos

TXT, Markdown, código, PDF con texto, Word y HTML local. OCR está planificado y claramente separado.

↗

Web y Git

Extracción web focalizada y clonación Git shallow con errores aislados por fuente.

{ }

Datos estructurados

JSON, JSONL y CSV preservan filas, objetos y metadata para transformaciones posteriores.

Pipeline verificable

Del original al dataset, sin caja negra.

El manifest registra entradas, parámetros, errores, rechazos, duplicados y artefactos. La calidad automática ayuda; no reemplaza la revisión humana.

01Adquirir
02Normalizar
03Limpiar
04Deduplicar
05Segmentar
06Validar
07Exportar
Primera release

Pequeña en superficie. Seria por dentro.

LOCALHOST + WINDOWS

Una interfaz, el mismo motor

Arrastra archivos, añade rutas o URL, configura el chunking y descarga JSONL, TXT, Parquet, SQLite y manifest.

$ foundry serve
→ http://127.0.0.1:8765
$ foundry build --config examples/config.yaml
ANDROID · OFFLINE

Companion mínima

Lee texto, Markdown, JSON y CSV en el dispositivo, calcula hashes y exporta JSONL. Sin permiso Internet.

CLI · AUTOMATION

Recetas reproducibles

YAML validado, comandos de build/stats/validate y artefactos compatibles con pipelines de datos.

Contratos distintos

Preparar datos no significa entrenar un modelo.

La foundry produce una base neutral. Cada uso necesita transformaciones, separación y evaluación propias.

PretrainingTokenización, packing, mezcla, deduplicación global y control de contaminación.
Fine-tuningEjemplos supervisados, formato conversacional, rúbricas y splits por fuente.
RAGEmbeddings, índice, filtros, retrieval y evaluación de respuestas fundamentadas.
EvaluaciónHoldout independiente, referencias, criterios y casos adversariales versionados.