Documentos
TXT, Markdown, código, PDF con texto, Word y HTML local. OCR está planificado y claramente separado.
Convierte documentos, páginas web, repositorios y datos estructurados en corpus limpios, segmentados y trazables para pretraining, fine-tuning, RAG y evaluación.
Cada conector extrae contenido y metadata sin mezclar adquisición con limpieza. El sistema conserva hashes y origen para poder explicar de dónde salió cada fragmento.
TXT, Markdown, código, PDF con texto, Word y HTML local. OCR está planificado y claramente separado.
Extracción web focalizada y clonación Git shallow con errores aislados por fuente.
JSON, JSONL y CSV preservan filas, objetos y metadata para transformaciones posteriores.
El manifest registra entradas, parámetros, errores, rechazos, duplicados y artefactos. La calidad automática ayuda; no reemplaza la revisión humana.
Arrastra archivos, añade rutas o URL, configura el chunking y descarga JSONL, TXT, Parquet, SQLite y manifest.
Lee texto, Markdown, JSON y CSV en el dispositivo, calcula hashes y exporta JSONL. Sin permiso Internet.
YAML validado, comandos de build/stats/validate y artefactos compatibles con pipelines de datos.
La foundry produce una base neutral. Cada uso necesita transformaciones, separación y evaluación propias.