Google revela innovaciones de BigQuery para transformar el trabajo con datos

Hoy, en su conferencia anual Cloud Next, el gigante de Internet anunció importantes mejoras para BigQuery : su almacén de datos sin servidor y totalmente administrado, que incluye una experiencia unificada destinada a interconectar datos y cargas de trabajo. La compañía también compartió cómo planea llevar la IA a los datos almacenados en la plataforma y cómo planea aprovechar su colaborador de IA generativa para aumentar la productividad de los equipos que buscan consumir información valiosa de los datos.

“Estas innovaciones ayudarán a las organizaciones a aprovechar el potencial de los datos y la IA para generar valor comercial, desde personalizar las experiencias de los clientes, mejorar la eficiencia de la cadena de suministro y ayudar a reducir los costos operativos hasta ayudar a generar ingresos incrementales”, Gerrit Kazmaier, vicepresidente y director general de datos y Analytics en Google, escribió en una publicación de blog .

Sin embargo, cabe señalar que la mayoría de estas capacidades aún se encuentran en fase de vista previa y, en general, no están disponibles para los clientes.

Experiencia unificada con BigQuery Studio

Dentro de BigQuery, que permite a los usuarios realizar análisis escalables sobre petabytes de datos, Google está agregando una interfaz unificada llamada BigQuery Studio. Esta oferta proporcionará a los usuarios un entorno único para ingeniería de datos, análisis y análisis predictivo .

Hasta ahora, los equipos de datos tenían que trabajar con diferentes herramientas para diferentes tareas, desde la gestión de almacenes y lagos de datos hasta la gobernanza y el aprendizaje automático (ML). El manejo de estas herramientas requería mucho tiempo y ralentizaba la productividad. Con BigQuery Studio, Google permite a estos equipos trabajar con todas estas herramientas en un solo lugar para descubrir, preparar y analizar rápidamente sus conjuntos de datos y ejecutar cargas de trabajo de aprendizaje automático en ellos.

“BigQuery Studio proporciona a los equipos de datos una única interfaz para su análisis de datos en Google Cloud, incluida la edición de SQL, Python, Spark y otros lenguajes, para ejecutar fácilmente análisis a escala de petabytes sin ningún gasto adicional de gestión de infraestructura”, dijo un portavoz de la empresa a VentureBeat. . “Esto significa que un trabajador de datos no tiene que cambiar de una herramienta a otra; todo está en un solo lugar, lo que les facilita la vida y obtiene resultados más rápidamente”.

La oferta ya está disponible en versión preliminar y ya está siendo probada por varias empresas, incluida Shopify. Kazmaier también dijo que Google está agregando soporte mejorado para formatos de código abierto como Hudi y Delta Lake dentro de BigLake ; aceleración del rendimiento para Apache Iceberg; y vistas materializadas entre nubes y uniones entre nubes en BigQuery Omni para analizar y entrenar datos sin moverlos.

(Nota del editor: para ayudar a los ejecutivos empresariales a aprender más sobre cómo administrar sus datos para prepararse para las aplicaciones de IA generativa, VentureBeat organizará su Data Summit 2023 el 15 de noviembre. El evento contará con oportunidades para establecer contactos y sesiones sobre temas como lagos de datos, datos Fabrics , gobernanza de datos y ética de datos. La preinscripción para un 50 % de descuento ya está abierta .)

Aún más para los equipos de datos

Junto con BigQuery Studio, Google brinda acceso a los modelos básicos de Vertex AI , incluido PaLM 2 , directamente desde BigQuery. Esto permitirá a los equipos de datos que utilizan BigQueryML (para crear y ejecutar modelos de aprendizaje automático en sus conjuntos de datos) escalar declaraciones SQL en comparación con modelos de lenguajes grandes (LLM) y obtener más información de forma rápida y sencilla. La compañía también dijo que está agregando nuevas capacidades de inferencia de modelos e incrustaciones de vectores en BigQuery para ayudar a los equipos a ejecutar LLM a escala en conjuntos de datos no estructurados.

“Al utilizar la inferencia de nuevos modelos en BigQuery, los clientes pueden ejecutar inferencias de modelos en formatos como TensorFlow, ONNX y XGBoost”, señaló Kazmaier. “Además, las nuevas capacidades de inferencia en tiempo real pueden identificar patrones y generar alertas automáticamente”.

Finalmente, la compañía dijo que está integrando su colaborador siempre activo impulsado por IA generativa, Duet AI, en BigQuery, Looker y Dataplex. Esto traerá interacción en lenguaje natural y recomendaciones automáticas a estas herramientas, impulsando la productividad de los equipos y abriendo el acceso a más usuarios.

Esta integración también está en versión preliminar y aún no se sabe nada sobre su disponibilidad general.