Our Work

A technical note on long-context training and positional extrapolation for large language models, covering techniques such as rotary position embedding scaling and attention modifications used to exte…

A technical note on long-context training and positional extrapolation for large language models, covering techniques such as rotary position embedding scaling and attention modifications used to extend context windows beyond their original training length.

Abstract: Road accidents are a major public safety issue because they kill 17 people every hour in India. We need to find good ways to stop accidents right away because each death is linked to many in…

Abstract: Road accidents are a major public safety issue because they kill 17 people every hour in India. We need to find good ways to stop accidents right away because each death is linked to many injuries of varying severity. Accurate forecasting is essential for transportation safety management due to the concerning increase in daily incidents attributed to the rapid rise in vehicle numbers. This study develops an accident prediction model utilising data mining techniques, particularly the K-Nearest Neighbours (KNN) Classifier and Support Vector Machines (SVM), and ensembles both results to increase the accuracy. The study takes into account the environment, the condition of the roads, and the amount of traffic. By spotting trends and predicting how often accidents will happen, this method may help government agencies, transportation departments, and NGOs focus their safety measures. Contractors, public works agencies, and automakers may also use the results to make safety improvements and better infrastructure design. The proposed forecasting technique illustrates how machine learning methodologies can improve road safety by reducing accident frequencies.

A technical note on Reinforcement Learning from AI Feedback (RLAIF) and Constitutional AI, methods that use AI-generated feedback and explicit principles to align model behavior.

A pandemia da COVID-19 representou um desafio global sem precedentes, impactando de forma abrangente e profunda todos os aspectos da vida, incluindo a saúde pública, a economia…

A pandemia da COVID-19 representou um desafio global sem precedentes, impactando de forma abrangente e profunda todos os aspectos da vida, incluindo a saúde pública, a economia e as relações sociais. Nesse contexto, as universidades foram diretamente afetadas, tendo que realizar adaptações significativas em suas atividades e rotinas diárias. A suspensão das aulas presenciais e a transição para o ensino remoto, juntamente com a interrupção de pesquisas e a necessidade de comunicação virtual, trouxeram novos desafios para estudantes, professores e demais servidores universitários. Este estudo tem como objetivo compreender as estratégias de Qualidade de Vida no Trabalho (QVT) adotadas durante a pandemia nas universidades federais mineiras e identificar como essas estratégias afetaram os seus servidores com base no modelo de QVT de Walton (1973). Primeiramente, foi realizada coleta documental nos sites das 11 universidades federais mineiras, a partir de portarias, notas técnicas, decretos e notícias relacionadas às ações relacionadas à QVT. Em seguida, foram realizadas entrevistas com 15 servidores de 5 destas instituições. Utilizando a análise de conteúdo proposta por Bardin (2016), os documentos e as entrevistas foram submetidos a uma pré-análise, análise e tratamento dos dados. Os resultados destacam a importância de medidas flexíveis e adaptativas, levando em consideração as necessidades e demandas dos servidores. As universidades demonstraram esforços em promover um ambiente de trabalho saudável e equilibrado, priorizando a saúde física e mental dos servidores. As análises vislumbraram também a relevância de políticas de suporte psicológico, como programas de orientação e apoio emocional, evidenciando a preocupação com o bem-estar global dos servidores. Além disso, a valorização do desenvolvimento profissional foi observada por meio de ações como capacitações online e incentivos para aprimoramento docente. Essas estratégias contribuíram para manter a motivação e o engajamento dos servidores durante um período adverso. Por fim, foi possível observar como as diferenças sociais e de gênero influenciam na propensão dos servidores ao teletrabalho.

A technical note covering knowledge distillation and self-distillation techniques used to compress and improve large language models while retaining task performance.

A technical note on training sparse Mixture-of-Experts (MoE) models, covering expert routing strategies and the sparse upcycling approach for converting dense checkpoints into MoE architectures.

bug fixes

A technical note comparing parameter-efficient fine-tuning techniques for large language models, including Low-Rank Adaptation (LoRA), its quantized variant QLoRA, and Weight-Decomposed Low-Rank Adapt…

A technical note comparing parameter-efficient fine-tuning techniques for large language models, including Low-Rank Adaptation (LoRA), its quantized variant QLoRA, and Weight-Decomposed Low-Rank Adaptation (DoRA).

A technical note on Reinforcement Learning with Verifiable Rewards (RLVR) and Group Relative Policy Optimization (GRPO), and how these methods are used to improve multi-step reasoning capabilities in …

A technical note on Reinforcement Learning with Verifiable Rewards (RLVR) and Group Relative Policy Optimization (GRPO), and how these methods are used to improve multi-step reasoning capabilities in language models.

A technical note on Direct Preference Optimization (DPO), a method for aligning language models with human preferences without a separate reward model. It covers the training objective, how it relates…

A technical note on Direct Preference Optimization (DPO), a method for aligning language models with human preferences without a separate reward model. It covers the training objective, how it relates to RLHF, and practical trade-offs for implementation.