Dans le domaine de l\u2019intelligence artificielle, un mod\u00e8le multimodal<\/strong> est capable de traiter plusieurs typologies de donn\u00e9es (par exemple du texte, des images, ou encore de l\u2019audio). Aujourd\u2019hui, de nombreuses applications requi\u00e8rent la compr\u00e9hension et le traitement de divers m\u00e9dias. Cependant, dans notre cas d\u2019usage sp\u00e9cifique, nous devons d\u2019abord nous concentrer sur l\u2019extraction automatique et la mise en forme de contenus exclusivement textuels. \u00c0 terme, nous pr\u00e9voyons d\u2019int\u00e9grer \u00e9galement le traitement d\u2019images associ\u00e9es \u00e0 ces contenus.<\/p>\n\n\n\n Notre objectif est donc de ne r\u00e9-entra\u00eener que la partie langage du mod\u00e8le multimodal \u00e0 l\u2019aide de donn\u00e9es exclusivement textuelles<\/strong>, afin de pr\u00e9server les capacit\u00e9s d\u00e9j\u00e0 acquises en mati\u00e8re d\u2019analyse d\u2019images, tout en am\u00e9liorant la pr\u00e9cision et les performances pour les t\u00e2ches d\u2019extraction et de traitement du texte. Cette approche nous permettra de tirer pleinement parti des comp\u00e9tences existantes de grands mod\u00e8les, tout en sp\u00e9cialisant sa composante textuelle selon nos besoins.<\/p>\n\n\n\n Dans la pratique, la principale difficult\u00e9 rencontr\u00e9e provient du fait que la plupart des tutoriels et exemples disponibles se concentrent exclusivement sur le fine-tuning de mod\u00e8les multimodaux avec des donn\u00e9es d\u2019entra\u00eenement combinant texte et images<\/strong>. Il existe tr\u00e8s peu de ressources d\u00e9crivant l\u2019adaptation d\u2019un mod\u00e8le multimodal exclusivement \u00e0 partir de donn\u00e9es textuelles. Pour relever ce d\u00e9fi, nous avons entrepris des travaux de recherches et men\u00e9 des exp\u00e9riences approfondies sur les trois grands mod\u00e8les multimodaux suivants :<\/p>\n\n\n\n Lors de ces travaux, nous avons utilis\u00e9 diff\u00e9rentes plates-formes de fine-tuning (telles que Unsloth [4]<\/strong><\/strong><\/strong> ou PEFT [3]<\/strong><\/strong> + bitsandbytes [7]<\/strong><\/strong><\/strong>) afin d\u2019identifier les meilleures approches. <\/p>\n\n\n\n Dans cette section, nous pr\u00e9sentons les diff\u00e9rentes approches utilis\u00e9es pour le fine-tuning de mod\u00e8les multimodaux sur des donn\u00e9es exclusivement textuelles. Chaque mod\u00e8le a ses propres particularit\u00e9s en termes d\u2019architecture et de compatibilit\u00e9, ce qui n\u00e9cessite des strat\u00e9gies d\u2019adaptation sp\u00e9cifiques.<\/p>\n\n\n\n Dans cet article, nous pr\u00e9senterons et d\u00e9taillerons la proc\u00e9dure de fine-tuning de Llava-1.6-Vicuna-13B \u00e0 l\u2019aide de PEFT et bitsandbytes<\/strong>.<\/p>\n\n\n\n Avant de commencer le fine-tuning, nous devons installer les d\u00e9pendances n\u00e9cessaires pour la phase d’entra\u00eenement. Cela inclut TRL<\/strong>, PEFT<\/strong>, Accelerate<\/strong> et BitsAndBytes<\/strong>, qui permettent l’optimisation de la gestion de la m\u00e9moire et l’utilisation de techniques d’entra\u00eenement efficaces :<\/p>\n\n\n Une fois l’environnement pr\u00eat, nous pouvons charger le mod\u00e8le Llava-1.6-Vicuna-13B<\/strong>, accompagn\u00e9 de son processor :<\/p>\n\n\n Nous utilisons QLoRA (4-bit quantization)<\/strong> [1][2]<\/strong><\/strong><\/strong><\/strong><\/strong><\/strong> afin d\u2019acc\u00e9l\u00e9rer le fine-tuning et d\u2019optimiser l\u2019utilisation des ressources serveurs, permettant d\u2019entra\u00eener efficacement le mod\u00e8le sur du mat\u00e9riel \u00e0 m\u00e9moire limit\u00e9e.<\/p>\n\n\n\n Le jeu de donn\u00e9es mlabonne\/FineTome-100k<\/strong> est \u00e9galement charg\u00e9 et les conversations sont transform\u00e9es pour pr\u00e9parer l’entra\u00eenement.<\/p>\n\n\n\n Avant d’entamer le fine-tuning, nous testons l\u2019inf\u00e9rence du mod\u00e8le en mode purement textuel (sans images).<\/p>\n\n\n Pour n\u2019entra\u00eener que la partie textuelle, nous recherchons dans le mod\u00e8le les modules Linear4bit<\/strong> qui appartiennent au sous-module language_model<\/strong> (\u00e0 l\u2019exclusion de lm_head<\/strong>) :<\/p>\n\n\n Ensuite, nous configurons LoRA<\/strong> via PEFT<\/strong> pour cibler uniquement ces couches :<\/p>\n\n\n Nous convertissons les conversations en texte brut et utilisons un collateur de donn\u00e9es personnalis\u00e9 (TextDataCollator<\/strong>) pour cr\u00e9er un jeu de donn\u00e9es pr\u00e9-trait\u00e9.<\/p>\n\n\n Une fois le jeu de donn\u00e9es pr\u00eat, nous lan\u00e7ons l’e fine-tuning avec SFTTrainer<\/strong> de TRL<\/strong>.<\/p>\n\n\n Apr\u00e8s la phase d’entra\u00eenement, nous r\u00e9alisons un nouveau test d’inf\u00e9rence pour v\u00e9rifier l’impact du fine-tuning sur la performance du mod\u00e8le en mode texte :<\/p>\n\n\n Cet article propose une m\u00e9thode compl\u00e8te permettant de fine-tunn\u00e9 un mod\u00e8le multimodal uniquement avec des donn\u00e9es textuelles, tout en conservant sa capacit\u00e9 de traitement d’images. Nous avons principalement pr\u00e9sent\u00e9 l’entra\u00eenement de Llava-1.6-Vicuna-13B<\/strong> \u00e0 l’aide de PEFT<\/strong> et bitsandbytes<\/strong>, mais avons \u00e9galement entra\u00een\u00e9 Llama-3.2-11B-Vision<\/strong> et Pixtral-12B<\/strong> avec Unsloth<\/strong>, afin d’assurer une adaptation efficace aux donn\u00e9es textuelles dans diff\u00e9rents frameworks.<\/p>\n\n\n\n Nous avons valid\u00e9 nos exp\u00e9riences sur des ressources de petites tailles telles que des GPU T4<\/strong>. Pour des tests ou d\u00e9monstrations \u00e0 petite \u00e9chelle, un T4 est g\u00e9n\u00e9ralement suffisant. Cependant, pour un entra\u00eenement complet et de grande envergure, la puissance et la m\u00e9moire d\u2019un T4 peuvent \u00eatre insuffisantes.<\/p>\n\n\n\nD\u00e9fis de recherche<\/h2>\n\n\n\n
Strat\u00e9gies de fine-tuning et environnement d\u2019exp\u00e9rimentation<\/h2>\n\n\n\n
Fine-tuning de Llava-1.6-Vicuna-13B avec PEFT et bitsandbytes : focus sur les couches lin\u00e9aires<\/h2>\n\n\n\n
1. Pr\u00e9paration de l’environnement et chargement du mod\u00e8le<\/h3>\n\n\n\n
\n! pip install trl peft accelerate\n! pip install -U bitsandbytes\n<\/pre>\n\n\n\n
\nfrom transformers import AutoProcessor, AutoModelForImageTextToText\nimport torch\nfrom transformers import BitsAndBytesConfig\n\nMODEL_ID = "llava-hf\/llava-v1.6-vicuna-13b-hf"\n\n# Chargement du processor\nprocessor = AutoProcessor.from_pretrained(MODEL_ID)\nprocessor.tokenizer.padding_side = "right"\n\n# Configuration pour l'utilisation de QLoRA (quantization 4-bit)\nUSE_QLORA = True\nif USE_QLORA:\n bnb_config = BitsAndBytesConfig(\n load_in_4bit=True,\n bnb_4bit_use_double_quant=True,\n bnb_4bit_quant_type="nf4",\n bnb_4bit_compute_dtype=torch.float16\n )\n model = AutoModelForImageTextToText.from_pretrained(\n MODEL_ID,\n torch_dtype=torch.float16,\n quantization_config=bnb_config,\n )\n<\/pre>\n\n\n\n
2. Test d’inf\u00e9rence en mode texte<\/h3>\n\n\n\n
\n# Pr\u00e9paration d'un prompt de conversation\ninstruction = dataset[0]["conversations"][0]['value']\nmessages = [{"role": "user", "content": [{"type": "text", "text": instruction}]}]\ninput_text = processor.apply_chat_template(messages, add_generation_prompt=True)\n\n# Inf\u00e9rence\ninputs = processor(\n images=None,\n text=input_text,\n add_special_tokens=False,\n return_tensors="pt",\n).to("cuda")\ngenerate_ids = model.generate(**inputs, max_new_tokens=2000)\nprint(processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False))\n<\/pre>\n\n\n\n3. Analyse du mod\u00e8le et extraction des couches lin\u00e9aires du module de langage<\/h3>\n\n\n\n
\nimport bitsandbytes as bnb\n\ncls = bnb.nn.Linear4bit\nlora_module_names = set()\nfor name, module in model.named_modules():\n if 'language_model' in name and isinstance(module, cls) and 'lm_head' not in name:\n lora_module_names.add(name)\nprint(lora_module_names)\n<\/pre>\n\n\n\n
\nfrom peft import LoraConfig, prepare_model_for_kbit_training, get_peft_model\n\nlora_config = LoraConfig(\n r=8,\n lora_alpha=8,\n lora_dropout=0.1,\n target_modules=lora_module_names, # Ciblage exclusif des couches lin\u00e9aires du module de langage\n init_lora_weights="gaussian",\n)\nmodel = prepare_model_for_kbit_training(model)\nmodel = get_peft_model(model, lora_config)\n<\/pre>\n\n\n\n
4. Pr\u00e9traitement des donn\u00e9es et cr\u00e9ation du jeu de donn\u00e9es<\/h3>\n\n\n\n
\nimport torch\n\nclass TextDataCollator:\n def __init__(self, model, tokenizer, max_length=2048):\n """Initialisation du collateur de donn\u00e9es."""\n self.model = model\n self.tokenizer = tokenizer\n self.max_length = max_length\n\n def __call__(self, examples):\n """Pr\u00e9pare un batch de donn\u00e9es pour l'entra\u00eenement."""\n input_ids = [ex["input_ids"][:self.max_length] for ex in examples]\n attention_mask = [ex["attention_mask"][:self.max_length] for ex in examples]\n\n # Padding des s\u00e9quences\n input_ids = torch.nn.utils.rnn.pad_sequence(\n [torch.tensor(ids) for ids in input_ids],\n batch_first=True,\n padding_value=0\n )\n\n attention_mask = torch.nn.utils.rnn.pad_sequence(\n [torch.tensor(mask) for mask in attention_mask],\n batch_first=True,\n padding_value=0\n )\n\n labels = input_ids.clone() # Les labels sont identiques aux input_ids\n\n return {\n "input_ids": input_ids,\n "attention_mask": attention_mask,\n "labels": labels\n }\n<\/pre>\n\n\n\n5. Fine-tuning du mod\u00e8le<\/h3>\n\n\n\n
\nfrom trl import SFTTrainer, SFTConfig\n\ntrainer = SFTTrainer(\n model=model,\n tokenizer=processor.tokenizer,\n data_collator=TextDataCollator(model, processor),\n train_dataset=preprocessed_dataset, # Jeu de donn\u00e9es pr\u00e9trait\u00e9\n args=SFTConfig(\n per_device_train_batch_size=1,\n gradient_accumulation_steps=4,\n max_steps=30,\n learning_rate=2e-4,\n fp16=True,\n logging_steps=1,\n optim="adamw_8bit",\n output_dir="outputs",\n ),\n)\ntrainer.train()\n<\/pre>\n\n\n\n
6. Test d’inf\u00e9rence post-affinage<\/h3>\n\n\n\n
\ninstruction = "Explain what boolean operators are, ..."\nmessages = [{"role": "user", "content": [{"type": "text", "text": instruction}]}]\ninput_text = processor.apply_chat_template(messages, add_generation_prompt=True)\n\ninputs = processor(\n images=None,\n text=input_text,\n add_special_tokens=False,\n return_tensors="pt",\n).to("cuda")\ngenerate_ids = model.generate(**inputs, max_new_tokens=2000)\nprint(processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False))\n<\/pre>\n\n\n\nConclusion<\/h2>\n\n\n\n
Disponibilit\u00e9 et licence<\/h2>\n\n\n\n