> pour le handle ça ne fonctionne pas

Bien sûr que si...

> qu est ce que je dois mettre à la place de WPARAM(buf) j'ai vu ça sur
> le net...

Et sur le net comme tu dis quel est le type de buf ?
Moi je me suis basé sur les bouts de code que tu as donné avant et dans ce cas tu dois mettre

(WPARAM)buf[0]

> il ne faut pas oublié que je suis dans le fichier serial.cpp et que ma
> textbox est dans Form.h ,il faut peut être que déclare une variable
> global tels que static .... ??

Mais non
#include dans serial.cpp
suffira amplement

Tu sais, tu t'entêtes dans ta démarche et tu vas rencontrer mille autres difficultés je le crains. Pardonne moi mais je pense que je n'aurais pas le temps de continuer à t'aider