Думаю, что он просто пытается с Вами найти хорошие взаимоотношения, не больше. Но если Вам дали конкретный намёк, что тут не ладно, то Ваши ожидание подтвердятся. А что делать дальше и как решать данный вопрос, другая тема! :)

ну почему сразу не то.общение же не уходит за пределы работы?если нет,то и не переживайте.

Все верно Вы расставили точки, только почему-то продолжаете поддаваться его зову на перекуры.Ведь флиртуя с другими мужчинами, Вы отдаете энергию предназначенную Вашему мужчине.Общайтесь именно с ним, коль чуйка Вам подсказывает, только по работе.

Если он раздражает,держите дистанцию. Но можно общаться с ним только на работе и преимущественно по работе. А можно дойти до всякого,если охота. Но разве охота?

Здравствуйте, дорогая! Может и по-вашему. Держите себя в руках вот и все, если ваш брак вам дорог)
Обратите внимание на ваши чувства. Кто знает?

может просто поболтать

Ну у него есть свой интерес, естественно сексуальный. Вы уже ему сказали, что замужем, т.е. поставили некие границы. Если не врубился, то начните ему рассказывать, что вы очень любите своего мужа, что у вас замечательные доверительные отношения, что он устраивает вас во всех отношениях, короче "лепите" ему побольше и почаще, и отказывайте ему в походах на перекур, типа сейчас занята, много работы и т.д. Если не дурак, то поймет, что его отшивают.

Может вы ему понравились, и он хочет близкого (интимного) общения с вами. А может быть просто ему надоело общаться с другими коллегами.Попробуйте выяснить.