python调用c库之ctypes及callback相关问题解决

  • Post author:
  • Post category:python




Python调用c库学习


Python模块ctypes是Python内建的用于调用动态链接库函数的功能模块,一定程度上可以用于Python与其他语言的混合编程。由于编写动态链接库,使用C/C++是最常见的方式,故ctypes最常用于Python与C/C++混合编程之中。



一、


ctypes原理及优缺点



从ctypes的文档中可以推断,在各个平台上均使用了对应平台动态加载动态链接库的方法,并通过一套类型映射的方式将Python与二进制动态链接库相连接。在Windows平台下,最终调用的是Windows API中LoadLibra


ry函数和GetProcAddress函数,在Linux和Mac OS X平台下,最终调用的是Posix标准中的dlopen和dlsym函数。ctypes 实现了一系列的类型转换方法,Python的数据类型会包装或直接推算为C类型,作为函数的调用参数;函数的返回值也经过一系列的包装成为Python类型。也就是说,PyObject* <-> C types的转换是由ctypes内部完成的




ctypes 有以下优点:


·


Python内建,不需要单独安装


·


可以直接调用二进制的动态链接库


·


在Python一侧,不需要了解Python内部的工作方式


·


在C/C++一侧,也不需要了解Python内部的工作方式


·


对基本类型的相互映射有良好的支持


ctypes 有以下缺点:


·


平台兼容性差


·


不能够直接调用动态链接库中未经导出的函数或变量


(理解为不能直接调用当前


so中包含的其他so文件中的函数




·


对C++的支持差



二、


一个简单的demo



1)、实现test_ctypes.c文件,内容如下:

#include <stdio.h>

int sum(int a,int b)
{
    return a+b;
}

int main()
{
    print("hello ctypes!sum:%d\n",sum(1,2));

    return 0;
}

2)、编译为动态so库:

gcc -fPIC -shared test_ctypes.c -o test_ctypes.so

3)、在python中调用sum函数或者main函数

so相互依赖问题的解决:

so相互依赖时使用RTLD_LAZY标志加载so库,先不解析未找到的symbol;后续在调用到这些symbol时会全局搜素,找得到就会调用。

import ctypes

#此处如果出现so之间的相互依赖关系,可以参考是用dlopen的RTLD_*相关的flag,如mode=1|RTLD_GLOBAL
test=ctypes.CDLL("test_ctypes.so")

test.main()

三、结构体的使用

如c结构体:
struct stu{
    int a,
    char b,
    int c,
};

在python中使用需转换为类结构,然后再实例为对象赋值操作:
class stu(Structure):
    _fields_=[
    ("a",c_int),
    ("b",c_char),
    ("c",c_int)
    ]

mstu = stu()
mstu.a = 1
mstu.b = 2
mstu.c = 3
   

指针变量的传递:
sk = c_int()//定义int类型的变量;
将此变量以int *型作为参数传递到函数(int test(int * a))中去:
mlib.test(ctypes.byref(sk))
sk.value 获取sk的值

四、回调函数


ctypes

允许从Python callables创建C可调用函数指针。这些有时称为回调函数。

首先,您必须为回调函数创建一个类。该类知道调用约定,返回类型以及此函数将接收的参数的数量和类型。


CFUNCTYPE()

工厂函数使用

cdecl

调用约定为回调函数创建类型。在Windows上,

WINFUNCTYPE()

factory函数使用

stdcall

调用约定为回调函数创建类型。

这两个工厂函数都以结果类型作为第一个参数调用,而回调函数将期望的参数类型作为其余参数

如需要回调的python函数为:
def test_callback(a,b):
    print a,b
    return 0

如果要将此函数注册到c函数中作为回调函数使用,首先要创建一个类来说明此函数的参数类型及返回值类型。

它们描述一个函数(返回类型,参数类型,调用约定)而不定义实现.
 ctypes.CFUNCTYPE(restype, *argtypes, use_errno=False, use_last_error=False)
     返回的函数原型创建使用标准C调用约定的函数.该功能将在调用期间释放GIL.
     如果use_errno设置为True,系统errno变量的ctypes私有副本将与调用前后的实际errno值进行交换; 
     use_last_error对Windows错误代码执行相同操作.

如上python函数创建的类如下:
functype = ctypes.CFUNCTYPE(c_int,c_int,c_int)

c_callback_python = functype(test_callback)

将此回调函数注册到c库函数中待调用:
mlibc.register_py_to_c(c_callback_python)

注意

只要从C代码中使用它们,请确保保留对 CFUNCTYPE() 对象的引用。 ctypes 没有,如果你不这样做,它们可能被垃圾收集,在回调时崩溃你的程序。

另外,请注意,如果在Python控件之外创建的线程中调用回调函数(例如,通过调用回调的外部代码),ctypes会在每次调用时创建一个新的虚拟Python线程。对于大多数用途,此行为是正确的,但这意味着使用 threading.local 存储的值将无法在不同的回调中生存,即使这些调用是从同一个C线程进行的。

五、结构体传递回调函数

c中callback数据结构如下:

struct callback_all{
    int (*callback1)(int),
    int (*callback2)(int),
    int (*callback3)(int)
};

python中创建转换之后的类如下:
class py_callback_all(Structure):
    __fields_ = [
    ("callback1",CFUNCTYPE(c_int,c_int)),
    ("callback2",CFUNCTYPE(c_int,c_int)),
    ("callback3",CFUNCTYPE(c_int,c_int))
    ]

针对此结构体的使用:
callback_all=py_callback_all()
callback_all.callback1 = c_callback_python
callback_all.callback2 = c_callback_python
callback_all.callback3 = c_callback_python

假设mlib库下有函数int test_callback_struct(struct test_callback_all *callback);
mlibc.test_callback_struct.argtypes = [POINTER(py_callback_all)]  #特别注意此处,直接传递callback_all也不会报错,但是会导致callback1、callback2、callback3死活回调不对。
mlibc.test_callback_struct(callback_all)

参考链接:


https://www.docs4dev.com/docs/zh/python/3.7.2rc1/all/library-ctypes.html


https://cloud.tencent.com/developer/section/1370537


https://docs.python.org/2.6/library/ctypes.html


https://gitee.com/explict/codes/zq0nhvlfm6gyeo4ducpsi90


https://python3-cookbook.readthedocs.io/zh_CN/latest/c15/p12_turning_function_pointer_into_callable.html



版权声明:本文为sun172270102原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。